Definição
O ajuste fino supervisionado (SFT) é o processo de treinar um modelo pré-treinado em dados rotulados para uma tarefa específica, ajustando todos ou parte de seus parâmetros.
Propósito
O objetivo é adaptar modelos de uso geral a tarefas especializadas com maior precisão.
Importância
- Técnica central em PNL e tarefas de visão.
- Requer dados rotulados de alta qualidade.
- Riscos de overfitting com pequenos conjuntos de dados.
- Frequentemente um precursor do RLHF.
Como Funciona
- Selecione um modelo pré-treinado.
- Colete dados rotulados para a tarefa alvo.
- Treine o modelo com aprendizado supervisionado.
- Validar em um conjunto de teste mantido.
- Implante e monitore o desempenho.
Exemplos (mundo real)
- GPT aprimorou conversas de atendimento ao cliente.
- BERT ajustado para reconhecimento de entidades nomeadas.
- Transformadores de visão aprimorados na classificação de imagens médicas.
Referências/Leituras Adicionais
- Devlin et al. “BERT: Pré-treinamento de Transformadores Bidirecionais Profundo.” NAACL 2019.
- Documentação do Hugging Face Transformers.
- Stanford CS224N: PNL com aprendizado profundo.
- O que é SFT? Por que é importante?
