Pré treino

Definição

O pré-treinamento é o treinamento inicial de um modelo de aprendizado de máquina em grandes conjuntos de dados de uso geral antes do ajuste fino em tarefas específicas.

Propósito

O objetivo é fornecer modelos com representações amplas que possam ser transferidas para múltiplas tarefas, reduzindo os requisitos de dados e computação para adaptação posterior.

Importância

• Base para LLMs e modelos de visão modernos.
• Melhora o desempenho em diversas tarefas.
• Caro em termos de dados e computação.
• Requer curadoria cuidadosa do conjunto de dados para evitar viés.

Como Funciona

1. Colete grandes conjuntos de dados gerais (texto, imagens).
2. Defina tarefas de aprendizagem não supervisionadas ou autosupervisionadas.
3. Treine modelos para aprender características gerais.
4. Guarde pesos pré-treinados para reutilização.
5. Ajuste fino em conjuntos de dados menores específicos de tarefas.

Exemplos (mundo real)

• BERT foi pré-treinado na Wikipédia e no BooksCorpus.
• CLIP treinado em pares de imagem e texto.
• Modelos GPT pré-treinados em texto de internet em larga escala.

Referências/Leituras Adicionais

• Devlin et al. “BERT: Pré-treinamento de Transformadores Bidirecionais Profundo.” NAACL 2019.
• Radford et al. “Modelos de linguagem são aprendizes de poucas tentativas”. NeurIPS 2020.
• Relatório técnico do OpenAI GPT-4.