Alucinação

Definição

Em IA, alucinação refere-se a casos em que um modelo gera resultados fluentes, mas factualmente incorretos ou sem sentido. É especialmente comum em modelos de linguagem de grande porte e IA generativa.

Propósito

O estudo de alucinações ajuda a melhorar a confiabilidade e a segurança dos modelos. Permite que os desenvolvedores criem salvaguardas para detectar e reduzir resultados imprecisos.

Importância

• Reduz a confiança na IA se não for abordada.
• Pode causar danos em aplicações sensíveis, como assistência médica ou jurídica.
• Destaca as limitações dos modelos generativos atuais.
• Impulsiona pesquisas em métodos de recuperação e fundamentação factual.

Como Funciona

1. O modelo recebe um prompt ou consulta.
2. Gera resultados com base em padrões aprendidos, não na verificação de fatos.
3. Pode produzir resultados aparentemente plausíveis, mas incorretos.
4. Técnicas de detecção e correção são aplicadas (por exemplo, RAG).

Exemplos (mundo real)

• O ChatGPT ocasionalmente produz fatos incorretos quando solicitado.
• A demonstração inicial do Google Bard mostrou erros factuais.
• Conselhos médicos gerados por IA às vezes contêm imprecisões.

Referências/Leituras Adicionais

• “Reduzindo alucinações em grandes modelos de linguagem” — pré-impressão do arXiv.
• Estrutura de gerenciamento de riscos de IA do NIST.
• Mitchell et al. “Cartões modelo para relatórios modelo.” ACM FAccT.
• Causas de alucinações de IA