OpenAI explica por que os modelos de idiomas ‘alucinat’; Incentivos de avaliação recompensam adivinhação sobre a incerteza

O OpenAI identificou um erro fundamental no design de grandes modelos de idiomas (LLM) que levam à geração de informações confiantes, mas ainda incorretas, conhecidas como “alucinações”. Essa descoberta, detalhada em uma tarefa de pesquisa recente, desafia os pré -requisitos existentes para a IA e propõe uma mudança de paradigma na avaliação do modelo.

As alucinações na IA se referem a casos em que os modelos produzem declarações que são realmente incorretas, mas apresentaram alta confiança. Por exemplo, quando você perguntou sobre o título de uma dissertação de doutorado da XYZ, um pesquisador de destaque, o modelo deu três títulos diferentes, nenhum dos quais era preciso. Da mesma forma, ofereceu três data de nascimento incorreta para Kalai.

O problema principal, identificado pelos pesquisadores do OpenAI, reside nos processos de treinamento e avaliação do LLMS. Os métodos tradicionais se concentram na classificação binária, correta ou errada, sem explicar a confiança do modelo nas respostas. Essa abordagem recompensa os modelos recompensadores para fazer suposições educadas, mesmo quando é incerto, porque um palpite adequado produz um resultado positivo, ao mesmo tempo em que a incerteza resulta em uma pontuação zero. Consequentemente, os modelos são treinados para priorizar, dando uma resposta sobre o reconhecimento da falta de conhecimento. A tarefa de pesquisa diz:

De acordo com o site do futurismo, as alucinações persistem “por causa da maneira como a maioria das avaliações é classificada, os modelos de idiomas são otimizados para serem bons testículos e adivinhem quando, incerto, melhoram o desempenho dos testes”, soa o papel.

Para resolver esse problema, o OpenAI sugere uma mudança em direção a métodos de avaliação que valorizam a incerteza e punam imprecisões confiantes. Ao implementar os limites de confiança, os modelos serão incentivados a abster -se de responder quando inseguros, reduzindo assim a probabilidade de alucinações. Essa abordagem visa melhorar a confiabilidade dos sistemas de IA, especialmente em aplicações críticas, onde a precisão dos fatos são cruciais.

“A maioria dos scoreboards prioriza e classifica os modelos com base na precisão, mas os erros são piores que as unidades de abstinência”, escreveu o Openai em uma postagem de blog associada. Especialistas reconhecem que a eliminação de alucinações pode ser inatingível, mas as melhorias nas metodologias de treinamento e avaliação podem levar a sistemas de IA mais confiáveis. As alterações propostas têm implicações mais amplas para o desenvolvimento da IA, incluindo efeitos potenciais no envolvimento do usuário. Modelos que muitas vezes admitem incerteza podem ser percebidos como menos competentes, o que pode afetar a confiança e a adoção do usuário. Portanto, equilibrar a precisão da experiência do usuário ainda é uma avaliação crítica.