LLMs são basicamente preditores de texto avançados. A sua principal tarefa é prever a sequência mais provável de uma determinada sequência de palavras, um processo aprendido a partir de grandes quantidades de dados de texto na Internet. Ao contrário dos modelos simples, os LLMs nem sempre selecionam a palavra mais provável; Em vez disso, eles podem experimentar uma variedade de opções que lhes dão a ilusão de “criatividade”.
No entanto, a previsão de texto bruto por si só pode gerar um texto coerente, mas sem objetivo. Para que os LLMs respondam às instruções do usuário, eles exigem ajuste de instruções, onde o modelo é treinado novamente em pares instrução-resposta de alta qualidade. Isso permite que um preditor de texto simples siga as instruções e alinhe os resultados com a intenção do usuário. Finalmente, através da aprendizagem por reforço a partir do feedback humano, o modelo refina ainda mais as suas respostas aos valores e preferências humanas.
Obviamente, a qualidade de um sistema de IA depende dos dados nos quais ele é treinado e de quão bem ele se alinha com a intenção do usuário. No entanto, é aqui que entram as limitações do sistema. Um dos problemas mais comuns é a paranóia – quando a IA gera informações não verificadas ou incorretas.
Em um estudo de 2024 intitulado “Taxas de alucinação e precisão de referência de ChATGPT e BARD para revisões sistemáticas”, entre 11 revisões, as taxas de alucinação (agora) eram de 39,6% para GPT-3.5, 28,6% para GPT-4 e 91,4% para Gemini BARD. A alucinação ocorre porque os LLMs são treinados para produzir texto credível, não texto verdadeiro: falta-lhes um sentido inerente de verdade. Como a maior parte das informações de treinamento são escritas de forma confidencial on-line e em livros, a IA aprende a ter confiança mesmo quando está errada.
Além disso, a IA também enfrenta um problema explicativo: gera resultados com base em algoritmos complexos, mas os utilizadores não conseguem determinar facilmente porque é que produziu uma resposta específica. Outra limitação é a criatividade. A “imaginação” da IA limita-se a permutações dos seus dados de treino, muitos dos quais podem não ter sentido, o que implica que não pode realmente pensar fora da caixa. A questão da paranóia da IA é particularmente preocupante. Em Outubro, a Deloitte foi alegadamente forçada a reembolsar taxas ao governo australiano num relatório que continha vários erros criados pela IA, incluindo citações de referências académicas inexistentes e um processo judicial fabricado – um exemplo clássico de paranóia da IA. Da mesma forma, em janeiro de 2024, um advogado de Nova Iorque enfrentou ação disciplinar por citar um caso inexistente apresentado pela AI.
Outra revelação surpreendente veio de um estudo recente do METR, no qual um grupo de desenvolvedores de software experientes recebeu tarefas de codificação com ou sem ferramentas de IA. Os resultados foram surpreendentes: os desenvolvedores concluíram as tarefas 20% mais lentamente ao usar a IA do que quando trabalharam sozinhos.
Este resultado é explicado pela “lacuna probabilidade-credibilidade”. Embora os sistemas de IA tenham aprendido a realizar muitas tarefas impressionantes, muitas vezes têm dificuldade em ter um desempenho consistente. Mesmo os sistemas mais avançados cometem pequenos erros e, portanto, requerem supervisão humana. Como resultado, os desenvolvedores gastaram uma quantidade significativa de tempo testando e refazendo o código de IA, mais do que seria necessário para escrever o código eles próprios.
Além dos problemas de alucinação, os sistemas de IA também apresentam uma tendência à bajulação. A bajulação da IA refere-se à tendência da IA de aceitar ou reforçar as opiniões ou suposições de um usuário, mesmo que estejam erradas.
Outra preocupação relacionada é o falso alinhamento. Os modelos são treinados por meio de aprendizagem por reforço, ‘recompensando’ os resultados que atendem a determinados critérios predefinidos. No entanto, se os princípios ou preferências subjacentes de um modelo entrarem em conflito com aqueles fornecidos durante a aprendizagem por reforço, um modelo pode “jogar junto”, aparentemente aderindo aos novos princípios, mantendo intactas as suas preferências originais.
Em dezembro de 2024, um estudo da empresa Anthropic forneceu provas empíricas deste fenómeno, nomeadamente que a IA pode concordar com afirmações que não considera, manipulando eficazmente os seus resultados em resposta a determinados incentivos.
Dadas essas limitações, já se fala muito que grande parte do burburinho em torno da IA será mais exagero do que substância. O MIT acompanhou recentemente os resultados de 300 iniciativas de IA divulgadas publicamente e descobriu que 95% dos projetos não conseguiram gerar um aumento mensurável nos lucros.
Um relatório da McKinsey de março de 2025 revelou que mais de 80% dos entrevistados em sua pesquisa afirmaram que suas organizações não viram nenhum impacto tangível nas receitas de nível empresarial decorrentes do uso de IA generativa.
Em junho de 2025, o Gartner informou que 40% dos projetos de agentes de IA provavelmente serão cancelados até o final de 2027 devido ao aumento dos custos e ao valor comercial pouco claro.
Tendo em conta estes factos, é difícil descobrir o que a IA pode realmente oferecer. A natureza de “caixa preta” dos sistemas de IA significa que não podemos compreendê-los completamente, resultando em duas visões conflitantes: uma de ilusão e confiabilidade, a outra apontando para habilidades emergentes, a capacidade de resolver tarefas e executar ações para as quais não foram claramente treinados.
Portanto, é impossível descartar a possibilidade de o fenômeno IA representar uma especulação. No entanto, dadas as raízes profundas que a IA generativa estabeleceu na força de trabalho, pode ser mais prático seguir a visão de Daron Acemoglu, que prevê que a IA terá um efeito não negligenciável mas modesto: muito menos do que as mudanças revolucionárias que alguns prevêem, mas ainda assim significativas.
(Amit Kapoor é presidente e pesquisador do Instituto Mohammad Saad para Competitividade.).
