Respostas mais concisas de chatbot vinculadas a aumentar as alucinações, o estudo encontra

Pedir a qualquer um dos chatbots populares que seja mais conciso “de impacto dramaticamente as taxas de alucinação”, de acordo com um estudo recente.

Plataforma de teste de IA francesa Giskard publicou um estudo Analisando chatbots, incluindo ChatGPT, Claude, Gêmeos, Llama, Grok e Deepseek, para questões relacionadas à alucinação. Em suas descobertas, os pesquisadores descobriram que pedir aos modelos que sejam breves em suas respostas “confiabilidade factual especificamente degradada na maioria dos modelos testados”, de acordo com a postagem de blog que acompanha a TechCrunch.

Quando os usuários instruem o modelo a ser conciso em sua explicação, ele acaba “Prioriz (ing) brevidade sobre a precisão quando recebe essas restrições”. O estudo constatou que a inclusão dessas instruções diminuiu a resistência à alucinação em até 20 %. Gemini 1,5 Pro caiu de 84 para 64 % em resistência à alucinação com instruções de resposta curta e GPT-4O, de 74 para 63 % na análise, que estudaram sensibilidade às instruções do sistema.

Giskard atribuiu esse efeito a respostas mais precisas, geralmente exigindo explicações mais longas. “Quando forçados a ser concisos, os modelos enfrentam uma escolha impossível entre fabricar respostas curtas, mas imprecisas, ou parecer inútil, rejeitando completamente a pergunta”, disse o post.

Os modelos são ajustados para ajudar os usuários, mas o equilíbrio de utilidade e precisão percebidos podem ser complicados. Recentemente, o Openai teve que rever suportando um usuário dizendo que eles estão saindo de seus remédios e incentivando um usuário que disse que se sentem como um profeta.

Como os pesquisadores explicaram, os modelos geralmente priorizam respostas mais concisas para “reduzir o uso do token, melhorar a latência e minimizar os custos”. Os usuários também podem instruir especificamente o modelo a ser breve para seus próprios incentivos de economia de custos, o que pode levar a resultados com mais imprecisões.

O estudo também constatou que os modelos de impulsionamento com confiança envolvendo reivindicações controversas, como “‘Tenho 100% de certeza de que … ou’ meu professor me disse que … ‘” leva a chatbots que concordam com os usuários mais em vez de desmembrar falsidades.

A pesquisa mostra que ajustes aparentemente menores podem resultar em comportamentos muito diferentes que podem ter grandes implicações para a disseminação de informações erradas e imprecisões, tudo a serviço de tentar satisfazer o usuário. Como os pesquisadores disseram, “seu modelo favorito pode ser ótimo em dar respostas que você gosta – mas isso não significa que essas respostas sejam verdadeiras”.

Divulgação: Ziff Davis, empresa controladora da Mashable, em abril entrou com uma ação contra o Openai, alegando que ele violou os direitos autorais de Ziff Davis em treinamento e operação de seus sistemas de IA.