Este ano, o Google I/O 2025 teve um foco: inteligência artificial.
Já cobrimos todas as maiores notícias a sair da conferência anual de desenvolvedores: uma nova ferramenta de geração de vídeo de IA chamada Flow. Um plano de assinatura Ultra AI de US $ 250. Toneladas de novas mudanças em Gêmeos. Um recurso de trases de compras virtual. E criticamente, o lançamento do modo AI da ferramenta de pesquisa para todos os usuários nos Estados Unidos.
No entanto, mais de quase duas horas de líderes do Google falando sobre a IA, uma palavra que não ouvimos foi a “alucinação”.
Alucinações continuam sendo uma das mais teimosas e sobre problemas com modelos de IA. O termo refere-se a fatos e imprecisões que os modelos de grande língua “alucinam” em suas respostas. E de acordo com as métricas das grandes marcas de IA, as alucinações estão piorando – com alguns modelos alucinando mais de 40 % das vezes.
Mas se você estivesse assistindo o Google I/O 2025, não saberia que esse problema existia. Você pensaria que modelos como Gêmeos nunca alucinam; Você certamente ficaria surpreso ao ver o aviso anexado a cada visão geral da IA do Google. (“As respostas da IA podem incluir erros”.)
Velocidade de luz mashable
O Google mais próximo chegou a reconhecer o problema de alucinação, ocorreu durante um segmento da apresentação no modo IA e nos recursos de busca profunda de Gêmeos. O modelo verificaria seu próprio trabalho antes de fornecer uma resposta, fomos informados-mas sem mais detalhes sobre esse processo, parece mais o cego que lidera o cego do que a verificação de fatos genuínos.
Para os céticos da IA, o grau de confiança do Vale do Silício tem nessas ferramentas parece divorciado dos resultados reais. Usuários reais percebem quando as ferramentas de IA falham em tarefas simples, como contar, verificar ou responder a perguntas como “A água congelará a 27 graus Fahrenheit?“
O Google estava ansioso para lembrar aos espectadores que seu mais novo modelo de IA, Gemini 2.5 Pro, está no topo de muitas tabelas de classificação da IA. Mas quando se trata de veracidade e capacidade de responder a perguntas simples, os chatbots da IA são classificados em uma curva.
Gemini 2.5 Pro é o modelo de IA mais inteligente do Google (de acordo com o Google), mas pontuações apenas 52,9 % no teste de benchmarking da funcionalidade SimpleQA. De acordo com um Artigo de Pesquisa Openaio teste SimpleQa é “uma referência que avalia A capacidade dos modelos de idiomas de responder a perguntas curtas e de busca de fatos.“(Ênfase a nossa.)
Um representante do Google se recusou a discutir o benchmark SimpleQA, ou alucinações em geral – mas nos apontou para o oficial do Google Explicação no modo AI e visão geral da IA. Aqui está o que tem a dizer:
(Modo de IA) usa um modelo de linguagem grande para ajudar a responder às consultas e é possível que, em casos raros, às vezes possa apresentar informações imprecisas com confiança, que é comumente conhecida como ‘alucinação’. Como nas visões gerais da IA, em alguns casos, esse experimento pode interpretar mal o conteúdo da Web ou perder o contexto, como pode acontecer com qualquer sistema automatizado na pesquisa …
Também estamos usando novas abordagens com os recursos de raciocínio do modelo para melhorar a factualidade. Por exemplo, em colaboração com as equipes de pesquisa do Google DeepMind, usamos o aprendizado de reforço agêntico (RL) em nosso treinamento personalizado para recompensar o modelo para gerar declarações que sabe ter mais chances de serem precisas (não alucinadas) e também apoiadas por insumos.
O Google está errado em estar otimista? Afinal, as alucinações podem ser um problema solucionável. Mas parece cada vez mais claro com a pesquisa que as alucinações do LLMS não são um problema solucionável agora mesmo.
Isso não impediu empresas como Google e OpenAI de correr à era da pesquisa de IA-e é provável que seja uma era cheia de erros, a menos que sejamos alucinando.
Tópicos
Inteligência artificial Google Gemini
