O ChatGpt pode passar no teste de Turing? O que a pesquisa diz.

Os chatbots de inteligência artificial como o ChatGPT estão ficando muito mais inteligentes, muito mais naturais e muito mais … como humanos. Faz sentido – os humanos são os que criam os grandes modelos de idiomas que sustentam os sistemas da AI Chatbots, afinal. Mas à medida que essas ferramentas melhoram no “raciocínio” e imitando a fala humana, elas são inteligentes o suficiente para passar no teste de Turing?

Durante décadas, o teste de Turing foi mantido como um benchmark -chave na inteligência da máquina. Agora, os pesquisadores estão realmente colocando os LLMs como o Chatgpt em teste. Se o ChatGPT puder passar, a conquista seria um grande marco no desenvolvimento da IA.

Então, o chatgpt pode passar no teste de Turing? Segundo alguns pesquisadores, sim. No entanto, os resultados não são totalmente definitivos. O teste de Turing não é um passe/falha simples, o que significa que os resultados não são realmente pretos e brancos. Além disso, mesmo que o ChatGPT possa passar no teste de Turing, isso pode realmente não nos dizer o quão “humano” realmente é.

Vamos quebrá -lo.

Qual é o teste de Turing?

O conceito do teste de Turing é realmente bastante simples.

O teste foi originalmente proposto pelo matemático britânico Alan Turing, o pai da ciência da computação moderna e um herói de nerds em todo o mundo. Em 1949 ou 1950, ele propôs o jogo de imitação – Um teste para inteligência de máquina que foi nomeado para ele. O teste de Turing envolve um juiz humano ter uma conversa com uma máquina humana e uma máquina sem saber qual é quem (ou quem é quem, se você acredita em AGI). Se o juiz não puder dizer qual é a máquina e qual é a humana, a máquina passa no teste de Turing. Em um contexto de pesquisa, o teste é realizado muitas vezes com vários juízes.

Obviamente, o teste não pode necessariamente determinar se um modelo de idioma grande é realmente tão inteligente quanto um humano (ou mais inteligente) – apenas se é capaz de passar por um humano.

Os LLMs realmente pensam como nós?

Modelos de linguagem grandes, é claro, não têm um cérebro, consciência ou modelo mundial. Eles não estão cientes de sua própria existência. Eles também não têm opiniões ou crenças verdadeiras.

Em vez disso, grandes modelos de idiomas são treinados em conjuntos de dados enormes de informações – livros, artigos da Internet, documentos, transcrições. Quando o texto é inserido por um usuário, o modelo de IA usa seu “raciocínio” para determinar o significado e a intenção mais prováveis ​​da entrada. Então, o modelo gera uma resposta.

No nível mais básico, os LLMs são motores de previsão de palavras. Usando seus vastos dados de treinamento, eles calculam as probabilidades para o primeiro “token” (geralmente uma única palavra) da resposta usando seu vocabulário. Eles repetem esse processo até que uma resposta completa seja gerada. Essa é uma simplificação excessiva, é claro, mas vamos simplificar: os LLMs geram respostas à entrada com base na probabilidade e estatística. Portanto, a resposta de um LLM é baseada em matemática, não em uma compreensão real do mundo.

Então, não, LLMs não pensar em qualquer sentido da palavra.

O que os estudos dizem sobre o ChatGPT e o teste de Turing?

Houve alguns estudos para determinar se o ChatGPT passou no teste de Turing, e muitos deles tiveram achados positivos. É por isso que alguns cientistas da computação argumentam que, sim, modelos de idiomas grandes como GPT-4 e GPT-4.5 agora podem passar no famoso teste de Turing.

A maioria dos testes se concentra no modelo GPT-4 do OpenAI, aquele usado pela maioria dos usuários do ChatGPT. Usando esse modelo, um Estudo da UC San Diego descobriram que, em muitos casos, os juízes humanos não conseguiram distinguir o GPT-4 de um humano. No estudo, o GPT-4 foi considerado um humano 54% das vezes. No entanto, isso ainda ficou para trás dos seres humanos reais, que foram considerados humanos 67% das vezes.

Então, o GPT-4.5 foi lançado e os pesquisadores da UC San Diego realizou o estudo novamente. Desta vez, o grande modelo de linguagem foi identificado como 73% humano das vezes, superando os humanos reais. O teste também descobriu que a LLAMA-3.1-405B da Meta foi capaz de passar no teste.

Outros estudos fora da UC San Diego também deram notas de passagem do GPT. A 2024 Universidade de Reading Estudo do GPT-4 Se o modelo criasse respostas para avaliações para levar para casa para cursos de graduação. Os alunos do teste não foram informados sobre o experimento e apenas sinalizaram uma das 33 entradas. O ChatGPT recebeu notas acima da média com as outras 32 entradas.

Então, esses estudos são definitivo? Não exatamente. Alguns críticos (e há muitos deles) dizem que esses estudos de pesquisa não são tão impressionantes quanto parecem. É por isso que não estamos prontos para dizer definitivamente que o ChatGPT passa no teste de Turing.

Podemos dizer que, enquanto os LLMs anteriores de geração como o GPT-4 às vezes passam no teste de Turing, as notas que passam estão se tornando mais comuns à medida que os LLMs ficam mais avançados. E quando modelos de ponta como o GPT-4.5 são lançados, estamos rapidamente em direção a modelos que podem passar facilmente no teste de Turing todas as vezes.

O próprio Openi certamente imagina um mundo em que é impossível dizer humano da IA. É por isso que o CEO da Openai, Sam Altman, investiu em um projeto de verificação humana com uma máquina de varredura de globo ocular chamada Orb.

O que o próprio chatgpt diz?

Decidimos perguntar ao ChatGPT se ele poderia passar no teste de Turing, e nos disse que sim, com as mesmas advertências que já discutimos. Quando colocamos a pergunta, “Chatgpt pode passar no teste de Turing?” Para o AI Chatbot (usando o modelo 4O), ele nos disse: “Chatgpt pode Passe no teste de Turing em alguns cenários, mas não de maneira confiável ou universalmente. “O chatbot concluiu:” Pode passar no teste de Turing com um usuário médio em condições casuais, mas um interrogador determinado e atencioso quase sempre pode desmascarar “.

Imagem gerada pela AI.
Credit: OpenAI

As limitações do teste de Turing

Alguns cientistas da computação agora acreditam que o teste de Turing está desatualizado e que não é tão útil em julgar grandes modelos de idiomas. Gary Marcus, um psicólogo americano, cientista cognitivo, autor e prognóstico popular da IA, resumiu o melhor em Uma postagem recente do blogonde ele escreveu: “Como eu (e muitos outros) disse há anoso teste de Turing é um teste de ing que ingênuo humano, não um teste de inteligência “.

Também vale a pena ter em mente que o teste de Turing é mais sobre o percepção de inteligência em vez de real inteligência. Essa é uma distinção importante. Um modelo como o Chatgpt 4O pode passar simplesmente imitando a fala humana. Não apenas isso, mas se um modelo de idioma grande passa ou não, o teste varia dependendo do tópico e do testador. O ChatGPT pode facilmente imitar uma conversa fiada, mas poderia ter dificuldades com conversas que exigem verdadeira inteligência emocional. Não apenas isso, mas os sistemas modernos de IA são usados ​​para muito mais do que conversar, especialmente quando seguimos em direção a um mundo de IA agêntica.

Nada disso quer dizer que o teste de Turing seja irrelevante. É um benchmark histórico elegante, e certamente é interessante que grandes modelos de linguagem sejam capazes de passar. Mas o teste de Turing dificilmente é o benchmark padrão-ouro da inteligência de máquinas. Como seria uma melhor referência? Essa é uma outra lata de vermes que teremos que economizar para outra história.

Divulgação: Ziff Davis, empresa controladora da Mashable, em abril entrou com uma ação contra o Openai, alegando que ele violou a Ziff Davis Copyrights em treinamento e operação de seus sistemas de IA.