Você pode saber se está conversando com um humano ou um chatbot? De acordo com um novo estudo, a maioria das pessoas não pode. De fato, um dos principais modelos de inteligência artificial de hoje, o GPT-4.5 do Openai, foi considerado humano com mais frequência do que os humanos reais quando participou de uma versão atualizada do teste clássico de Ai Turing.
Durante anos, o teste de Turing tem sido o objetivo para testar a inteligência de uma máquina, bem como como os humanos os percebem. Portanto, realmente não surpreende que os pesquisadores do Labory e Cognition Lab da UC San Diego tenham publicado uma versão multi-participante do teste de Turing, envolvendo quase 300 pessoas.
Em cada rodada, os participantes se envolveram em conversas lado a lado-uma com um humano e um com uma IA-e depois tiveram que decidir qual era humano e qual era ai. Os resultados deste teste de Turing atualizado também foram bastante reveladores.
Quando o GPT-4.5 foi instruído a adotar uma persona, como um jovem adulto que conhece a cultura pop, enganou os participantes 73 % das vezes. Isso está muito acima da marca de 50 %, que historicamente define um “passe” no teste de Ai Turing. Em comparação, os seres humanos reais tiveram menos sucesso em convencer os participantes de sua humanidade.
O experimento também testou outros modelos, incluindo a Llama 3 da Meta e o GPT-4O mais recente do Openai, junto com Eliza, Um dos primeiros chatbots já desenvolvidos. Sem surpresa, os modelos sem um prompt de persona tiveram um desempenho muito pior. A precisão do GPT-4.5 caiu para 36 % sem um personagem definido para habitar, e o GPT-4O marcou apenas 21 %.
Esta não é a primeira vez que os pesquisadores colocam a IA no teste de Turing. Mas esses resultados mostram que, embora os modelos de idiomas possam não “pensar” como os humanos, eles são cada vez mais capazes de parecer humanos em conversas casuais curtas. Isso tem implicações importantes – não apenas para provar a inteligência da IA, mas também para entender com que facilidade as pessoas podem estar convencidas de que a IA é realmente um humano.
Obviamente, os pesquisadores advertem que a aprovação de um teste de Ai Turing não significa que um modelo entenda qualquer coisa da maneira como os humanos fazem. No entanto, isso significa que esses sistemas estão se tornando cada vez mais qualificados na realização de interações humanas, especialmente quando recebem papéis ou tons específicos a serem adotados.
Isso significa que pode se tornar mais difícil identificar a IA em situações cotidianas. Isso, por sua vez, está levantando preocupações sobre desinformação, representação e o futuro geral da interação Human-AI. O problema se torna então que talvez não percebamos que estamos interagindo com uma IA, o que pode ter algumas implicações éticas graves.
Além disso, com cada nova geração de IA, a linha entre a imitação da máquina e a conversa humana só ficará embaçada. AI é tão ruim quanto vai chegar agora. A partir daqui, os sistemas só continuarão melhorando. Por agora, Esses resultados são publicados em um servidor de pré -impressão. No entanto, os pesquisadores enviaram seu artigo a um artigo oficial revisado por pares, para que pudéssemos ver um lançamento oficial em algum momento do futuro.
