Este detector de redação de IA mostra seu trabalho. Para mim, é um passo na direção certa

Este artigo foi escrito por um humano real e de sangue-eu-mas uma quantidade crescente do conteúdo de texto e vídeo que você encontra on-line não é. Está vindo de Ferramentas de IA generativasque se tornaram muito bons em criar texto de som realista e vídeo de aparência natural. Então, como você resolve os fabricados pelo homem do robótico?

A resposta é mais complicada do que a lenda urbana sobre o uso excessivo dos em-dashes faria você acreditar. Muitas pessoas escrevem com uma abundância (acima) daquela peça de pontuação em particular, como Qualquer editor lhe dirá. As pistas podem ter mais a ver com o fraseado e o fato de que, como qualquer escritor, grandes modelos de idiomas tendem a se repetir.

Essa é a lógica por trás dos programas de detecção da IA. O problema é que esses sistemas geralmente são movidos a IA e fornecem poucos detalhes sobre como chegaram às suas avaliações. Isso os torna difíceis de confiar.

Um novo recurso da empresa de detecção da IA CopyleaksChamado A IA Lógica, fornece mais informações sobre não apenas se e quanto de algo pode ter sido escrito pela IA, mas em que evidência está baseando essa decisão. O que resulta é algo que se parece muito com um detector de plágio, com passagens individuais destacadas. Você pode ver se a Copyleaks o sinalizou porque correspondia a um texto em um site conhecido por ser gerado pela IA, ou se foi uma frase que a pesquisa da empresa determinou que é muito mais provável que apareça em A-i-produzido do que o texto escrito por humanos.

Você nem precisa necessariamente procurar uma ferramenta gen ai para produzir texto com um hoje em dia. Empresas de tecnologia como a Microsoft e o Google estão adicionando ajudantes de IA aos aplicativos do local de trabalho, mas está aparecendo em aplicativos de namoro. Uma pesquisa do Kinsey Institute and Match, que possui Tinder e Hinge, descobriu que 26% dos singles eram Usando a IA em namoroseja para perfurar perfis ou criar linhas melhores. A escrita de IA é inevitável, e há momentos em que você provavelmente quer saber se uma pessoa realmente escreveu o que está lendo.

Essas informações adicionais de um texto verificado por copyeaks marcam um passo à frente na busca de uma maneira de separar a IA feita da escrita humana, mas o elemento importante ainda não é o software. É preciso um ser humano para olhar para esses dados e descobrir o que é uma coincidência e o que é preocupante.

“A idéia é realmente chegar a um ponto em que não há ponto de interrogação, para fornecer o máximo de evidências que pudermos”, disse -me o CEO da Copyleaks, Alon Yamin.

Um sentimento nobre, mas eu também queria ver por mim mesmo o que o detector de IA detectaria e por quê.

Como funciona a detecção de IA

Os copyleaks começaram usando os modelos de IA para identificar estilos de escrita específicos como uma maneira de detectar a violação de direitos autorais. Quando o chatgpt da OpenAI estourou em cena em 2022, a empresa percebeu que poderia usar os mesmos modelos para detectar o estilo de grandes modelos de linguagem. Yamin chamou de “AI versus AI”, pois os modelos foram treinados para procurar fatores específicos, como a duração das frases, o uso de pontuação e as frases específicas. (Divulgação: Ziff Davis, empresa controladora da CNET, em abril entrou com uma ação contra o Openai, alegando que ele violou a Ziff Davis Copyrights em treinamento e operação de seus sistemas de IA.)

O problema de usar a IA para detectar a IA é que grandes modelos de linguagem são frequentemente uma “caixa preta” – eles produzem uma saída que faz sentido, e você sabe o que aconteceu para treiná -los, mas eles não mostram seu trabalho. A função lógica da AI da Copyleaks tenta puxar o véu para que as pessoas tenham uma noção melhor do que na cópia que estão avaliando pode realmente ser escrita à IA.

“O que é realmente importante é ter tanta transparência em torno dos modelos de IA (quanto possível), mesmo internamente”, disse Yamin.

Leia mais: AI Essentials: 29 maneiras de fazer o Gen AI funcionar para você, de acordo com nossos especialistas

A IA Logic usa duas abordagens diferentes para identificar o texto potencialmente escrito por um LLM. Um, chamado AI Source Match, usa um banco de dados de conteúdo gerado por IA de fontes criadas internamente por copyleaks ou em sites de IA on-line. Isso funciona como um detector de plágio tradicional. “O que descobrimos é que o conteúdo da IA, na maioria das vezes, se você fizer a mesma pergunta ou uma pergunta semelhante repetidamente, você terá respostas semelhantes ou uma versão semelhante da mesma resposta”, disse Yamin.

O outro componente, as frases da IA, detecta termos e grupos de palavras que a pesquisa dos copyleaks determinou que têm muito mais probabilidade de serem usados ​​pelo LLMS do que por escritores humanos. Em um relatório de amostra, os copyleaks identificaram a frase “com avanços na tecnologia” como potencialmente escritos pela IA. A análise do conteúdo gerado pela Copyleaks descobriu que a frase apareceu 125 vezes por milhão de documentos escritos pela IA, em comparação com apenas seis vezes por milhão de documentos escritos por pessoas.

A questão é: funciona?

Os copyleaks podem detectar o conteúdo da IA ​​e explicar por quê?

Eu executei alguns documentos através do CopyLeaks para ver se a lógica da IA ​​pode identificar o que sei ser conteúdo criado pela AI, ou se sinaliza o conteúdo escrito por humanos como escrito com IA.

Exemplo: um clássico escrito humano

Qual a melhor maneira de testar uma ferramenta de inteligência artificial do que com uma história sobre inteligência artificial? Pedi copyaks para testar uma seção do clássico conto de Isaac Asimov de 1956 A última perguntasobre uma inteligência artificial fictícia encarregada de resolver um problema difícil. A CopyLeaks o identificou com sucesso como 100% correspondente ao texto na Internet e a 0% de IA-escrito.

Exemplo: parcialmente escrito ai

Para este exemplo, perguntei Chatgpt para adicionar dois parágrafos de cópia adicional a uma história que escrevi e publicado no início do dia. Eu executei o texto resultante-minha história original com os dois parágrafos escritos pela IA adicionados na parte inferior-através de copyleaks.

A Copyleaks identificou com sucesso que 65,8% dessa cópia correspondia ao texto existente (porque já era literalmente um artigo na Internet), mas não captou nada como sendo gerado pela IA. Esses dois parágrafos chatgpt acabaram de escrever? Voou completamente sob o radar.

Ampliar a imagem

Eu tentei novamente, desta vez perguntando Gêmeos do Google Para adicionar alguma cópia à minha história existente. A Copyleaks identificou novamente que 67,2% do texto correspondia ao que estava online, mas também relatou que 100% do texto pode ter sido gerado pela IA. Até o texto que escrevi foi sinalizado, com algumas frases, como o “modelo de IA generativo”, descrito como ocorrendo com mais frequência no texto escrito por IA.

Exemplo: Totalmente escrito ai

Em um teste da capacidade generativa da IA ​​de criar coisas que estão totalmente fora de contato com a realidade, pedi para escrever uma notícia como se o Cincinnati Bengals tivesse vencido o Super Bowl. (Neste universo fictício, Cincinnati venceu o San Francisco 49ers por uma pontuação de 31-17.) Quando eu corri a história falsa através do Copyleaks, ele o identificou com sucesso como totalmente escrito.

Ampliar a imagem

O que os copyleaks não fizeram, no entanto, é explicar o porquê. Ele disse que nenhum resultado foi encontrado em sua correspondência de fonte de IA ou em suas frases de IA, mas com uma nota: “Não há frase específica que indique a IA. No entanto, outros critérios sugerem que este texto foi gerado pela IA”.

Tentei novamente, desta vez com uma história diferente gerada pelo ChatGPT sobre o Bengals vencer o Super Bowl por 27 a 24 nos 49ers, e a Copyleaks forneceu uma explicação mais detalhada. Ele calculou que o conteúdo era de 98,7% de AI-criado, com um punhado de frases destacadas. Isso incluiu alguns termos aparentemente inocentes como “feitos vários críticos” e “testemunho de anos de”. Ele também incluiu algumas seqüências de palavras que se espalharam por várias frases ou frases, como “continua a evoluir, o futuro do Bengals”, que aparentemente ocorreu 317 vezes mais frequentemente no conteúdo gerado pela AI do banco de dados do que nos documentos de texto humano. (Depois de levantar o problema com a primeira tentativa do Copyleaks, tentei novamente e obtive resultados semelhantes a este segundo teste.)

Só para ter certeza de que não estava operando inteiramente no fato de que o Bengals nunca ganhou um Super Bowl, pedi ao Chatgpt para escrever um artigo sobre o Los Angeles Dodgers vencendo a World Series. A Copyleaks constatou que 50,5% correspondiam ao texto existente on-line, mas também relataram que estava 100% escrito em IA.

Um exemplo de alto perfil

A Copyleaks fez alguns testes próprios, usando um exemplo recente de um controverso uso suposto de IA. Em maio, a agência de notícias Conhecido disse que a relatório Do governo Trump, Make America Healthy Again Commission continha referências a estudos acadêmicos que não existiam. Pesquisadores que foram citados no relatório da MAHA disseram aos meios de comunicação que não produziram esse trabalho. Citações de fontes inexistentes são um resultado comum de alucinação de IA, e é por isso que é importante Verifique qualquer coisa que um LLM cite. O governo Trump defendeu o relatóriocom um porta -voz culpando “pequenos erros de citação e formatação” e afirmando que a substância do relatório permanece inalterada.

A CopyLeaks executou o relatório por meio de seu sistema, que relatou encontrar 20,8% de conteúdo escrito em potencial de IA. Ele encontrou algumas seções sobre a saúde mental das crianças, levantava bandeiras vermelhas em seu banco de dados de frases de IA. Algumas frases que ocorreram com muito mais frequência no texto escrito pela IA incluíam “impactos das mídias sociais em seus” e “o impacto negativo das mídias sociais em sua saúde mental”.

Uma IA pode realmente detectar texto escrito com IA?

Na minha experiência, o aumento da transparência dos copyaks para a forma como a ferramenta funciona é um passo à frente para o mundo da detecção de IA, mas isso ainda está longe de ser infalível. Ainda existe um risco preocupante de falsos positivos. Nos meus testes, às vezes as palavras que eu escrevi poucas horas antes (e sei que a IA não desempenhou um papel nelas) poderia ser sinalizada por causa de algumas das frases. Ainda assim, a Copyleaks conseguiu identificar um artigo de notícias falsas sobre uma equipe que nunca ganhou um campeonato fazendo isso.

Yamin disse que o objetivo não é necessariamente ser a melhor fonte de verdade, mas fornecer às pessoas que precisam avaliar se e como a IA foi usada com ferramentas para tomar melhores decisões. Um humano precisa estar no loop, mas ferramentas como copyleaks podem ajudar na confiança.

“A idéia no final é ajudar os seres humanos no processo de avaliação do conteúdo”, afirmou. “Acho que estamos em uma época em que o conteúdo está em toda parte e está sendo produzido cada vez mais e mais rápido do que nunca. Está ficando mais difícil identificar o conteúdo que você pode confiar”.

Aqui está a minha opinião: Ao usar um detector de IA, uma maneira de ter mais confiança é olhar especificamente para o que está sendo sinalizado como possivelmente escrito. A frase suspeita ocasional pode ser e provavelmente é inocente. Afinal, existem apenas tantas maneiras diferentes de reorganizar as palavras – uma frase compacta como o “modelo de IA generativa” é bastante útil para nós humanos, o mesmo que para a IA. Mas se são vários parágrafos inteiros? Isso pode ser mais preocupante.

Detectores de IA, assim como o boato de que o EM Dash é uma IA Tell, pode ter falsos positivos. Uma ferramenta que ainda é em grande parte uma caixa preta cometerá erros, e isso pode ser devastador para alguém cuja escrita genuína não foi sinalizada sem culpa própria.

Perguntei a Yamin como os escritores humanos podem garantir que o trabalho deles não esteja pego nessa armadilha. “Apenas faça o que você gosta”, disse ele. “Certifique -se de ter seu toque humano.”