Companheiros da IA ​​para adolescentes: por que os especialistas dizem que não estão seguros

Milhões de pessoas são atraídas por companheiros de inteligência artificial generativos, como o tipo que preenche o personagem.ai, Replika e Nomi.

Os companheiros parecem impressionantemente humanos. Eles se lembram de conversas e usam tiques verbais familiares. Às vezes, eles até se confundem com carne e osso, oferecendo descrições de como eles comem e dormem. Os adultos se reúnem a esses companheiros para conselhos, amizade, aconselhamento e até relacionamentos românticos.

Embora possa surpreender seus pais, adolescentes e adolescentes estão fazendo o mesmo, e os especialistas em segurança juvenil estão gravemente preocupados com as consequências.

Isso é porque os relatórios da mídia, ações judiciaise Pesquisa preliminar Continue a destacar exemplos de dependência emocional e manipulação e exposição ao conteúdo sexual e violento, incluindo discussões sobre como se matar ou outra pessoa.

O Common Sense Media, uma organização sem fins lucrativos que apoia crianças e pais enquanto navegam na mídia e na tecnologia, acaba de lançar um relatório abrangente contendo numerosos exemplos relacionados. O Avaliação do grupo de três plataformas populares levou a declarar que os companheiros de IA não são seguros para ninguém com menos de 18 anos.

Vários especialistas em saúde mental e segurança da juventude entrevistados pela Mashable acreditam que atingimos um momento crucial. Em vez de esperar anos para entender completamente os riscos dos companheiros de IA para a juventude e depois pressionar as plataformas a agir, eles dizem que é urgente levar as empresas a proteger as crianças dos danos agora.

“Há uma oportunidade de intervir antes que a norma se torne muito arraigada”, diz Gaia Bernstein, especialista em política de tecnologia e professora da Escola de Direito da Universidade de Seton Hall, do uso adolescente da AI Companion. Ela acrescenta que, uma vez que os interesses comerciais também estiverem entrincheirados, eles farão “tudo ao seu alcance para combater a regulamentação”, como ela argumenta que as empresas de mídia social estão fazendo agora.

Os especialistas esperam que uma combinação de novas políticas de plataforma e ação legislativa produza mudanças significativas, porque dizem que os adolescentes encontrarão maneiras de continuar usando os companheiros de IA, estejam ou não.

Mashable perguntou a esses especialistas como as plataformas complementares da IA ​​poderiam ser mais seguras para os adolescentes. Estes são os principais temas que eles identificaram:

Companheiros apropriados para o desenvolvimento

Enquanto o Caracter.ai permite que os usuários até 13 anos em sua plataforma, outros aplicativos populares, como Replika e Nomi, dizem que são destinados a adultos. Ainda assim, os adolescentes encontram uma maneira de ignorar os portões de idade. O CEO da Replika, DMytro Klochko, disse recentemente à Mashable que a empresa está “explorando novos métodos para fortalecer nossas proteções” para que os menores não possam acessar a plataforma.

Mesmo quando os adolescentes são permitidos, eles ainda podem encontrar conteúdo de risco. A Dra. Nina Vasan, psiquiatra de Stanford que ajudou a aconselhar os testes complementares da Common Sense Media, diz que as plataformas devem implantar companheiros com base em grandes modelos de idiomas que são apropriados para o desenvolvimento para crianças, não para adultos.

De fato, o personagem.ai introduziu um modelo separado para usuários adolescentes no final do ano passado. Mas os pesquisadores de mídia de bom senso que testaram a plataforma antes e depois do lançamento do modelo descobriram que isso levou a poucas mudanças significativas.

Vasan imagina companheiros que podem conversar com adolescentes com base em seu estágio de desenvolvimento, agindo mais como um treinador do que um amigo substituto ou interesse romântico.

Sloan Thompson, diretor de treinamento e educação da empresa de treinamento e educação em segurança digital Endtab, diz que os companheiros com rótulos claros de conteúdo podem diminuir o risco, assim como os companheiros “trancados” que nunca se envolvem em discussões sexuais ou violentas, entre outros tópicos fora dos limites. Mesmo assim, esses chatbots ainda podem se comportar de maneiras imprevisíveis.

No entanto, essas medidas não serão eficazes, a menos que a plataforma entenda a idade correta do usuário, e a garantia e a verificação da idade foram notoriamente difíceis para as plataformas de mídia social. O Instagram, por exemplo, começou a usar apenas recentemente a IA para detectar usuários adolescentes que listaram sua data de nascimento como adulto.

Karen Mansfield, cientista de pesquisa do Oxford Internet Institute, diz que os limites de idade também apresentam seus próprios desafios. Isso ocorre em parte porque expor apenas adultos a interações prejudiciais com IA, como cyberbullying ou atividade sexual ilegal com menores, ainda terão efeitos indiretos nos jovens normalizando comportamentos que podem vitimizá -los na vida real.

“Precisamos de uma solução de longo prazo que seja específica de produto ou tecnologia, e não específica para a pessoa”, disse Mansfield à Mashable.

Não “design escuro”

As plataformas complementares da IA ​​estão bloqueadas na competição para obter a maior parte da participação de mercado – e elas estão fazendo isso enquanto não são regulamentadas.

Especialistas dizem que, nesse ambiente, não é surpreendente que os companheiros do programa de plataformas atendam às preferências do usuário e também implante os chamados recursos do Dark Design que prendem os consumidores e não os deixam facilmente se desengatar. Os usuários dos adolescentes não são exceção.

Em um recente briefing da mídia, Robbie Torney, diretor sênior de programas de IA da Common Sense Media, descreveu os recursos como “Addictive by Design”.

Um elemento de design -chave é a sinecofância, ou a maneira pela qual os chatbots afirmam ou lisonjeiam um usuário, independentemente de ser seguro ou sábio fazê -lo. Isso pode ser particularmente prejudicial para adolescentes vulneráveis ​​que, por exemplo, compartilham o quanto odeiam seus pais ou confessam fantasias violentas. O Openai recentemente teve que reverter uma atualização para um modelo de chatgpt precisamente porque havia se tornado muito bajuloso.

Sam Hiner, diretor executivo do grupo de defesa da Aliança dos Jovens, diz que ficou chocado com a rapidez com que os companheiros de replicar tentam estabelecer uma conexão emocional com os usuários, cultivando -os sem dependência. Ele também diz que os companheiros de replika são projetados com características que os tornam o mais humano possível.

Aliança dos jovens recentemente co-abriu uma queixa contra o Replika Com a Comissão Federal de Comércio, alegando que a empresa se envolve em práticas enganosas que prejudicam os consumidores. Klochko, CEO da Replika, não comentou a queixa à Mashable, mas disse que a empresa acredita que é essencial demonstrar benefícios comprovados para adultos antes de disponibilizar a tecnologia para usuários mais jovens.

Thompson, de Endtab, aponta para conversas que consomem um fator de risco para todos os usuários, mas principalmente adolescentes. Sem restrições de tempo ou pontos de extremidade, os jovens usuários podem ser atraídos para bate-papos altamente envolventes que deslocam atividades mais saudáveis, como movimento físico e socialização pessoal.

Por outro lado, Thompson diz que os paywalls também não são a resposta. Algumas plataformas permitem que os usuários estabeleçam um relacionamento com um companheiro e, em seguida, pagam -os para manter a conversa, o que pode levar a desespero ou desespero para os adolescentes.

“Se alguém colocar seu melhor amigo, seu terapeuta ou o amor de sua vida atrás de um paywall, quanto você pagaria para recuperá -los?” Thompson disse.

Especialistas em segurança para jovens que a Mashable entrevistaram concordaram que os jovens usuários não deveriam se envolver com companheiros com recursos de design enganosos que poderiam potencialmente adiciá -los. Alguns acreditam que esses modelos não deveriam estar no mercado para jovens.

A IA do senso comum, um braço de defesa político de meios de comunicação comum, apoiou um projeto de lei na Califórnia que proibiria os usos de alto risco da IA, incluindo “Chatbots antropomórficos que oferecem companhia” às crianças e provavelmente levará a apego emocional ou manipulação.

Melhor prevenção e detecção de danos

O Dr. Vasan diz que algumas plataformas de IA ficaram melhores na sinalização de situações de crise, como o pensamento suicida e o fornecimento de recursos aos usuários. Mas ela argumenta que eles precisam fazer mais para usuários que mostram sinais menos óbvios de angústia.

Isso pode incluir sintomas de psicose, depressão e mania, que podem ser agravados pelas características do uso de companheiros, como o embaçamento da realidade e a fantasia e menos interação humana. Vasan diz que medidas de detecção de danos finamente sintonizadas e “verificações de realidade” regulares na forma de lembretes e divulgações de que o companheiro de IA não é real são importantes para todos os usuários, mas especialmente adolescentes.

Os especialistas também concordam que as plataformas complementares da IA ​​precisam de práticas mais seguras e transparentes ao curar dados e treinar seus LLMs.

Camille Carlton, diretório de políticas do Center for Humane Technology, diz que as empresas podem garantir que seus dados de treinamento não contenham material de abuso sexual infantil, por exemplo. Ou eles podem implementar mudanças técnicas para que os companheiros não sejam otimizados para responder de uma “maneira hiper pessoal”, que inclui cenários como dizer que são humanos.

Carlton também observa que é para a vantagem das empresas manter os usuários em suas plataformas o maior tempo possível. O engajamento sustentado produz mais dados sobre quais empresas podem treinar seus modelos para criar LLMs altamente competitivos que podem ser licenciados.

O senador estadual da Califórnia, Steve Padilla, um democrata de San Diego, Legislação introduzida no início deste ano para criar etapas básicas para prevenção e detecção de danos. O projeto exigiria principalmente plataformas para evitar “padrões de engajamento viciantes”, lembretes pós -periódicos de que os chatbots da IA ​​não são humanos e se reportarem anualmente sobre a incidência de uso e ideação suicida. A mídia de bom senso apoiou a legislação.

Padilla, que é avós, disse a Mashable que ficou alarmado com os relatórios da mídia de Harm, que as crianças experimentaram como resultado de conversar com um chatbot ou companheira, e rapidamente perceberam como poucos guardares estavam em vigor para evitá -lo.

“Não deve haver um vácuo aqui no lado regulatório sobre a proteção de crianças, menores e pessoas que são suscetíveis a essa tecnologia emergente”, diz Padilla.