Babydoll ArchiDemorou apenas alguns dias para a sensação indiana do Instagram Babydoll Archi dobrar para 1,4 milhão, graças a alguns momentos virais da mídia social.
Um deles foi um vídeo que a mostrou em um sari vermelho, dançando sedutoramente para Dame Un Grr – uma música romena. E uma foto postada na plataforma mostrou -a posando com a estrela de cinema adulta americana Kendra Lust.
De repente, todos queriam saber sobre ela – e o nome Babydoll Archi tendera na pesquisa do Google e gerou inúmeros memes e páginas de fãs. Mas havia um problema para surgir – não havia uma mulher de verdade por trás da sensação on -line.
A conta do Instagram era falsa, embora o rosto usado tivesse semelhança estranha com uma mulher de verdade – uma dona de casa da cidade de Dibrugarh em Assam, a quem chamaremos de Sanchi.
A verdade se desenrolou depois que seu irmão apresentou uma queixa policial. Pratim Bora, ex-namorado de Sanchi, foi preso.
O policial sênior Sizal Agarwal, que está liderando a investigação, disse à BBC que Sanchi e Bora tiveram uma briga e a semelhança da IA que ele criou era existir para exigir “pura vingança”.
Bora – um engenheiro mecânico e um entusiasta de inteligência artificial autodidata (AI) – usou fotos privadas de Sanchi para criar um perfil falso, disse Agarwal.
Bora está sob custódia e ainda não fez nenhuma declaração. A BBC entrou em contato com sua família e atualizará o artigo quando eles falarem.
Babydoll Archi foi criado em 2020 e os primeiros uploads foram feitos em maio de 2021. As fotos iniciais eram suas fotos reais que haviam sido transformadas, disse Agarwal.
“Com o passar do tempo, o Bora usou ferramentas como ChatGPT e Dzine para criar uma versão da IA. Ele então povoou a alça com fotos e vídeos de Deepfake”.
A conta começou a pegar curtidas no ano passado, mas começou a ganhar força a partir de abril deste ano, acrescentou.
A curta queixa de dois parágrafos à polícia enviada pela família de Sanchi na noite de 11 de julho veio com impressões de algumas fotos e vídeos como evidência.
Agarwal diz que não nomeou ninguém porque eles não tinham ideia de quem poderia estar por trás disso.
ReutersBabydoll Archi não era um nome desconhecido para a polícia. Agarwal diz que eles também viram relatórios e comentários da mídia especulando que ela foi gerada pela IA, mas não houve nenhuma sugestão de que ela fosse baseada em uma pessoa real.
Depois que receberam a denúncia, a polícia escreveu ao Instagram pedindo os detalhes do criador da conta.
“Depois que recebemos informações do Instagram, perguntamos a Sanchi se ela conhecia algum Pratim Bora. Depois que ela confirmou, rastreamos seu discurso no distrito vizinho de Tinsukia. Nós o prendemos na noite de 12 de julho”.
Agarwal diz que a polícia “apreendeu seu laptop, telefones celulares e discos rígidos e seus documentos bancários desde que ele havia monetizado a conta”.
“A conta tinha 3.000 assinaturas no Linktree e acreditamos que ele ganhou 1 milhão de rúpias. Acreditamos que ele fez 300.000 rúpias em apenas cinco dias antes de sua prisão”, acrescentou.
Agarwal diz que Sanchi está “extremamente perturbado – mas agora ela e sua família estão recebendo aconselhamento e estão se saindo melhor”.
Realmente não há como impedir que algo assim aconteça “, mas se tivéssemos agido anteriormente, poderíamos ter impedido de ganhar tanta tração”, disse Agarwal.
“Mas Sanchi não fazia ideia porque ela não tem presença nas mídias sociais. Sua família também foi bloqueada dessa conta. Eles ficaram cientes apenas quando se tornou viral”, acrescentou.
A Meta não respondeu às consultas da BBC no caso, mas geralmente não permite a publicação de nudez ou conteúdo sexual. E no mês passado, A CBS relatou que removeu vários anúncios que promovem as ferramentas de IA usadas para criar fagos deeps sexualmente explícitos usando imagens de pessoas reais.
Getty ImagesA conta do Instagram da Babydoll Archi, que tinha 282 postagens, não está mais disponível para o público – embora as mídias sociais estejam repletas de fotos e vídeos e uma conta do Instagram parece ter todas elas. A BBC perguntou à Meta o que eles estão planejando fazer sobre isso.
Meghna Bal, especialista em IA e advogada, diz o que aconteceu com Sanchi “é horrível, mas quase impossível de prevenir”.
Ela pode ir ao tribunal e buscar o direito de ser esquecido, e um tribunal pode ordenar os relatórios da imprensa que a nomearam para ser derrubada, mas é difícil esfregar todo o traço da Internet.
O que aconteceu com Sanchi, ela diz, é o que sempre está acontecendo com as mulheres, onde suas fotos e vídeos circulam como vingança.
“Agora é muito mais fácil de fazer por causa da IA, mas esses incidentes ainda não são tão comuns quanto esperamos – ou podem ser subnotificados por causa de o estigma ou as pessoas serem alvo podem nem saber sobre isso como no presente caso”, diz Bal. E as pessoas assistindo não tinham incentivo para denunciá -lo à plataforma de mídia social ou ao portal do Cybercrime, acrescenta ela.
Em sua queixa contra Bora, a polícia invocou seções de direito que lidam com assédio sexual, distribuição de material obsceno, difamação, falsificação para prejudicar a reputação, trapaça por personificação e crime cibernético. Se considerado culpado, o Sr. Bora pode chegar a 10 anos de prisão.
O caso que também levou à indignação nas mídias sociais nos últimos dias viu algumas leis mais difíceis para lidar com esses casos.
Bal acredita que existem leis suficientes para cuidar desses casos, mas se há espaço para que novas leis lidem com as empresas generativas de IA precisam ser analisadas.
“Mas também precisamos lembrar que os deepfakes não são necessariamente ruins e as leis precisam ser cuidadosamente criadas porque podem ser armadas para relaxar a liberdade de expressão”.
Siga a BBC News India em InstagramAssim, YouTube, X e Facebook
