Na segunda-feira, um desenvolvedor usando o popular editor de código de IA a IA Cursor Percebi algo estranho: alternar entre máquinas instantaneamente os registrou, quebrando um fluxo de trabalho comum para programadores que usam vários dispositivos. Quando o usuário entrou em contato com o suporte ao cursor, um agente chamado “Sam” disse a eles que era um comportamento esperado sob uma nova política. Mas nenhuma política não existia, e Sam era um bot. O modelo de IA criou a política, provocando uma onda de queixas e ameaças de cancelamento documentadas em Notícias de hacker e Reddit.
Isso marca a última instância das confabulações de IA (também chamada de “alucinações”), causando possíveis danos nos negócios. As confabulações são um tipo de resposta de “preenchimento de lacunas criativas”, onde os modelos de IA inventam informações plausíveis, mas falsas. Em vez de admitir incerteza, os modelos de IA geralmente priorizam a criação de respostas plausíveis e confiantes, mesmo quando isso significa fabricar informações do zero.
Para as empresas que implantam esses sistemas em funções voltadas para o cliente sem supervisão humana, as consequências podem ser imediatas e caras: clientes frustrados, confiança danificada e, no caso de Cursor, potencialmente cancelaram assinaturas.
Como isso se desenrolou
O incidente começou quando um usuário do Reddit chamado BrokentoasterOven percebido que, ao trocar entre um desktop, laptop e uma caixa de dev remota, as sessões do cursor foram inesperadamente encerradas.
“O login no cursor em uma máquina invalida imediatamente a sessão em qualquer outra máquina”, escreveu BrokentoasterOven em uma mensagem que foi posteriormente excluído por R/Cursor Moderators. “Esta é uma regressão UX significativa.”
Confuso e frustrado, o usuário escreveu um email para o suporte ao cursor e rapidamente recebeu uma resposta de Sam: “O cursor foi projetado para funcionar com um dispositivo por assinatura como um recurso de segurança principal”, leia a resposta por email. A resposta parecia definitiva e oficial, e o usuário não suspeitou que Sam não fosse humano.
Após o post inicial do Reddit, os usuários fizeram o post como confirmação oficial de uma mudança de política real – uma que quebrou hábitos essenciais para os rotinas diárias de muitos programadores. “Os fluxos de trabalho de vários dispositivos são estacas de tabela para desenvolvedores”, escreveu um usuário.
Logo depois, vários usuários anunciaram publicamente seus cancelamentos de assinatura no Reddit, citando a política inexistente como seu motivo. “Eu literalmente cancelei meu sub”, escreveu o pôster original do Reddit, acrescentando que o local de trabalho deles estava agora “purgando -o completamente”. Outros se juntaram: “Sim, também estou cancelando, isso é asinina”. Logo depois, os moderadores travaram o segmento do Reddit e removeram a postagem original.
