A IA não está pronta para substituir os codificadores humanos por depuração, dizem os pesquisadores

Essa abordagem é muito mais bem -sucedida do que confiar nos modelos, como geralmente são usados, mas quando seu melhor caso é uma taxa de sucesso de 48,4 %, você não está pronto para o horário nobre. As limitações são prováveis ​​porque os modelos não entendem completamente como usar melhor as ferramentas e porque seus dados de treinamento atuais não são adaptados a esse caso de uso.

“Acreditamos que isso se deve à escassez de dados que representam o comportamento de tomada de decisão seqüencial (por exemplo, traços de depuração) no atual corpus de treinamento da LLM”, diz o post do blog. “No entanto, a melhoria significativa do desempenho … valida que essa é uma direção promissora de pesquisa”.

Este relatório inicial é apenas o começo dos esforços, afirma o post. O próximo passo é “ajustar um modelo de busca de informações especializado em reunir as informações necessárias para resolver bugs”. Se o modelo for grande, a melhor jogada para economizar custos de inferência pode ser “construir um modelo menor de busca de informações que possa fornecer informações relevantes para a maior”.

Esta não é a primeira vez que vimos resultados que sugerem algumas das idéias ambiciosas sobre os agentes da IA ​​substituindo diretamente os desenvolvedores estão muito longe da realidade. Já houve vários estudos mostrando que, embora uma ferramenta de IA às vezes possa criar um aplicativo que pareça aceitável para o usuário para uma tarefa estreita, os modelos tendem a produzir código carregado com bugs e vulnerabilidades de segurança e geralmente não são capazes de corrigir esses problemas.

Este é um passo precoce no caminho para os agentes de codificação de IA, mas a maioria dos pesquisadores concorda que ainda é provável que o melhor resultado seja um agente que salva a um desenvolvedor humano uma quantidade substancial de tempo, não aquela que pode fazer tudo o que pode fazer.