Linguagem grande moderna Os modelos (LLMs) podem escrever belos sonetos e código elegante, mas não têm uma capacidade rudimentar de aprender com a experiência.
Pesquisadores do Instituto de Tecnologia de Massachusetts (MIT) agora criaram uma maneira de os LLMs continuarem melhorando, aprimorando seus próprios parâmetros em resposta a novas informações úteis.
O trabalho é um passo em direção à construção inteligência artificial Modelos que aprendem continuamente-um objetivo de longa data do campo e algo que será crucial para que as máquinas imitem cada vez mais fielmente a inteligência humana. Enquanto isso, poderia nos dar chatbots e outras ferramentas de IA que são mais capazes de incorporar novas informações, incluindo os interesses e preferências de um usuário.
O esquema do MIT, chamado de modelos de linguagem de adaptação automática (SEAL), envolve que um LLM aprenda a gerar seus próprios dados de treinamento sintético e um procedimento de atualização com base na entrada que recebe.
“A idéia inicial era explorar se os tokens (unidades de texto alimentados ao LLMS e gerados por eles) poderiam causar uma atualização poderosa para um modelo”, diz Jyothish Pari, um estudante de doutorado no MIT envolvido no desenvolvimento de SEAL. Pari diz que a idéia era ver se a saída de um modelo poderia ser usada para treiná -la.
Adam Zweiger, um pesquisador de graduação do MIT envolvido na construção do selo, acrescenta que, embora os modelos mais novos possam “raciocinar” o seu caminho para melhores soluções, realizando inferência mais complexa, o próprio modelo não se beneficia desse raciocínio a longo prazo.
O selo, por outro lado, gera novas idéias e o dobra em seus próprios pesos ou parâmetros. Dada uma declaração sobre os desafios enfrentados pelo programa espacial Apollo, por exemplo, o modelo gerou novas passagens que tentam descrever as implicações da declaração. Os pesquisadores compararam isso com a maneira como um aluno humano escreve e revisa notas para ajudar em seu aprendizado.
O sistema atualizou o modelo usando esses dados e testou o quão bem o novo modelo é capaz de responder a um conjunto de perguntas. E finalmente, isso fornece um Aprendizagem de reforço sinal que ajuda a orientar o modelo para atualizações que melhoram suas habilidades gerais e que ajudam a continuar o aprendizado.
Os pesquisadores testaram sua abordagem em versões pequenas e médias de dois modelos de código aberto, Meta’s Lhama e Alibaba’s Qwen. Eles dizem que a abordagem também deve trabalhar para modelos de fronteira muito maiores.
Os pesquisadores testaram a abordagem do selo no texto e em uma referência chamada ARC que avalia a capacidade de um modelo de IA de resolver problemas abstratos de raciocínio. Nos dois casos, viram que Seal permitiu que os modelos continuassem aprendendo muito além do treinamento inicial.
Pulkit Agrawal, professor do MIT que supervisionou o trabalho, diz que o Projeto Seal aborda temas importantes na IA, incluindo como fazer com que a IA descubra por si mesma o que deve tentar aprender. Ele diz que poderia muito bem ser usado para ajudar a tornar os modelos de IA mais personalizados. “Os LLMs são poderosos, mas não queremos que o conhecimento deles pare”, diz ele.
O selo ainda não é uma maneira de a IA melhorar indefinidamente. Por um lado, como observa o Agrawal, os LLMs testados sofrem com o que é conhecido como “esquecimento catastrófico”, um efeito preocupante visto ao ingerir novas informações faz com que o conhecimento mais antigo desapareça. Isso pode apontar para uma diferença fundamental entre as redes neurais artificiais e as biológicas. Pari e Zweigler também observam que o Seal é computacionalmente intensivo e ainda não está claro a melhor forma de agendar de maneira mais efetiva novos períodos de aprendizado. Uma idéia divertida, Zweigler menciona, é que, como os humanos, talvez o LLMS possa experimentar períodos de “sono” onde novas informações são consolidadas.
Ainda assim, para todas as suas limitações, o Seal é um novo caminho emocionante para pesquisas adicionais de IA – e pode muito bem ser algo que encontra seu caminho nos futuros modelos de IA de fronteira.
O que você acha da IA capaz de continuar aprendendo? Envie um e -mail para hello@wired.com para me avisar.
