Pesquisadores do MIT usam modelo de IA para interpretar e editar outras redes neurais

Pesquisadores do Instituto de Tecnologia de Massachusetts (MIT) em Cambridge usaram um modelo de inteligência artificial para ler e modificar o funcionamento interno de outra rede de IA, oferecendo uma nova maneira de espiar a "caixa preta" da IA. As descobertas foram relatadas em um pré-impresso em 2 de novembro.

Como funciona o mecânico de IA

A equipe demonstrou como um modelo de IA chamado GPT-6 Astra pode interpretar os valores internos brutos de alguns outros modelos com precisão suficiente para prever o que diferentes partes dos sistemas fazem. Em seguida, ele pode editar os modelos para fazer melhorias, incluindo o aprimoramento de suas habilidades matemáticas.

Modelos de IA de fronteira estão "mostrando primeiros sinais" de capacidade de tratar redes neurais como arquivos que podem ser lidos, analisados e alterados, diz o coautor Rikiya Takehi, pesquisador de aprendizado de máquina no MIT.

Os resultados não significam que o Astra, desenvolvido pela OpenAI em San Francisco, Califórnia, possa explicar ou entender como uma determinada rede de IA funciona. Mas as descobertas sugerem que modelos de IA de uso geral — como ChatGPT ou Claude — podem ser capazes de modificar uma rede de maneiras úteis, como um mecânico que pode identificar e corrigir problemas em um motor que ele nem projetou nem compreende totalmente.

Reações de especialistas

Fazl Barez, pesquisador de segurança de IA na Universidade de Oxford, no Reino Unido, diz que o pré-impresso mostra que é possível automatizar alguns métodos de "interpretabilidade". Ele alerta que a esperança de que uma melhor compreensão dos modelos ajude a criar sistemas de IA mais seguros é "em grande parte inexplorada".

Barez diz que ficaria surpreso se o Astra fosse capaz de ler e interpretar modelos de maneiras que vão além das habilidades humanas existentes, e ainda não está claro se o Astra está indo além da aplicação de informações e técnicas aprendidas em seu treinamento.

Marinka Zitnik, cientista da computação e bioinformata da Universidade Harvard em Cambridge, Massachusetts, diz que, se desenvolvida ainda mais, tal capacidade de reprogramar modelos pode ser um ativo no desenvolvimento de IA para a ciência, por exemplo, ajudando a detectar erros em um modelo antes dos testes no mundo real.

Por que isso importa

Ser capaz de direcionar e depurar sistemas de IA pode melhorar a segurança e a utilidade da inteligência artificial. A maneira complexa como os recursos de um modelo se conectam às suas saídas significa que as redes neurais são frequentemente descritas como caixas pretas, e os pesquisadores de interpretabilidade realizam experimentos para descobrir, por exemplo, quais pesos são ativados sob condições específicas.

Fontes (em inglês)

• nature.com: This AI ‘mechanic’ can peer inside the black box of other neural networks | Nature

Tradução feita com IA do artigo original em inglês, revisada automaticamente para dizer o mesmo que o original. As fontes foram verificadas em inglês.