Investigadores del MIT utilizan un modelo de IA para interpretar y editar otras redes neuronales

Los investigadores del Instituto de Tecnología de Massachusetts (MIT) en Cambridge han utilizado un modelo de inteligencia artificial para leer y modificar el funcionamiento interno de otra red de IA, ofreciendo una nueva forma de mirar dentro de la "caja negra" de la IA. Los hallazgos se informaron en un preprint el 2 de noviembre.

Cómo funciona el mecánico de IA

El equipo demostró cómo un modelo de IA llamado GPT-6 Astra puede interpretar los valores internos en bruto de algunos otros modelos lo suficientemente bien como para predecir qué hacen las diferentes partes de los sistemas. Luego puede editar los modelos para realizar mejoras, incluido el aumento de sus capacidades matemáticas.

Los modelos de IA de vanguardia están "mostrando primeros indicios" de la capacidad de tratar las redes neuronales como archivos que pueden leer, razonar sobre ellos y cambiar, dice el coautor Rikiya Takehi, investigador de aprendizaje automático en el MIT.

Los resultados no significan que Astra, desarrollado por OpenAI en San Francisco, California, pueda explicar o comprender cómo funciona una red de IA determinada. Pero los hallazgos sugieren que los modelos de IA de propósito general, como ChatGPT o Claude, podrían ser capaces de modificar una red de maneras útiles, como un mecánico que puede identificar y solucionar problemas en un motor que ni diseñó ni comprende completamente.

Reacciones de expertos

Fazl Barez, investigador de seguridad de IA en la Universidad de Oxford, Reino Unido, dice que el preprint muestra que es posible automatizar algunos métodos de "interpretabilidad". Advierte que la esperanza de que una mejor comprensión de los modelos ayude a crear sistemas de IA más seguros está "en gran medida sin probar".

Barez dice que le sorprendería si Astra es capaz de leer e interpretar modelos de maneras que van más allá de las capacidades humanas existentes, y sigue sin estar claro si Astra está yendo más allá de aplicar información y técnicas aprendidas en su entrenamiento.

Marinka Zitnik, científica de la computación y bioinformática en la Universidad de Harvard en Cambridge, Massachusetts, dice que, si se desarrolla más, dicha capacidad de reprogramar modelos podría ser un activo en el desarrollo de IA para la ciencia, por ejemplo, ayudando a detectar errores en un modelo antes de las pruebas en el mundo real.

Por qué importa

Ser capaz de dirigirse y depurar sistemas de IA podría mejorar la seguridad y la utilidad de la inteligencia artificial. La compleja forma en que las características de un modelo se vinculan con sus salidas significa que las redes neuronales a menudo se describen como cajas negras, y los investigadores de interpretabilidad realizan experimentos para determinar, por ejemplo, qué pesos se activan bajo condiciones específicas.

Fuentes (en inglés)

• nature.com: This AI ‘mechanic’ can peer inside the black box of other neural networks | Nature

Traducción con IA del artículo original en inglés, revisada automáticamente para que diga lo mismo que el original. Las fuentes fueron verificadas en inglés.