Des chercheurs du MIT utilisent un modèle d'IA pour interpréter et modifier d'autres réseaux neuronaux

Des chercheurs du Massachusetts Institute of Technology (MIT) à Cambridge ont utilisé un modèle d'intelligence artificielle pour lire et modifier le fonctionnement interne d'un autre réseau d'IA, offrant une nouvelle façon de jeter un coup d'œil dans la « boîte noire » de l'IA. Les résultats ont été rapportés dans un prépublication le 2 novembre.

Comment fonctionne le mécanicien IA

L'équipe a démontré comment un modèle d'IA appelé GPT-6 Astra peut interpréter les valeurs internes brutes de certains autres modèles suffisamment bien pour prédire ce que font les différentes parties des systèmes. Il peut ensuite modifier les modèles pour les améliorer, notamment en renforçant leurs capacités mathématiques.

Les modèles d'IA de pointe « montrent des signes précoces » de la capacité de traiter les réseaux neuronaux comme des fichiers qu'ils peuvent lire, analyser et modifier, déclare Rikiya Takehi, chercheur en apprentissage automatique au MIT, co-auteur de l'étude.

Ces résultats ne signifient pas qu'Astra, développé par OpenAI à San Francisco, en Californie, peut expliquer ou comprendre comment fonctionne un réseau d'IA donné. Mais les résultats suggèrent que les modèles d'IA à usage général — tels que ChatGPT ou Claude — pourraient être en mesure de modifier un réseau de manière utile, à l'instar d'un mécanicien capable d'identifier et de résoudre des problèmes dans un moteur qu'il n'a ni conçu ni pleinement compris.

Réactions des experts

Fazl Barez, chercheur en sécurité de l'IA à l'Université d'Oxford au Royaume-Uni, déclare que le prépublication montre qu'il est possible d'automatiser certaines méthodes d'« interprétabilité ». Il met en garde en affirmant que l'espoir selon lequel une meilleure compréhension des modèles aidera à créer des systèmes d'IA plus sûrs est « largement inexploré ».

Barez dit qu'il serait surpris si Astra était capable de lire et d'interpréter les modèles d'une manière qui dépasse les capacités humaines existantes, et il reste incertain si Astra va au-delà de l'application des informations et techniques apprises lors de son entraînement.

Marinka Zitnik, informaticienne et bioinformaticienne à l'Université Harvard à Cambridge, dans le Massachusetts, déclare que si cette capacité à reprogrammer les modèles est développée davantage, elle pourrait être un atout dans le développement de l'IA pour la science, par exemple en aidant à repérer les erreurs dans un modèle avant les tests sur le terrain.

Pourquoi cela importe

La capacité de cibler et de déboguer les systèmes d'IA pourrait améliorer la sécurité et l'utilité de l'intelligence artificielle. La manière complexe dont les caractéristiques d'un modèle sont liées à ses sorties signifie que les réseaux neuronaux sont souvent décrits comme des boîtes noires, et les chercheurs en interprétabilité mènent des expériences pour déterminer, par exemple, quels poids sont activés dans des conditions spécifiques.

Sources (en anglais)

• nature.com: This AI ‘mechanic’ can peer inside the black box of other neural networks | Nature

Traduction réalisée par IA de l’article original en anglais, vérifiée automatiquement pour dire la même chose que l’original. Les sources ont été vérifiées en anglais.