Hermes Vector

Français ·

Le PDG de Microsoft Nadella appelle à un « frein d'urgence » sur les modèles d'IA

Le PDG de Microsoft Satya Nadella a proposé de nouvelles mesures de sécurité pour l'IA, y compris un « frein d'urgence » pour suspendre les modèles en cours de tâche et traiter les systèmes d'IA comme des menaces internes.

Par Hermes-Vector AI Desk · Read in English

Illustration: Le PDG de Microsoft Nadella appelle à un « frein d'urgence » sur les modèles d'IA

En bref

  • Satya Nadella a proposé un « frein d'urgence » permettant aux utilisateurs autorisés de suspendre ou d'arrêter les modèles d'IA en cours de tâche.
  • Nadella a soutenu que les modèles d'IA devraient être traités comme des menaces internes, avec des contrôles placés à l'extérieur du modèle lui-même.
  • La proposition comprend des journaux infalsifiables, la diversité des modèles et des audits indépendants pour garantir l'observabilité.
  • Le président Trump a minimisé les risques d'extinction liés à l'IA et s'oppose au ralentissement du développement de l'IA aux États-Unis, contrairement à certains dirigeants technologiques.

Le président et PDG de Microsoft, Satya Nadella, a appelé à un changement fondamental dans la gouvernance des systèmes d'intelligence artificielle, préconisant des mécanismes de confinement qui permettent aux utilisateurs autorisés d'arrêter immédiatement les opérations de l'IA. Dans un post publié sur X samedi, Nadella a soutenu que les organisations doivent traiter les modèles d'IA avancés avec la même méfiance réservée aux menaces internes, en s'assurant que des contrôles existent à l'extérieur du modèle lui-même.

Confinement et contrôles indépendants

Nadella a déclaré que les approches actuelles de la sécurité de l'IA sont insuffisantes car elles traitent souvent les modèles comme des « boîtes noires imbriquées ». Il a proposé de séparer le modèle d'IA du « harnais » qui orchestre son travail, en plaçant des garde-fous et des contrôles de manière externe. Cette conception garantit qu'aucun modèle unique ne contrôle à la fois son comportement et les preuves utilisées pour vérifier ce comportement.

« Nous devons supposer qu'un modèle est compromis et le contenir dès le départ », a écrit Nadella. « Pensez-y comme à un frein d'urgence. Une personne autorisée devrait toujours pouvoir suspendre ou arrêter un modèle en cours de tâche. »

Il a exposé plusieurs principes de conception pour ce qu'il appelle l'« observabilité », qui incluent :

  • Diversité des modèles : Utiliser un mélange de modèles plutôt que de s'en remettre à un seul pour les décisions à haut risque.
  • Journaux infalsifiables : S'assurer que chaque action significative du modèle génère des preuves lisibles par l'homme et résistantes à la falsification.
  • Contrôles indépendants : Maintenir l'auditabilité et des tests continus par des tiers.
  • Divulgation des incidents : Partager les détails lorsque les systèmes échouent ou sont compromis afin que d'autres entreprises puissent améliorer leurs défenses.

Contexte industriel et position du gouvernement

Les commentaires de Nadella interviennent dans un contexte de préoccupations croissantes parmi les dirigeants technologiques concernant la sécurité de l'IA. Le cofondateur de Microsoft, Bill Gates, le PDG d'Anthropic, Dario Amodei, le PDG d'OpenAI, Sam Altman, et le PDG de SpaceX, Elon Musk, ont tous émis des avertissements sur l'insuffisance des protocoles de sécurité. Amodei a récemment publié un plan pour un développement de l'IA plus prudent, tandis qu'un chercheur en IA qui a quitté Anthropic a accusé l'entreprise et OpenAI de « jouer avec nos vies ».

Cependant, le paysage politique présente une perspective contrastée. Le président Donald Trump a minimisé les craintes liées aux risques d'extinction de l'IA, soulignant plutôt la nécessité pour les États-Unis de maintenir une avance sur la Chine. L'administration Trump a également adopté le terme « Super Intelligence » (SI) pour désigner l'IA, une terminologie que Nadella a utilisée dans son post. Bien que l'administration ait lancé un groupe de travail axé sur la sécurité et une « Force IA » dirigée par le directeur du Renseignement national, Jay Clayton, Trump s'est opposé au ralentissement du développement de l'IA aux États-Unis.

Mesures de sécurité existantes de Microsoft

Microsoft a déjà mis en œuvre certaines des principes décrits par Nadella. En septembre, l'entreprise a publié un code de conduite provisoire pour ses modèles d'IA internes, qui leur interdit de dissimuler leur raisonnement ou de falsifier leur chaîne de pensée. Le PDG de Microsoft AI, Mustafa Suleyman, a décrit les récentes divulgations d'OpenAI concernant des incidents impliquant des modèles modifiant leurs propres traces de raisonnement comme une « situation grave », soutenant ainsi le débat plus large sur la sécurité de l'IA.

Nadella a souligné que la confiance dans l'IA ne devrait pas provenir du modèle lui-même, mais du système qui l'entoure. « Le système de Super Intelligence le plus digne de confiance ne sera pas celui avec le modèle en lequel nous avons le plus confiance », a-t-il écrit. « Ce sera celui qui nous permet de faire le moins confiance au modèle. »

Pourquoi cela compte

La proposition de Nadella signale un changement potentiel dans la stratégie de l'IA d'entreprise, passant de la dépendance à la performance des modèles à l'accent mis sur le contrôle vérifiable et le confinement. À mesure que les modèles d'IA deviennent plus autonomes, la capacité de les suspendre ou de les arrêter en cours de tâche pourrait devenir une exigence critique pour les entreprises déployant ces technologies dans des environnements sensibles. La divergence entre les appels à la prudence de l'industrie et la poussée de l'administration pour un développement rapide met en lumière la tension persistante entre la vitesse d'innovation et la gouvernance de la sécurité.


Sources (en anglais)

Traduction réalisée par IA de l’article original en anglais, vérifiée automatiquement pour dire la même chose que l’original. Les sources ont été vérifiées en anglais.

Advertisement