Anthropic accorde aux employés de METR un accès de niveau employé pour les audits de sécurité de l'IA

Anthropic a accordé à six chercheurs du nonprofit Model Evaluation and Threat Research (METR) un accès de niveau employé à ses systèmes internes. Cette mesure, annoncée dans un article de blog publié jeudi, permet aux évaluateurs indépendants d'évaluer les modèles d'Anthropic, ses pratiques de sécurité et sa gestion des risques avec des ressources comparables à celles des équipes internes de l'entreprise.

Accès et indépendance

Dans le cadre de ce nouvel accord, les chercheurs de METR ont reçu des ordinateurs portables d'Anthropic, un espace de bureau et un accès aux outils internes. « Les employés d'Anthropic sont encouragés à partager des informations avec eux comme ils le feraient avec un collègue travaillant sur les risques d'alignement », a indiqué l'entreprise dans l'article de blog.

Anthropic a déclaré qu'elle ne pouvait pas opposer son veto à la publication par METR d'évaluations concernant les risques, les incidents et les pratiques. Cependant, l'entreprise conserve le droit d'exiger des censure pour les informations relevant de « catégories étroites et prédéfinies », telles que les données clients, les documents protégés par le secret avocat-client ou les détails concernant les architectures de modèles. METR est autorisé à caractériser publiquement ces censure et à indiquer s'il les estime justifiées, à condition de ne pas révéler les informations withholdées.

« Nous voulons être publiquement responsables des décisions que nous prenons », a déclaré Anthropic. « Nous visons à combler l'écart entre ce que les évaluateurs comprennent des systèmes d'une entreprise d'IA de pointe et ce que l'entreprise elle-même comprend. »

Système d'évaluation par niveaux

METR occupe le niveau supérieur d'un système d'évaluation à trois niveaux qu'Anthropic est en train de développer. Selon Reuters, les niveaux sont structurés comme suit :

• Niveau 1 : Les évaluateurs mènent des enquêtes à portée limitée et nécessitent l'approbation d'Anthropic pour publier. Le nonprofit en biosécurité SecureBio se trouve actuellement à ce niveau, examinant le chapitre sur les armes chimiques et biologiques du rapport sur les risques d'Anthropic d'août.
• Niveau 2 : Les évaluateurs reçoivent plus d'informations et peuvent publier sans approbation, sous réserve de censure que les évaluateurs peuvent contester publiquement.
• Niveau 3 : Les évaluateurs ont un accès de niveau employé avec des droits de publication similaires au Niveau 2. METR est le seul évaluateur actuellement à ce niveau.

Anthropic travaille également avec l'unité d'IA de l'entreprise Accenture, Faculty, pour les évaluations de modèles et les tests adversariaux. L'entreprise a noté que ces partenariats en sont à un stade précoce avec un accès plus limité par rapport à METR.

Contexte de l'industrie

L'annonce fait suite à une période où des incidents d'agents d'IA agissant en dehors de leurs instructions ont été révélés fréquemment depuis fin août, intensifiant les appels à une supervision indépendante. Anthropic a comparé cet accord aux réglementations bancaires, où des examinateurs résidents sont placés à l'intérieur des grandes banques.

Ce développement s'aligne sur une proposition faite par le PDG d'Anthropic, Dario Amodei, dans un essai de septembre, qui suggérait d'intégrer des évaluateurs externes à l'intérieur des laboratoires d'IA. OpenAI s'est engagé dans une approche similaire, et Anthropic, OpenAI, Google, Meta, Nvidia et xAI ont signé un accord de la Maison Blanche s'engageant à une revue indépendante.

Reuters a rapporté plus tôt cette semaine qu'Anthropic et OpenAI avaient initialement cherché un contrôle significatif sur ce que les réviseurs externes pouvaient publier en raison de préoccupations concernant les secrets commerciaux. Une personne familiarisée avec la question a déclaré à Reuters que les négociations avaient récemment évolué, Anthropic devenant plus ouverte. Des experts ont noté que l'indépendance des évaluateurs reste une source de préoccupation car les laboratoires d'IA choisissent qui effectue les révisions.

Pourquoi cela importe

Cet accord représente un changement significatif dans la manière dont les entreprises d'IA de pointe gèrent la scrutiny externe. En accordant un accès de niveau employé et en renonçant aux vetos de publication, Anthropic tente de répondre aux critiques selon lesquelles les évaluations de sécurité internes manquent de transparence. Le succès de ce modèle pourrait influencer la manière dont les autres grands développeurs d'IA, y compris OpenAI et Google, structureront leurs propres processus de revue indépendante en réponse à la pression réglementaire et publique croissante.

Sources (en anglais)

• techcrunch.com: Anthropic is letting METR researchers look under the hood with employee-level access | TechCrunch
• wkzo.com: Anthropic grants outside evaluator METR employee-level access in AI safety push | WKZO | Everything Kalamazoo | 590 AM · 106.9 FM

Traduction réalisée par IA de l’article original en anglais, vérifiée automatiquement pour dire la même chose que l’original. Les sources ont été vérifiées en anglais.