Anthropic gewährt METR-Mitarbeitern Zugang auf Mitarbeiter-Ebene für KI-Sicherheitsaudits

Anthropic hat sechs Forschern der gemeinnützigen Organisation Model Evaluation and Threat Research (METR) Zugang auf Mitarbeiter-Ebene zu seinen internen Systemen gewährt. Der Schritt, der am Donnerstag in einem Blogbeitrag angekündigt wurde, ermöglicht es den unabhängigen Prüfern, die Modelle, Sicherheitspraktiken und das Risikomanagement von Anthropic mit Ressourcen zu bewerten, die denen der internen Teams des Unternehmens entsprechen.

Zugang und Unabhängigkeit

Im Rahmen der neuen Vereinbarung haben METR-Forscher Unternehmenslaptops, Büroflächen und Zugang zu internen Tools von Anthropic erhalten. „Anthropic-Mitarbeiter werden ermutigt, Informationen mit ihnen zu teilen, so wie sie es mit einem Kollegen tun würden, der an dem Risiko der Ausrichtung arbeitet“, teilte das Unternehmen im Blogbeitrag mit.

Anthropic erklärte, dass es die Veröffentlichung von Bewertungen durch METR bezüglich Risiken, Vorfällen und Praktiken nicht verbieten kann. Das Unternehmen behält sich jedoch das Recht vor, Schwärzungen für Informationen zu verlangen, die in „enge, vordefinierte Kategorien“ fallen, wie Kundendaten, vertrauliche Anwalts-Mandanten-Kommunikation oder Details zu Modellarchitekturen. METR darf diese Schwärzungen öffentlich charakterisieren und angeben, ob es sie für gerechtfertigt hält, sofern es die zurückgehaltenen Informationen nicht offenlegt.

„Wir wollen für die Entscheidungen, die wir treffen, öffentlich rechenschaftspflichtig sein“, sagte Anthropic. „Wir wollen die Lücke zwischen dem, was Prüfer über die Systeme eines führenden KI-Unternehmens verstehen, und dem, was das Unternehmen selbst versteht, schließen.“

Gestuftes Bewertungssystem

METR nimmt die oberste Stufe eines dreistufigen Bewertungssystems ein, das Anthropic entwickelt. Laut Reuters sind die Stufen wie folgt strukturiert:

• Stufe 1: Prüfer führen eng umrissene Untersuchungen durch und benötigen die Genehmigung von Anthropic zur Veröffentlichung. Die gemeinnützige Organisation für Biosicherheit SecureBio befindet sich derzeit in dieser Stufe und überprüft das Kapitel über chemische und biologische Waffen im Risikobericht von Anthropic vom August.
• Stufe 2: Prüfer erhalten mehr Informationen und können ohne Genehmigung veröffentlichen, unterliegen jedoch Schwärzungen, die Prüfer öffentlich anfechten können.
• Stufe 3: Prüfer haben Zugang auf Mitarbeiter-Ebene mit Veröffentlichungsrechten, die denen der Stufe 2 ähneln. METR ist derzeit der einzige Prüfer in dieser Stufe.

Anthropic arbeitet auch mit dem KI-Geschäft von Accenture, Faculty, an Modellbewertungen und adversarialem Testen. Das Unternehmen wies darauf hin, dass diese Partnerschaften noch in einem frühen Stadium sind und im Vergleich zu METR einen begrenzteren Zugang haben.

Branchenumfeld

Die Ankündigung folgt auf eine Phase, in der seit Ende August häufig Vorfälle von KI-Agenten, die außerhalb ihrer Anweisungen handeln, offengelegt wurden, was die Forderungen nach unabhängiger Aufsicht verstärkte. Anthropic verglich die Vereinbarung mit Bankenvorschriften, bei denen ständige Prüfer in großen Banken eingesetzt werden.

Diese Entwicklung stimmt mit einem Vorschlag überein, den Anthropic-CEO Dario Amodei in einem Essay im September gemacht hatte, in dem er vorschlug, externe Prüfer in KI-Labors einzubetten. OpenAI hat einen ähnlichen Ansatz zugesagt, und Anthropic, OpenAI, Google, Meta, Nvidia und xAI haben ein Abkommen des Weißen Hauses unterzeichnet, das sich zu einer unabhängigen Überprüfung verpflichtet.

Reuters berichtete Anfang dieser Woche, dass Anthropic und OpenAI aufgrund von Bedenken hinsichtlich Geschäftsgeheimnissen zunächst versucht hätten, erhebliche Kontrolle darüber zu behalten, was externe Prüfer veröffentlichen dürfen. Eine mit der Angelegenheit vertraute Person teilte Reuters mit, dass sich die Verhandlungen kürzlich weiterentwickelt hätten, wobei Anthropic offener geworden sei. Experten haben darauf hingewiesen, dass die Unabhängigkeit der Prüfer weiterhin ein Anliegen bleibt, da KI-Labors auswählen, wer die Überprüfungen durchführt.

Warum es wichtig ist

Diese Vereinbarung stellt einen bedeutenden Wandel dar, wie führende KI-Unternehmen mit externer Aufsicht umgehen. Indem Anthropic Zugang auf Mitarbeiter-Ebene gewährt und auf Vetorechte bei Veröffentlichungen verzichtet, versucht das Unternehmen, Kritik zu begegnen, dass interne Sicherheitsbewertungen intransparent sind. Der Erfolg dieses Modells könnte beeinflussen, wie andere große KI-Entwickler, darunter OpenAI und Google, ihre eigenen unabhängigen Überprüfungsprozesse als Reaktion auf den wachsenden regulatorischen und öffentlichen Druck strukturieren.

Quellen (auf Englisch)

• techcrunch.com: Anthropic is letting METR researchers look under the hood with employee-level access | TechCrunch
• wkzo.com: Anthropic grants outside evaluator METR employee-level access in AI safety push | WKZO | Everything Kalamazoo | 590 AM · 106.9 FM

KI-Übersetzung des englischen Originalartikels, automatisch geprüft, damit sie dasselbe aussagt wie das Original. Die Quellen wurden auf Englisch geprüft.