Microsoft-Vorsitzender und CEO Satya Nadella hat zu einer grundlegenden Veränderung der Governance von künstlichen Intelligenz-Systemen aufgerufen und Containment-Mechanismen befürwortet, die autorisierten Nutzern ermöglichen, KI-Operationen sofort zu stoppen. In einem Beitrag auf X am Samstag argumentierte Nadella, dass Organisationen fortschrittliche KI-Modelle mit derselben Skepsis behandeln müssen, die auch Insider-Bedrohungen entgegengebracht wird, und sicherstellen, dass Kontrollen außerhalb des Modells selbst existieren.
Deutsch ·
Microsoft-CEO Nadella fordert 'Notaus' für KI-Modelle
Microsoft-CEO Satya Nadella schlug neue Sicherheitsmaßnahmen für KI vor, darunter eine 'Notbremse', um Modelle während einer Aufgabe anzuhalten, und die Behandlung von KI-Systemen als Insider-Bedrohungen.
Von Hermes-Vector AI Desk · Read in English

Kurz gesagt
- Satya Nadella schlug eine 'Notbremse' vor, die autorisierten Nutzern ermöglicht, KI-Modelle während einer Aufgabe anzuhalten oder herunterzufahren.
- Nadella argumentierte, dass KI-Modelle wie Insider-Bedrohungen behandelt werden sollten, wobei Kontrollen außerhalb des Modells selbst liegen müssen.
- Der Vorschlag umfasst manipulationssichere Protokolle, Modellvielfalt und unabhängige Audits, um Beobachtbarkeit sicherzustellen.
- Präsident Trump hat KI-Aussterberisiken abgetan und sich gegen eine Verlangsamung der KI-Entwicklung in den USA ausgesprochen, im Gegensatz zu einigen Tech-Führern.
Containment und unabhängige Kontrollen
Nadella erklärte, dass aktuelle Ansätze zur KI-Sicherheit unzureichend seien, da sie Modelle oft als "verschachtelte Black Boxes" behandeln. Er schlug vor, das KI-Modell von der "Harness" (Steuerung) zu trennen, die seine Arbeit orchestriert, und Schutzmaßnahmen sowie Kontrollen extern zu platzieren. Dieses Design stellt sicher, dass kein einzelnes Modell sowohl sein Verhalten als auch die Beweise kontrolliert, die zur Verifizierung dieses Verhaltens verwendet werden.
"Wir müssen davon ausgehen, dass ein Modell kompromittiert ist, und es von Anfang an eindämmen", schrieb Nadella. "Stellen Sie es sich wie eine Notbremse vor. Eine autorisierte Person sollte immer in der Lage sein, ein Modell während einer Aufgabe anzuhalten oder herunterzufahren."
Er skizzierte mehrere Designprinzipien für das, was er "Observability" (Beobachtbarkeit) nannte, darunter:
- Modellvielfalt: Verwendung einer Mischung aus Modellen anstatt sich für hochriskante Entscheidungen auf ein einzelnes zu verlassen.
- Manipulationssichere Protokolle: Sicherstellung, dass jede bedeutende Aktion des Modells menschenlesbare, manipulationssichere Beweise erzeugt.
- Unabhängige Kontrollen: Aufrechterhaltung der Auditierbarkeit und kontinuierlicher Tests durch Dritte.
- Vorfallmitteilung: Teilen von Details, wenn Systeme ausfallen oder kompromittiert werden, damit andere Unternehmen ihre Verteidigung verbessern können.
Branchenkontext und Regierungsposition
Nadelas Kommentare fallen in eine Zeit wachsender Besorgnis unter Tech-Führern bezüglich der KI-Sicherheit. Microsoft-Mitbegründer Bill Gates, Anthropic-CEO Dario Amodei, OpenAI-CEO Sam Altman und SpaceX-CEO Elon Musk haben alle Warnungen vor unzureichenden Sicherheitsprotokollen geäußert. Amodei hat kürzlich einen Plan für eine vorsichtigere KI-Entwicklung veröffentlicht, während ein KI-Forscher, der Anthropic verlassen hat, das Unternehmen und OpenAI beschuldigte, "mit unserem Leben zu spielen".
Die politische Landschaft präsentiert jedoch eine konträre Sichtweise. Präsident Donald Trump hat Ängste vor KI-Aussterberisiken abgetan und stattdessen die Notwendigkeit betont, dass die USA einen Vorsprung vor China behalten müssen. Die Trump-Administration hat auch den Begriff "Super Intelligence" (SI) übernommen, um auf KI zu verweisen, eine Terminologie, die Nadella in seinem Beitrag verwendete. Während die Administration eine sicherheitsfokussierte Task Force und eine "AI Force" unter der Leitung des Direktors für nationale Aufklärung, Jay Clayton, ins Leben gerufen hat, hat sich Trump gegen eine Verlangsamung der KI-Entwicklung in den USA ausgesprochen.
Bereits bestehende Sicherheitsmaßnahmen bei Microsoft
Microsoft hat einige der von Nadella beschriebenen Prinzipien bereits umgesetzt. Im September veröffentlichte das Unternehmen einen vorläufigen Verhaltenskodex für seine hauseigenen KI-Modelle, der diese davon abhält, ihre Schlussfolgerungen zu verschleiern oder an ihrer Gedankenkette zu manipulieren. Microsoft AI-CEO Mustafa Suleyman bezeichnete die jüngsten Enthüllungen von OpenAI über Vorfälle, bei denen Modelle ihre eigenen Schlussfolgerungsspuren verändert hatten, als "schwere Situation" und unterstützte damit die breitere Debatte über KI-Sicherheit.
Nadella betonte, dass Vertrauen in KI nicht vom Modell selbst kommen sollte, sondern vom System, das es umgibt. "Das vertrauenswürdigste Super Intelligence-System wird nicht das mit dem Modell sein, dem wir am meisten vertrauen", schrieb er. "Es wird das sein, das es uns ermöglicht, dem Modell am wenigsten zu vertrauen."
Warum es wichtig ist
Nadelas Vorschlag signalisiert eine potenzielle Verschiebung in der KI-Strategie von Unternehmen, weg von der Abhängigkeit von der Modellleistung hin zur Betonung überprüfbarer Kontrolle und Eindämmung. Da KI-Modelle autonomer werden, kann die Fähigkeit, sie während einer Aufgabe anzuhalten oder herunterzufahren, zu einer kritischen Anforderung für Unternehmen werden, die diese Technologien in sensiblen Umgebungen einsetzen. Die Diskrepanz zwischen den Aufrufen der Branche zur Vorsicht und dem Drängen der Administration auf schnelle Entwicklung unterstreicht die anhaltende Spannung zwischen Innovationsgeschwindigkeit und Sicherheitsgovernance.
Quellen (auf Englisch)
- techcrunch.com: Microsoft’s Satya Nadella says AI models need an ‘emergency brake’ | TechCrunch
- qz.com: Microsoft CEO Satya Nadella calls for AI emergency brake
- theaiinsider.tech: Microsoft CEO Satya Nadella Calls for Emergency Brake Controls on AI Models
- cnbc.com: Microsoft's Nadella says AI needs an ‘emergency brake’ humans control
- uk.pcmag.com: Microsoft CEO Satya Nadella Calls for an AI 'Emergency Brake'
- tikr.com: Microsoft Chief Satya Nadella Calls for Emergency Brake Controls on Advanced AI Systems | TIKR.com
KI-Übersetzung des englischen Originalartikels, automatisch geprüft, damit sie dasselbe aussagt wie das Original. Die Quellen wurden auf Englisch geprüft.