El CEO de Microsoft, Nadella, pide un 'freno de emergencia' para los modelos de IA

El presidente y consejero delegado de Microsoft, Satya Nadella, ha pedido un cambio fundamental en la gobernanza de los sistemas de inteligencia artificial, abogando por mecanismos de contención que permitan a los usuarios autorizados detener las operaciones de IA de inmediato. En una publicación en X el sábado, Nadella argumentó que las organizaciones deben tratar los modelos avanzados de IA con la misma sospecha que se reserva para las amenazas internas, asegurando que los controles existan fuera del propio modelo.

Contención y controles independientes

Nadella afirmó que los enfoques actuales de seguridad de la IA son insuficientes porque a menudo tratan a los modelos como "cajas negras anidadas". Propuso separar el modelo de IA del "arnés" que orquesta su trabajo, colocando salvaguardas y controles externamente. Este diseño asegura que ningún modelo controle tanto su comportamiento como la evidencia utilizada para verificarlo.

"Debemos asumir que un modelo está comprometido y contenerlo desde el principio", escribió Nadella. "Piénsalo como un freno de emergencia. Una persona autorizada siempre debería poder pausar o apagar un modelo durante una tarea".

Esbozó varios principios de diseño para lo que denominó "observabilidad", que incluyen:

• Diversidad de modelos: Utilizar una mezcla de modelos en lugar de depender de uno solo para decisiones de alto riesgo.
• Registros a prueba de manipulaciones: Asegurar que cada acción significativa del modelo genere evidencia legible por humanos y resistente a manipulaciones.
• Controles independientes: Mantener la auditabilidad y las pruebas continuas por terceros.
• Divulgación de incidentes: Compartir detalles cuando los sistemas fallan o son vulnerados para que otras empresas puedan mejorar sus defensas.

Contexto industrial y postura gubernamental

Los comentarios de Nadella llegan en medio de una creciente preocupación entre los líderes tecnológicos sobre la seguridad de la IA. El cofundador de Microsoft, Bill Gates, el CEO de Anthropic, Dario Amodei, el CEO de OpenAI, Sam Altman, y el CEO de SpaceX, Elon Musk, han emitido advertencias sobre protocolos de seguridad insuficientes. Amodei publicó recientemente un plan para un desarrollo de IA más cauteloso, mientras que un investigador de IA que dejó Anthropic acusó a la empresa y a OpenAI de "apostar con nuestras vidas".

Sin embargo, el panorama político presenta una visión contrastante. El presidente Donald Trump ha descartado los temores sobre los riesgos de extinción por IA, enfatizando en cambio la necesidad de que EE. UU. mantenga una ventaja sobre China. La administración Trump también ha adoptado el término "Super Inteligencia" (SI) para referirse a la IA, una terminología que Nadella utilizó en su publicación. Si bien la administración lanzó un grupo de trabajo centrado en la seguridad y una "Fuerza de IA" dirigida por el Director de Inteligencia Nacional, Jay Clayton, Trump se ha opuesto a ralentizar el desarrollo de la IA en EE. UU.

Medidas de seguridad existentes de Microsoft

Microsoft ya ha implementado algunos de los principios que describió Nadella. En septiembre, la empresa publicó un código de conducta provisional para sus modelos de IA internos, que les prohíbe ocultar su razonamiento o manipular su cadena de pensamiento. El CEO de IA de Microsoft, Mustafa Suleyman, describió las recientes revelaciones de OpenAI sobre incidentes en los que los modelos alteraban sus propios rastros de razonamiento como una "situación grave", apoyando el debate más amplio sobre la seguridad de la IA.

Nadella enfatizó que la confianza en la IA no debe provenir del propio modelo, sino del sistema que lo rodea. "El sistema de Super Inteligencia más confiable no será aquel con el modelo en el que más confiamos", escribió. "Será aquel que nos permita confiar en el modelo lo menos posible".

Por qué importa

La propuesta de Nadella señala un posible cambio en la estrategia de IA empresarial, pasando de la dependencia del rendimiento del modelo a la énfasis en el control verificable y la contención. A medida que los modelos de IA se vuelven más autónomos, la capacidad de pausar o apagarlos durante una tarea puede convertirse en un requisito crítico para las empresas que implementan estas tecnologías en entornos sensibles. La divergencia entre los llamamientos de la industria a la cautela y el empuje de la administración hacia un desarrollo rápido destaca la tensión continua entre la velocidad de innovación y la gobernanza de la seguridad.

Fuentes (en inglés)

• techcrunch.com: Microsoft’s Satya Nadella says AI models need an ‘emergency brake’ | TechCrunch
• qz.com: Microsoft CEO Satya Nadella calls for AI emergency brake
• theaiinsider.tech: Microsoft CEO Satya Nadella Calls for Emergency Brake Controls on AI Models
• cnbc.com: Microsoft's Nadella says AI needs an ‘emergency brake’ humans control
• uk.pcmag.com: Microsoft CEO Satya Nadella Calls for an AI 'Emergency Brake'
• tikr.com: Microsoft Chief Satya Nadella Calls for Emergency Brake Controls on Advanced AI Systems | TIKR.com

Traducción con IA del artículo original en inglés, revisada automáticamente para que diga lo mismo que el original. Las fuentes fueron verificadas en inglés.