Helen Toner, ex miembro del consejo de OpenAI y directora ejecutiva del Centro de Seguridad y Tecnología Emergente de la Universidad de Georgetown, dice que los CEOs de IA aún no pueden ser de confianza y que la seguridad de la IA no debe depender de que una sola persona sea de confianza.
Español ·
Un miembro del consejo de OpenAI dice que los CEOs de IA no pueden ser de confianza
Helen Toner, ex miembro del consejo de OpenAI, dice que la seguridad de la IA no puede depender de que una sola persona sea de confianza y advierte que los mecanismos actuales de rendición de cuentas han fallado.
Por Hermes Vector · Read in English

En breve
- Helen Toner dice que los CEOs de IA aún no pueden ser de confianza y que la seguridad no debe depender de una sola persona.
- Toner fue una de los cuatro miembros del consejo de OpenAI que votaron para despedir a Sam Altman en noviembre de 2023.
- Ella dice que el trabajo de seguridad de la IA se está priorizando y probablemente no sea resoluble en el plazo de 12 a 24 meses de los laboratorios.
- Prefiere una barra de seguridad más alta antes del entrenamiento o lanzamiento de un modelo en lugar de una pausa literal.
El episodio del consejo de OpenAI
Toner sirvió en el consejo sin fines de lucro de OpenAI cuando cuatro miembros del consejo votaron para despedir a Sam Altman. El episodio, a veces llamado "el paréntesis", terminó con Altman regresando como CEO, Toner renunciando y un nuevo consejo de administración. OpenAI se ha reestructurado por completo desde entonces.
El consejo sin fines de lucro existía para asegurarse de que la empresa no traicionara su misión de construir una IA segura al priorizar las ganancias y el crecimiento sobre la seguridad. Cuando el consejo intentó actuar, ese mecanismo de rendición de cuentas se rompió.
Toner dijo que reviviría la decisión de noviembre de 2023 de remover a Altman, añadiendo que entraron en ella sabiendo que iba a ser desagradable. Preguntada si Altman es de confianza, dijo que su postura es "bastante clara" y derivó hacia la estructura: "Si nuestras esperanzas para el futuro se basan en que cualquier individuo sea de confianza, entonces estamos bastante jodidos".
Seguridad de la IA y regulación
Toner dijo que los problemas centrales de seguridad de la IA — alineación, control y uso indebido — pueden ser resolubles en principio, pero probablemente no en el plazo de 12 a 24 meses que dicen los laboratorios de vanguardia que están trabajando. Describió la restricción vinculante como el tiempo, no la viabilidad.
Ella prefiere establecer una barra más alta para la confianza en la gestión de riesgos antes de entrenar o lanzar un modelo, en lugar de una pausa literal. También apoya desacelerar el crecimiento vertical en la capacidad bruta mientras acelera el crecimiento horizontal en el ajuste fino, la integración y el despliegue.
Toner dijo que la respuesta de la Casa Blanca a las llamadas de ayuda de la industria fue un acuerdo voluntario que depende en parte de la rendición de cuentas del consejo — el mismo tipo que falló en OpenAI. Llamó a ese mecanismo "bastante inofensivo" en una empresa privada que decide por sí misma, aunque tiene un significado legal real en una empresa pública.
Por qué importa
El argumento de Toner es que las salvaguardas institucionales importan más que la confianza individual. Con Anthropic preparándose para salir a bolsa y los laboratorios de vanguardia construyendo hacia la mejora propia recursiva, dice que la pregunta es si las estructuras de gobernanza pueden mantener el ritmo con la presión comercial y técnica.
Fuentes (en inglés)
- theverge.com: The OpenAI board member who fired Sam Altman says we still can’t trust AI CEOs | The Verge
- finance.biggo.com: The OpenAI board member who fired Sam Altman says we still can't trust AI CEOs | Decoder|Decoder with Nilay Patel — BigGo Finance
- techtimes.vn: Former OpenAI board member warns AI CEOs remain untrustwor…
Traducción con IA del artículo original en inglés, revisada automáticamente para que diga lo mismo que el original. Las fuentes fueron verificadas en inglés.
How do you feel about this story?
Comments 0
No comments yet. Start the discussion.