Anthropic otorga acceso a nivel de empleado a METR para auditorías de seguridad de IA

Anthropic ha otorgado a seis investigadores de la organización sin fines de lucro Model Evaluation and Threat Research (METR) acceso a nivel de empleado a sus sistemas internos. El movimiento, anunciado en una publicación de blog el jueves, permite a los evaluadores independientes evaluar los modelos de Anthropic, sus prácticas de seguridad y la gestión de riesgos con recursos comparables a los de los equipos internos de la propia empresa.

Acceso e independencia

Bajo el nuevo acuerdo, los investigadores de METR han recibido computadoras portátiles de Anthropic, espacio de oficina y acceso a herramientas internas. "Se anima a los empleados de Anthropic a compartir información con ellos tal como lo harían con un colega que trabaja en riesgos de alineación", dijo la empresa en la publicación del blog.

Anthropic declaró que no puede vetar la publicación por parte de METR de evaluaciones sobre riesgos, incidentes y prácticas. Sin embargo, la empresa se reserva el derecho de exigir redacciones para la información que caiga en "categorías estrechas y predefinidas", como datos de clientes, material protegido por el privilegio abogado-cliente o detalles sobre las arquitecturas de los modelos. Se permite a METR caracterizar públicamente estas redacciones y declarar si cree que están justificadas, siempre que no revele la información retenida.

"Queremos ser públicamente responsables de las decisiones que estamos tomando", dijo Anthropic. "Nuestro objetivo es cerrar la brecha entre lo que los evaluadores entienden sobre los sistemas de una empresa de IA de vanguardia y lo que la propia empresa entiende".

Sistema de evaluación por niveles

METR ocupa el nivel superior de un sistema de evaluación de tres niveles que Anthropic está desarrollando. Según Reuters, los niveles están estructurados de la siguiente manera:

• Nivel 1: Los evaluadores realizan investigaciones de alcance limitado y requieren la aprobación de Anthropic para publicar. La organización sin fines de lucro de bioseguridad SecureBio se encuentra actualmente en este nivel, revisando el capítulo sobre armas químicas y biológicas del informe de riesgos de agosto de Anthropic.
• Nivel 2: Los evaluadores reciben más información y pueden publicar sin aprobación, sujetos a redacciones que los evaluadores pueden cuestionar públicamente.
• Nivel 3: Los evaluadores tienen acceso similar al de un empleado con derechos de publicación similares a los del Nivel 2. METR es el único evaluador actualmente en este nivel.

Anthropic también está trabajando con el negocio de IA de Accenture, Faculty, en evaluaciones de modelos y pruebas adversarias. La empresa señaló que estas asociaciones están en una etapa temprana con un acceso más limitado en comparación con METR.

Contexto de la industria

El anuncio sigue a un período en el que se han revelado con frecuencia incidentes de agentes de IA actuando fuera de sus instrucciones desde finales de agosto, intensificando las llamadas a una supervisión independiente. Anthropic comparó el acuerdo con las regulaciones bancarias, donde los inspectores residentes se colocan dentro de los grandes bancos.

Este desarrollo se alinea con una propuesta realizada por el CEO de Anthropic, Dario Amodei, en un ensayo de septiembre, que sugería incrustar evaluadores externos dentro de los laboratorios de IA. OpenAI se ha comprometido con un enfoque similar, y Anthropic, OpenAI, Google, Meta, Nvidia y xAI han firmado un acuerdo de la Casa Blanca comprometiéndose a la revisión independiente.

Reuters informó a principios de esta semana que Anthropic y OpenAI inicialmente habían buscado un control significativo sobre lo que los revisores externos podían publicar debido a preocupaciones sobre secretos comerciales. Una persona familiarizada con el asunto le dijo a Reuters que las negociaciones habían evolucionado recientemente, con Anthropic volviéndose más abierta. Los expertos han señalado que la independencia de los evaluadores sigue siendo una preocupación porque los laboratorios de IA seleccionan a quienes realizan las revisiones.

Por qué importa

Este acuerdo representa un cambio significativo en la forma en que las empresas de IA de vanguardia manejan el escrutinio externo. Al otorgar acceso a nivel de empleado y renunciar a los vetos de publicación, Anthropic está intentando abordar las críticas de que las evaluaciones internas de seguridad carecen de transparencia. El éxito de este modelo puede influir en cómo otros grandes desarrolladores de IA, incluidos OpenAI y Google, estructuran sus propios procesos de revisión independiente en respuesta a la creciente presión regulatoria y pública.

Fuentes (en inglés)

• techcrunch.com: Anthropic is letting METR researchers look under the hood with employee-level access | TechCrunch
• wkzo.com: Anthropic grants outside evaluator METR employee-level access in AI safety push | WKZO | Everything Kalamazoo | 590 AM · 106.9 FM

Traducción con IA del artículo original en inglés, revisada automáticamente para que diga lo mismo que el original. Las fuentes fueron verificadas en inglés.