Anthropic concede acesso em nível de funcionário do METR para auditorias de segurança da IA

A Anthropic concedeu a seis pesquisadores da organização sem fins lucrativos Model Evaluation and Threat Research (METR) acesso em nível de funcionário a seus sistemas internos. O movimento, anunciado em um post de blog na quinta-feira, permite que os avaliadores independentes avaliem os modelos da Anthropic, suas práticas de segurança e gestão de riscos com recursos comparáveis às próprias equipes internas da empresa.

Acesso e Independência

Sob o novo acordo, os pesquisadores do METR receberam laptops da empresa Anthropic, espaço de escritório e acesso a ferramentas internas. "Os funcionários da Anthropic são encorajados a compartilhar informações com eles da mesma forma que o fariam com um colega de trabalho que atua em riscos de alinhamento", disse a empresa no post de blog.

A Anthropic afirmou que não pode vetar a publicação pelo METR de avaliações sobre riscos, incidentes e práticas. No entanto, a empresa mantém o direito de exigir exclusões para informações que se enquadrem em "categorias estreitas e predefinidas", como dados de clientes, material protegido pelo privilégio advogado-cliente ou detalhes sobre arquiteturas de modelos. O METR é permitido caracterizar publicamente essas exclusões e declarar se acredita que elas são justificadas, desde que não revele as informações omitidas.

"Queremos ser publicamente responsáveis pelas decisões que estamos tomando", disse a Anthropic. "Nosso objetivo é fechar a lacuna entre o que os avaliadores entendem sobre os sistemas de uma empresa de IA de fronteira e o que a própria empresa entende."

Sistema de Avaliação em Níveis

O METR ocupa o nível superior de um sistema de avaliação em três níveis que a Anthropic está desenvolvendo. De acordo com a Reuters, os níveis são estruturados da seguinte forma:

• Nível 1: Os avaliadores conduzem investigações de escopo restrito e exigem aprovação da Anthropic para publicar. A organização sem fins lucrativos de biosegurança SecureBio está atualmente neste nível, revisando o capítulo sobre armas químicas e biológicas do relatório de riscos de agosto da Anthropic.
• Nível 2: Os avaliadores recebem mais informações e podem publicar sem aprovação, sujeitos a exclusões que os avaliadores podem contestar publicamente.
• Nível 3: Os avaliadores têm acesso semelhante ao de funcionários com direitos de publicação semelhantes aos do Nível 2. O METR é o único avaliador atualmente neste nível.

A Anthropic também está trabalhando com o negócio de IA da Accenture, a Faculty, em avaliações de modelos e testes adversariais. A empresa observou que essas parcerias estão em estágio inicial com acesso mais limitado em comparação com o METR.

Contexto da Indústria

O anúncio segue um período em que incidentes de agentes de IA atuando fora de suas instruções foram divulgados frequentemente desde o final de agosto, intensificando os apelos por supervisão independente. A Anthropic comparou o acordo com regulamentações bancárias, onde examinadores residentes são colocados dentro de grandes bancos.

Este desenvolvimento alinha-se com uma proposta feita pelo CEO da Anthropic, Dario Amodei, em um ensaio de setembro, que sugeriu a incorporação de avaliadores externos dentro dos laboratórios de IA. A OpenAI prometeu uma abordagem semelhante, e a Anthropic, OpenAI, Google, Meta, Nvidia e xAI assinaram um acordo da Casa Branca comprometendo-se com a revisão independente.

A Reuters relatou no início desta semana que a Anthropic e a OpenAI inicialmente buscaram controle significativo sobre o que os revisores externos poderiam publicar devido a preocupações sobre segredos comerciais. Uma pessoa familiarizada com o assunto disse à Reuters que as negociações evoluíram recentemente, com a Anthropic tornando-se mais aberta. Especialistas observaram que a independência dos avaliadores permanece uma preocupação porque os laboratórios de IA selecionam quem conduz as revisões.

Por que importa

Este acordo representa uma mudança significativa na forma como as empresas de IA de fronteira lidam com o escrutínio externo. Ao conceder acesso em nível de funcionário e renunciar aos vetos de publicação, a Anthropic está tentando abordar críticas de que as avaliações internas de segurança carecem de transparência. O sucesso deste modelo pode influenciar como outros grandes desenvolvedores de IA, incluindo a OpenAI e o Google, estruturam seus próprios processos de revisão independente em resposta à crescente pressão regulatória e pública.

Fontes (em inglês)

• techcrunch.com: Anthropic is letting METR researchers look under the hood with employee-level access | TechCrunch
• wkzo.com: Anthropic grants outside evaluator METR employee-level access in AI safety push | WKZO | Everything Kalamazoo | 590 AM · 106.9 FM

Tradução feita com IA do artigo original em inglês, revisada automaticamente para dizer o mesmo que o original. As fontes foram verificadas em inglês.