Hermes Vector

Português ·

Relatório do METR conclui que a IA está acelerando o desenvolvimento da IA da Anthropic

Um relatório do METR afirma que os modelos da Anthropic estão melhorando aproximadamente duas vezes mais rápido do que há um ano, com grande parte da aceleração devido à IA, enquanto a Anthropic ocultou grande parte das evidências.

Por Hermes Vector · Read in English

Ilustração: Relatório do METR conclui que a IA está acelerando o desenvolvimento da IA da Anthropic

Em resumo

  • O METR afirma que os modelos da Anthropic estão melhorando aproximadamente duas vezes mais rápido do que há um ano, com a maior parte da aceleração devido à IA.
  • A Anthropic treinou três modelos não lançados nos últimos seis meses, com os nomes de código Model 2, Model 3 e Model 4.
  • A Anthropic ocultou a maioria das evidências que o METR considerou mais informativas no relatório público.
  • Pesquisadores de segurança de IA criticaram a empresa por acelerar uma tecnologia que publicamente alerta ser perigosa.

A Anthropic está usando IA para construir IAs mais poderosas, e seus modelos estão melhorando aproximadamente duas vezes mais rápido do que há um ano, de acordo com um relatório publicado na quinta-feira pela organização de pesquisa em segurança de IA METR. O relatório segue uma investigação de 11 semanas dentro da empresa avaliando sua pesquisa e desenvolvimento de IA.

Principais descobertas do relatório do METR

Os pesquisadores do METR disseram que "estão confiantes" de que a aceleração não se deveu simplesmente ao aumento do poder de computação usado para treinar os modelos. Em vez disso, disseram que a maioria da aceleração até outubro "deve-se à IA", com sua contribuição crescendo ao longo do tempo. O relatório afirma que as pontuações dos benchmarks sugerem "que a Anthropic fez aproximadamente dois anos de progresso histórico no último ano".

A aceleração ocorre em parte porque a IA auxilia os pesquisadores humanos. O METR escreveu que os funcionários que usaram o modelo interno mais capaz da Anthropic relataram em média estar cerca de 12 vezes mais produtivos em seu trabalho respectivo do que estariam sem a assistência da IA, aproximadamente o dobro do que a equipe havia relatado apenas alguns meses antes ao usar o Mythos 5. O METR alertou que "há alguns sinais de que contribuições totalmente autônomas desempenharão um papel maior em breve", e disse que os pesquisadores não encontraram sinais claros de retornos decrescentes ou gargalos observáveis que pudessem impedir "uma aceleração ainda mais rápida".

Nos últimos seis meses, a Anthropic concluiu o treinamento de três modelos que ainda não lançou, com os nomes de código Model 2, Model 3 e Model 4, concluindo o treinamento em julho, agosto-setembro e setembro-outubro, respectivamente. O METR também identificou um modelo não lançado que remonta a 2022, chamado Unreleased 2022.

Ocultações e resposta da empresa

A Anthropic tinha o poder de ocultar informações do relatório final do METR e usou esse poder extensivamente. O METR escreveu no X: "Enviamos um relatório completo de ~100 páginas sobre nossa avaliação à Anthropic. Para a versão pública, a Anthropic ocultou a maioria das evidências que consideramos mais informativas".

O cofundador da Anthropic, Sam McCandlish, reconheceu no X: "Ocultamos muito, e aceito que isso torna mais difícil para outros verificarem o trabalho do METR". Ele disse que a empresa determinou que compartilhar exatamente o que está impulsionando a aceleração não era a coisa certa a fazer, pois é comercialmente sensível e corre o risco de fornecer um roteiro para que outros avancem mais rápido. A Anthropic planeja publicar seu próprio relatório sobre a velocidade do progresso da IA "nas próximas semanas", bem como novas etapas que está tomando para fortalecer a segurança.

Reação dos pesquisadores

As descobertas provocaram preocupação entre pesquisadores de segurança de IA. Daniel Kokotajlo, ex-pesquisador da OpenAI que agora dirige o AI Futures Project, acusou a Anthropic de "apostar imprudentemente com nossas vidas". Marius Hobbhahn, CEO e fundador da Apollo Research, disse ao The Verge que o relatório sugere um ritmo de pesquisa e desenvolvimento habilitado por IA ainda mais rápido do que o previsto no AI 2027.

Brianna Rosen, diretora de pesquisa para segurança de fronteira no Institute for AI Policy and Strategy, disse ao The Verge que era preocupante que empresas, e não governos, estivessem efetivamente tomando as decisões sobre a automação da pesquisa em IA. Ela disse: "Para que a supervisão democrática funcione, avaliadores independentes precisam ter a liberdade de explicar por que chegaram às suas conclusões, os governos precisam avaliar as evidências por conta própria e o público precisa confiar neste processo".

Por que isso importa

O relatório levanta questões sobre quão rapidamente a IA pode avançar em direção a sistemas que podem melhorar a si mesmos com pouca ou nenhuma participação humana. Também destaca uma tensão entre os apelos públicos da Anthropic por um desenvolvimento responsável e seu próprio progresso rápido, enquanto a empresa se prepara para abrir capital, e seu CEO, Dario Amodei, pediu publicamente que os laboratórios reduzissem a velocidade do desenvolvimento de IA.


Fontes (em inglês)

Tradução feita com IA do artigo original em inglês, revisada automaticamente para dizer o mesmo que o original. As fontes foram verificadas em inglês.

How do you feel about this story?

Comments 0

No comments yet. Start the discussion.

Relatório do METR conclui que a IA está acelerando o desenvolvimento da IA da Anthropic | Hermes Vector