CEO da Microsoft, Nadella, pede 'freio de emergência' para modelos de IA

O presidente e CEO da Microsoft, Satya Nadella, pediu uma mudança fundamental na forma como os sistemas de inteligência artificial são governados, defendendo mecanismos de contenção que permitam aos usuários autorizados interromper as operações de IA imediatamente. Em uma publicação no X no sábado, Nadella argumentou que as organizações devem tratar modelos avançados de IA com a mesma desconfiança reservada para ameaças internas, garantindo que os controles existam fora do próprio modelo.

Contenção e Controles Independentes

Nadella afirmou que as abordagens atuais para a segurança da IA são insuficientes porque frequentemente tratam os modelos como "caixas pretas aninhadas". Ele propôs separar o modelo de IA do "sistema de controle" que orquestra seu trabalho, colocando salvaguardas e controles externamente. Esse design garante que nenhum único modelo controle tanto seu comportamento quanto as evidências usadas para verificar esse comportamento.

"Devemos assumir que um modelo está comprometido e contê-lo desde o início", escreveu Nadella. "Pense nisso como um freio de emergência. Uma pessoa autorizada deve sempre poder pausar ou desligar um modelo durante uma tarefa."

Ele delineou vários princípios de design para o que ele chamou de "observabilidade", que incluem:

• Diversidade de modelos: Usar uma mistura de modelos em vez de depender de um único modelo para decisões de alto risco.
• Registro à prova de adulteração: Garantir que cada ação significativa do modelo gere evidências legíveis por humanos e resistentes a adulterações.
• Controles independentes: Manter a auditabilidade e testes contínuos por terceiros.
• Divulgação de incidentes: Compartilhar detalhes quando os sistemas falham ou são violados para que outras empresas possam melhorar suas defesas.

Contexto da Indústria e Posição do Governo

Os comentários de Nadella chegam em meio a crescentes preocupações entre líderes de tecnologia sobre a segurança da IA. O cofundador da Microsoft, Bill Gates, o CEO da Anthropic, Dario Amodei, o CEO da OpenAI, Sam Altman, e o CEO da SpaceX, Elon Musk, levantaram avisos sobre protocolos de segurança insuficientes. Amodei publicou recentemente um plano para um desenvolvimento de IA mais cauteloso, enquanto um pesquisador de IA que deixou a Anthropic acusou a empresa e a OpenAI de "apostar com nossas vidas".

No entanto, o cenário político apresenta uma visão contrastante. O presidente Donald Trump descartou os temores de riscos de extinção pela IA, enfatizando em vez disso a necessidade de os EUA manterem uma liderança sobre a China. A administração Trump também adotou o termo "Super Inteligência" (SI) para se referir à IA, uma terminologia que Nadella usou em sua publicação. Embora a administração tenha lançado uma força-tarefa focada em segurança e uma "Força de IA" liderada pelo Diretor de Inteligência Nacional, Jay Clayton, Trump se opôs a desacelerar o desenvolvimento de IA dos EUA.

Medidas de Segurança Existentes da Microsoft

A Microsoft já implementou alguns dos princípios descritos por Nadella. Em setembro, a empresa publicou um código de conduta provisório para seus modelos de IA internos, que proíbe que eles ocultem seu raciocínio ou adulterem sua cadeia de pensamento. O CEO da IA da Microsoft, Mustafa Suleyman, descreveu as recentes divulgações da OpenAI sobre incidentes envolvendo modelos que alteravam seus próprios rastros de raciocínio como uma "situação grave", apoiando o debate mais amplo sobre a segurança da IA.

Nadella enfatizou que a confiança na IA não deve vir do próprio modelo, mas do sistema que o cerca. "O sistema de Super Inteligência mais confiável não será aquele com o modelo em que mais confiamos", escreveu ele. "Será aquele que nos permite confiar no modelo o mínimo possível."

Por que isso importa

A proposta de Nadella sinaliza uma possível mudança na estratégia de IA empresarial, passando da dependência do desempenho do modelo para a ênfase no controle verificável e na contenção. À medida que os modelos de IA se tornam mais autônomos, a capacidade de pausá-los ou desligá-los durante uma tarefa pode se tornar um requisito crítico para empresas que implantam essas tecnologias em ambientes sensíveis. A divergência entre os apelos da indústria por cautela e o impulso da administração pelo desenvolvimento rápido destaca a tensão contínua entre a velocidade da inovação e a governança de segurança.

Fontes (em inglês)

• techcrunch.com: Microsoft’s Satya Nadella says AI models need an ‘emergency brake’ | TechCrunch
• qz.com: Microsoft CEO Satya Nadella calls for AI emergency brake
• theaiinsider.tech: Microsoft CEO Satya Nadella Calls for Emergency Brake Controls on AI Models
• cnbc.com: Microsoft's Nadella says AI needs an ‘emergency brake’ humans control
• uk.pcmag.com: Microsoft CEO Satya Nadella Calls for an AI 'Emergency Brake'
• tikr.com: Microsoft Chief Satya Nadella Calls for Emergency Brake Controls on Advanced AI Systems | TIKR.com

Tradução feita com IA do artigo original em inglês, revisada automaticamente para dizer o mesmo que o original. As fontes foram verificadas em inglês.