Os pais de uma menina de 13 anos processaram o Google, alegando que ela planejou um possível suicídio e funeral usando sua tecnologia de IA em um computador fornecido pela escola.

A queixa foi apresentada na segunda-feira em um tribunal da Califórnia. A adolescente, identificada pelo nome Emma, não conseguia acessar o aplicativo Gemini do Google, nem o ChatGPT da OpenAI, porque eles estavam bloqueados por sua escola. Ela ainda assim conseguia usar o mecanismo de busca do Google, que contém ferramentas com IA.

A queixa alega que Emma era uma "menina feliz de 13 anos" na Carolina do Norte, que tirava notas excelentes, tocava música e participava das Escoteiras. Apesar de "não ter histórico" de doença mental, em poucos meses de uso da busca com IA do Google em seu laptop escolar, ela entrou em uma "espiral silenciosa para uma crise psicológica grave", de acordo com a queixa.

Em 17 de março, o software de monitoramento da escola sinalizou um documento intitulado "Funeral", e a escola notificou seus pais. Sua mãe então viu Emma escrevendo uma carta de despedida em tempo real após fazer login na conta de sua filha, e seu pai interveio.

"Estamos analisando as alegações da ação judicial e levamos isso muito a sério", disse o porta-voz do Google, Jose Castaneda, à AFP.

O Google argumenta que o modo de IA inclui salvaguardas contra autolesão e tentativas de contorná-las. Mas Emma "conseguia continuar voltando uma e outra vez", disse Andrew Liddell, um dos advogados da família, à AFP na quinta-feira. "Qualquer salvaguarda que eles acham que implementaram era obviamente insuficiente."

Liddell disse: "As escolas devem desativar a busca e mantê-la desativada até que o Google remova o modo de IA da busca ou garanta que cada único aluno esteja sempre seguro ao interagir com a IA."

Desenvolvedores de tecnologia de IA em rápida evolução estão enfrentando uma série de processos semelhantes nos EUA. A OpenAI enfrenta vários processos por morte culposa, incluindo dos pais de Adam Raine, de 16 anos, um adolescente que cometeu suicídio alegadamente usando métodos aconselhados pelo ChatGPT. O Google e a startup Character.AI concordaram em janeiro em resolver vários processos movidos por famílias de adolescentes fora do tribunal.

Na quarta-feira, Google, TikTok e Meta processaram a Califórnia separadamente para bloquear uma lei que proíbe empresas de redes sociais de fornecer recursos viciantes a usuários menores de 16 anos. O governador Gavin Newsom assinou a lei em setembro, e ela entra em vigor em 1º de janeiro de 2027.

Fontes (em inglês)

Tradução feita com IA do artigo original em inglês, revisada automaticamente para dizer o mesmo que o original. As fontes foram verificadas em inglês.