Los padres de una niña de 13 años han demandado a Google, alegando que ella planeó un posible suicidio y un funeral utilizando su tecnología de IA en una computadora emitida por la escuela.

La demanda se presentó el lunes en un tribunal de California. La adolescente, identificada con el nombre de Emma, no podía acceder a la aplicación Gemini de Google ni a ChatGPT de OpenAI, ya que estaban bloqueadas por su escuela. Sin embargo, aún podía utilizar el motor de búsqueda de Google, que contiene herramientas impulsadas por IA.

La demanda alega que Emma era una "niña feliz de 13 años" en Carolina del Norte que obtenía buenas calificaciones, tocaba música y participaba en las Girl Scouts. A pesar de "no tener antecedentes" de enfermedades mentales, en cuestión de meses de usar la búsqueda impulsada por IA de Google en su laptop escolar, comenzó una "quiet espiral hacia una crisis psicológica severa", según la demanda.

El 17 de marzo, el software de monitoreo de la escuela marcó un documento titulado "Funeral", y la escuela notificó a sus padres. Su madre luego vio a Emma escribiendo una carta de despedida en tiempo real después de iniciar sesión en la cuenta de su hija, y su padre intervino.

"Estamos revisando las afirmaciones de la demanda y nos lo tomamos muy en serio", dijo el portavoz de Google, Jose Castaneda, a AFP.

Google argumenta que el modo de IA incluye salvaguardas contra el autolesionamiento y los intentos de eludirlas. Pero Emma "fue capaz de seguir volviendo una y otra vez", dijo Andrew Liddell, uno de los abogados de la familia, a AFP el jueves. "Cualquier salvaguarda que crean haber implementado fue obviamente insuficiente".

Liddell dijo: "Las escuelas deberían desactivar la búsqueda y mantenerla desactivada hasta que Google elimine el modo de IA de la búsqueda o asegure que cada estudiante esté siempre seguro cuando interactúa con IA".

Los desarrolladores de la tecnología de IA en rápida evolución enfrentan una larga lista de demandas similares en EE. UU. OpenAI enfrenta varias demandas por muerte negligente, incluidas las de los padres de Adam Raine, de 16 años, un adolescente que se suicidó supuestamente utilizando métodos aconsejados por ChatGPT. Google y la startup Character.AI acordaron en enero resolver varias demandas presentadas por familias de adolescentes fuera de los tribunales.

El miércoles, Google, TikTok y Meta demandaron por separado a California para bloquear una ley que prohíbe a las empresas de redes sociales proporcionar características adictivas a usuarios menores de 16 años. El gobernador Gavin Newsom firmó la ley en septiembre, y entrará en vigor el 1 de enero de 2027.

Fuentes (en inglés)

Traducción con IA del artículo original en inglés, revisada automáticamente para que diga lo mismo que el original. Las fuentes fueron verificadas en inglés.