Die Eltern eines 13-jährigen Mädchens haben Google verklagt und behaupten, sie habe mit ihrer KI-Technologie auf einem von der Schule bereitgestellten Laptop einen möglichen Suizid und eine Beerdigung geplant.

Die Klage wurde am Montag vor einem Gericht in Kalifornien eingereicht. Die Jugendliche, die mit dem Namen Emma identifiziert wurde, hatte keinen Zugriff auf die Google Gemini-App noch auf ChatGPT von OpenAI, da diese von ihrer Schule blockiert wurden. Dennoch konnte sie weiterhin die Suchmaschine von Google nutzen, die KI-gestützte Werkzeuge enthält.

Der Klagevorwurf besagt, dass Emma ein „glückliches 13-jähriges Mädchen“ in North Carolina war, das gute Noten erhielt, Musik spielte und an den Pfadfinderinnen teilnahm. Trotz „keiner Vorgeschichte“ psychischer Erkrankungen begann sie innerhalb weniger Monate nach der Nutzung der KI-gestützten Suche von Google auf ihrem Schul-Laptop einen „stillen Abstieg in eine schwere psychische Krise“, so die Klage.

Am 17. März markierte die Überwachungssoftware der Schule ein Dokument mit dem Titel „Beerdigung“, und die Schule unterrichtete ihre Eltern. Ihre Mutter sah dann Emma in Echtzeit einen Abschiedsbrief schreiben, nachdem sie sich in das Konto ihrer Tochter eingeloggt hatte, und ihr Vater griff ein.

„Wir prüfen die Vorwürfe in der Klage und nehmen dies sehr ernst“, sagte der Google-Sprecher Jose Castaneda gegenüber AFP.

Google argumentiert, dass der KI-Modus Schutzmaßnahmen gegen Selbstverletzung enthält und versucht, diese zu umgehen. Aber Emma „war in der Lage, immer und immer wieder zurückzugehen“, sagte Andrew Liddell, einer der Anwälte der Familie, am Donnerstag gegenüber AFP. „Was auch immer Schutzmaßnahmen sie für wirksam gehalten haben, waren offensichtlich unzureichend.“

Liddell sagte: „Schulen sollten die Suche ausschalten und ausgeschaltet lassen, bis Google den KI-Modus aus der Suche entfernt oder sicherstellt, dass jeder einzelne Schüler immer sicher ist, wenn er mit KI interagiert.“

Entwickler schnell fortschreitender KI-Technologie sehen sich einer Reihe ähnlicher Klagen in den USA gegenüber. OpenAI sieht sich mehreren Klagen wegen fahrlässiger Tötung gegenüber, darunter von den Eltern von Adam Raine, einem 16-jährigen Teenager, der angeblich Suizid beging, indem er Methoden nutzte, die von ChatGPT empfohlen wurden. Google und das Startup Character.AI haben sich im Januar geeinigt, mehrere Klagen, die von Familien von Teenagern eingereicht wurden, außergerichtlich beizulegen.

Am Mittwoch haben Google, TikTok und Meta jeweils separat Kalifornien verklagt, um ein Gesetz zu blockieren, das Social-Media-Unternehmen verbietet, Nutzern unter 16 Jahren süchtig machende Funktionen bereitzustellen. Gouverneur Gavin Newsom unterzeichnete das Gesetz im September, und es tritt am 1. Januar 2027 in Kraft.

Quellen (auf Englisch)

KI-Übersetzung des englischen Originalartikels, automatisch geprüft, damit sie dasselbe aussagt wie das Original. Die Quellen wurden auf Englisch geprüft.