Die American Medical Association hat diese Woche Bundes- und Landesgesetze gefordert, die Ärzte vor der Haftung schützen, wenn KI-Produkte Patienten verletzen, obwohl Ärzte die Tools bestimmungsgemäß verwendet haben.

Die Gruppe drängt auch auf neue Gesetze, die KI-Unternehmen verpflichten, eine angemessene Haftpflichtversicherung abzuschließen und Produktgrenzen sowie Leistungsdaten offenzulegen.

Krankenhäuser, Gesundheitssysteme, Versicherer und Anbieter von Gesundheitstechnologien sollten verantwortlich sein, wenn die vorgeschriebene Nutzung bestimmter KI-Produkte zu schädlichen Fehlern führt, heißt es in der AMA-Politik.

Die rasante Einführung von künstlicher Intelligenz in Krankenhäusern und Kliniken führt die größte Ärztegruppe des Landes dazu, für neue rechtliche Schutzmaßnahmen zu lobbyieren, falls KI Patienten schädigt. Die Nutzung zunehmend ausgefeilter KI-Tools und -Empfehlungen verwischt die Grenzen der Fahrlässigkeit im Gesundheitswesen und wirft die Frage auf, ob Ärzte für Entscheidungen verantwortlich gemacht werden sollten, die auf Software beruhen.

Die Dringlichkeit steigt, da autonome KI immer wichtigere medizinische Aufgaben mit weniger direkter Aufsicht übernimmt. Die Frage ist, wer verantwortlich ist, wenn etwas schiefgeht.

Der Vorstoß der Gruppe kommt, als klinische KI-Tools das Gesundheitssystem überschwemmen, neue Effizienzgewinne ermöglichen, aber Algorithmen zunehmend mehr Macht bei Entscheidungen geben, wie etwa die Anordnung eines diagnostischen Tests oder die Verschreibung eines teuren Medikaments.

Rechts- und Medizinexperten weisen auf die Möglichkeit von Triage-Fehlern hin, bei denen KI-Systeme, die klinische Anamnesen, Vitalzeichen und Bildgebung verarbeiten, die Schwere eines Falls ohne Wissen des behandelnden Arztes falsch einschätzen können.

Die AMA hebt auch die Möglichkeit hervor, dass ein KI-System eine plausible Behandlungsempfehlung abgibt, jedoch auf unvollständigen Laborergebnissen oder veralteten Diagnosen basiert. In solchen Fällen kann ein Arzt die Eingaben möglicherweise nicht überprüfen.

In Fällen, in denen ein Patient zu Schaden kommt, sollte die Verantwortung bei den KI-Herstellern und -Anbietern liegen – und möglicherweise bei Gesundheitssystemen, die die Nutzung der KI-Systeme vorschreiben – und nicht bei einem Arzthaftpflichtanspruch gegen den Arzt, argumentiert die AMA.

Es gab bereits Klagen im Zusammenhang mit algorithmengesteuerten medizinischen Entscheidungen, einschließlich eines fahrlässigen Tötungsfalls in Alabama, der ein Screening-Tool für Herzfehler betraf. Der Softwareentwickler wurde nicht für haftbar gemacht, weil seine Lizenzvereinbarung die endgültigen medizinischen Entscheidungen den Ärzten überließ.

Gerichte im ganzen Land kommen zu dem Schluss, dass Unternehmen, die KI-Systeme entwerfen, trainieren und bereitstellen, für das verantwortlich sind, was diese Systeme tun, sagte Martin Hilbert, Professor an der University of California, Davis, der die Rolle digitaler Informationen und Algorithmen in der Gesellschaft untersucht.

Die Rechenschaftspflicht hängt von Faktoren ab, darunter, wer die Verantwortung teilt, wenn mehrere Parteien ein KI-System entwickeln, wie man Schuld in einem intransparenten Modell nachweist und was zu tun ist, wenn Schäden erst nach der Bereitstellung des Systems zutage treten.

"Verschiedene Parteien sind für verschiedene Fälle verantwortlich, und man kann nicht einfach den Endverbraucher zur Verantwortung ziehen", sagte er gegenüber Axios.

Die AMA will Situationen angehen, in denen die Nutzung eines KI-Systems obligatorisch ist.

Die Food and Drug Administration prüft, ob ein neuer Rahmen für die Regulierung von KI-gestützten Medizinprodukten erforderlich ist. Die Agentur überwacht jedoch nur Software, die die Definition eines Medizinprodukts erfüllt, nicht die gesamte KI im Gesundheitswesen.

Krankenhäuser unterstützen im Allgemeinen die Verantwortung der Entwickler und Anbieter für die Überwachung der Systemleistung, da die "Black-Box"-Natur vieler Systeme es schwierig machen kann, Mängel zu identifizieren.

AdvaMed, die Handelsgruppe, die Gerätehersteller vertritt, drängt die FDA, weiterhin ihre aktuellen Ansätze zur Bewertung von generativen KI-gestützten Medizinprodukten zu verwenden. Sie will auch, dass die Agentur eine Überwachung nach der Markteinführung vermeidet, die unabhängig vom tatsächlichen Risiko eines Produkts zusätzliche Belastungen mit sich bringt.

Quellen (auf Englisch)

KI-Übersetzung des englischen Originalartikels, automatisch geprüft, damit sie dasselbe aussagt wie das Original. Die Quellen wurden auf Englisch geprüft.