Künstliche Intelligenz in der Medizin ist anfällig für Manipulationen

  • Science

  • von Michael Simm
  • Studien – kurz & knapp
Der Zugang zum gesamten Inhalt dieser Seite ist nur Angehörigen medizinischer Fachkreise vorbehalten. Der Zugang zum gesamten Inhalt dieser Seite ist nur Angehörigen medizinischer Fachkreise vorbehalten.

Kernbotschaften

Mit dem Einzug der künstlichen Intelligenz in die Medizin wächst die Gefahr von Manipulationen und Missbrauch, warnen US-amerikanische Experten.

Hintergrund

Die Technik des maschinellen Lernens ist eine Form der Künstlichen Intelligenz (KI), die in den vergangenen Jahren im Gesundheitssystem immer häufiger zum Einsatz kommt. Dies kann für Ärzte und andere Experten eine willkommene Unterstützung darstellen. Andererseits sind diese Systeme vulnerabel, unter anderem weil die Entscheidungsfindung oft nicht nachvollziehbar ist und kleine Veränderungen bei den Eingaben zu gravierenden Abweichungen bei den Resultaten führen können.

Design

Darstellung der Problematik in Form eines „Policy Forum“ mit Demonstrationen, wie Attacken gegen medizinische AI-Systeme unbemerkt ausgeführt werden könnten.

Ergebnisse

  • In der Diagnose und Entscheidungsfindung konnten KI-Systeme bei Aufgaben in den Fachbereichen Radiologie, Dermatologie und Ophthalmologie offenbar bereits gleich gute Leistungen erzielen wie Ärzte.
  • Die US-Zulassungsbehörde gab bekannt, gesetzliche Rahmenbedingungen zu entwickeln, um den Fortschritt auf diesem Gebiet zu fördern, und es gibt Pläne, das maschinelle Lernen auch bei Zulassungsprozessen einzusetzen.
  • Die Vulnerabilität der Systeme betrifft auch die Krankenversicherungen, wo KI-Software teilweise jetzt schon zum Einsatz kommt, um die Erstattungsansprüche der Leistungserbringer und Patienten zu überprüfen.
  • Feindliche Eingriffe in diese Prozesse können beispielsweise darin bestehen, dass die Eingangsdaten (Worte, Diagnoseschlüssel) manipuliert oder Bilder und Töne in – für das menschliche Auge/Ohr unsichtbarerer Weise – verändert werden.
  • Die Autoren demonstrieren drei derartige Manipulationen an hochpräzisen Systemen zur Mustererkennung.
    • Das Bild eines Leberflecks, der zuvor mit mehr als 99 % Wahrscheinlichkeit als gutartig klassifiziert wurde, veränderten sie mit einem scheinbar zufälligem Bildrauschen, bei dem jedoch einzelne Pixel auf maximale Disruption optimiert waren. Nach der unsichtbaren Manipulation wurde der Leberfleck zu 100 % als maligne eingestuft.
    • Auch durch die bloße Rotation eines Bildes gelang es, die Diagnose von benigne auf maligne zu ändern.
    • Ein Patient wurde dem KI-System mit andauernden Rückenschmerzen und chronischen Alkohol-Missbrauch vorgestellt, was in der Diagnose einer hohen Wahrscheinlichkeit für Opiod-Missbrauch resultierte. Wurde die Beschreibung geändert zu andauerndem Lumbago und chronischer Alkohol-Abhängigkeit, sagte das KI-System ein niedriges Missbrauchs-Risiko vorher.

Klinische Bedeutung

Ziel der Autoren ist es explizit nicht, die Innovationen auf dem Gebiet des maschinellen Lernens in der Medizin zu bremsen. Vielmehr sind Experten aus Medizin, Technik, Justiz und Ethik aufgefordert, die Möglichkeiten der neuen Technik zugunsten einer effizienten, zugänglichen und effektiven Gesundheitsversorgung zu nutzen.

Finanzierung: National Institute of General Medical Science.