Ethikrat nimmt Stellung zu den Herausforderungen der Künstlichen Intelligenz

Digitale Technologie und KI-Systeme haben laut der Stellungnahme heutzutage in nahezu alle Bereiche des öffentlichen und privaten Lebens Einzug gehalten und reichen von der Tumor-Diagnostik und intelligenten Tutorsystemen in der Schule über Empfehlungssysteme auf Onlineplattformen bis hin zu Software, die Entscheidungen im Sozial- und Justizwesen oder bei der Polizei unterstützen soll.

Für die ethische Bewertung solcher Entwicklungen und ihres Einsatzes in verschiedenen Bereichen sei es nötig, nicht nur die Techniken zu verstehen, sondern auch ihre Wechselwirkungen mit den Personen, die sie verwendeten oder von ihrer Anwendung betroffen seien, heißt es in der Stellungnahme weiter. Zentral sei dabei die Frage, welche Auswirkungen damit verbunden seien, „wenn Tätigkeiten, welche zuvor Menschen vorbehalten waren, an Maschinen delegiert werden. Werden menschliche Autorschaft und Handlungsmöglichkeiten durch den Einsatz von KI erweitert oder vermindert“? Mit dieser Frage befasst sich der Deutsche Ethikrat in seiner Stellungnahme exemplarisch in den vier Anwendungsbereichen schulische Bildung, öffentliche Kommunikation sowie Verwaltung und Medizin sowie Gesundheitswesen. Denn KI-gestützte digitale Produkte kommen zunehmend auch in der Medizin und im Gesundheitssystem zum Einsatz. Die Betrachtung der mit ihnen verbundenen Chancen und Risiken bedarf laut dem Ethikrat einer wenigstens dreifachen Differenzierung. Erstens seien mehrere Akteursgruppen zu unterscheiden, die bezüglich eines KI-Einsatz unterschiedliche Funktionen und Verantwortlichkeiten hätten. Zweitens umfasse das Gesundheitswesen von der Forschung bis zur konkreten Patientenversorgung unterschiedliche Anwendungsbereiche für KI-Produkte. Drittens seien unterschiedliche Grade „der Ersetzung menschlicher Handlungssegmente“ zu beobachten.

Bereits die Entwicklung geeigneter KI-Komponenten für die medizinische Praxis erfordere enge interdisziplinäre Zusammenarbeit verschiedener Sachverständiger und stelle hohe Anforderungen an die Qualität der verwendeten Trainingsdaten, um vermeidbare Verzerrungen der Ergebnisse von vornherein zu minimieren. Systeme seien so zu konzipieren, dass  sie Plausibilitätsprüfungen in der Nutzungsphase vorsehen, um den Gefahren eines Automation Bias zu entgehen. Mittels geeigneter Prüf-, Zertifizierungs- und Auditierungsmaßnahmen sollte gewährleistet werden, dass nur hinreichend geprüfte KI-Produkte verwendet werden, deren „grundlegenden Funktionsweise zumindest bei Systemen, die Entscheidungsvorschläge mit schwerwiegenden Konsequenzen für Betroffene unterbreiten, auch für diejenigen, die ein Produkt später verwenden, hinreichend erklär- sowie interpretierbar ist“.

In der medizinischen Forschung könne der Einsatz von KI in mehrfacher Hinsicht vorteilhaft sein, sofern der Schutz der an den Studien teilnehmenden Personen und ihrer Daten gewährleistet sei, heißt es in der Stellungnahme zudem. KI könne hier beispielsweise hilfreiche Vor- und Zuarbeiten bei Literaturrecherchen oder der Auswertung großer Datenbanken leisten, neue Korrelationen zwischen bestimmten Phänomenen entdecken und auf dieser Grundlage treffsichere Vorhersagen machen, etwa zur Ausbreitung eines Virus.

In der medizinischen Versorgung werden KI-Instrumente zunehmend auch zur Diagnostik und Therapie eingesetzt.  Insbesondere Fortschritte in der KI-gestützten Bilderkennung eröffneten neue Möglichkeiten einer frühzeitigen Detektion, Lokalisation und Charakterisierung pathologischer Veränderungen. In der Therapie komme KI beispielsweise in Opera- tionsrobotern zum Einsatz.

Wenn ärztliche Tätigkeiten in derart engem bis mittleren Ausmaß an Technik delegiert würden, könnten beispielsweise Tumore früher erkannt, Therapie-Optionen erweitert und die Chancen auf eine erfolgreiche Behandlung erhöht werden. Für Ärzte und Ärztinnen eröffne die Technik zudem die Chance, von monotonen Routinearbeiten entlastet zu werden und mehr Zeit für den Austausch mit der jeweiligen Patientin zu gewinnen. Diesen Chancen stünden aber auch Risiken gegenüber, „beispielweise wenn Fachkräfte durch die fortschreitende Delegation bestimmter Aufgaben an technische Systeme eigene Komptenzen verlieren oder Sorgfaltspflichten im Umgang mit KI-gestützter Technik aufgrund eines Automation Bias vernachlässigen“.

Um die Chancen des KI-Einsatzes in klinischen Situation zu realisieren und Risiken zu minimieren, sind mehrere Ebenen zu berücksichtigen. So bedarf es laut dem Ethikrat unter anderem einer flächendeckenden und möglichst einheitlichen technischen Ausrüstung, Personalschulung und kontinuierlichen Qualitätssicherung ebenso wie Strategien, die gewährleisten, dass auch in KI-gestützten Protokollen Befunde auf Plausibilität geprüft werden, die persönliche Lebenssituation von Erkrankten umfassend berücksichtigt und vertrauensvoll kommuniziert wird.

Auch der bei den meisten medizinischen KI-Anwendungen große Datenbedarf bringe Herausforderungen mit sich, sowohl hinsichtlich des Schutzes der Privatsphäre Betroffener als auch mit Blick auf eine teils sehr restriktive individuelle Auslegungspraxis geltender Datenschutzbestimmungen, die der Realisierung von Potenzialen des KI-Einsatzes in der klinischen Praxis im Wege stehen könne.

Einer der wenigen medizinischen Handlungsbereiche, in denen KI-basierte Systeme zum Teil ärztliches bzw. anderes Gesundheitspersonal mitunter weitgehend oder vollständig ersetzen könnten, sei die Psychotherapie. Hier würden seit einigen Jahren Instrumente verwendet, meist in Form von Bildschirm-basierten Apps, die auf algorithmischer Basis eine Art von Therapie offerierten. Solche Apps könnten einerseits angesichts ihrer Niedrigschwelligkeit und ständigen Verfügbarkeit Menschen in Erstkontakt mit therapeutischen Angeboten bringen, die sonst zu spät oder gar nicht eine Therapie erhielte. Andererseits gebt es Bedenken etwa hinsichtlich mangelnder Qualitätskontrollen, dem Schutz der Privatsphäre oder „wenn Menschen eine Art emotionale Beziehung zur therapeutischen App aufbauen“. Kontrovers diskutiert werde auch, ob die zunehmende Nutzung solcher Apps weiterem Abbau von therapeutischem Fachpersonal Vorschub leiste.

Auf Grundlage dieser Überlegungen hat der Deutsche Ethikrat neun Empfehlungen für den Einsatz von KI im Gesundheitssektor formuliert:

1. Bei der Entwicklung, Erprobung und Zertifizierung medizinischer KI-Produkte bedarf es einer engen Zusammenarbeit mit den relevanten Zulassungsbehörden sowie insbesondere mit den jeweils zuständigen medizinischen Fachgesellschaften, um Schwachstellen der Produkte frühzeitig zu entdecken und hohe Qualitätsstandards zu etablieren.

2. Bei der Auswahl der Trainings-, Validierungs- und Testdatensätze sollte über bestehende Rechtsvorgaben hinaus mit einem entsprechenden Monitoring sowie präzise und zugleich sinnvoll umsetzbaren Dokumentationspflichten sichergestellt werden, dass die für die betreffenden Patientengruppen relevanten Faktoren (wie z. B. Alter, Geschlecht, ethnische Einflussfaktoren, Vorerkrankungen und Komorbiditäten) hinreichend berücksichtigt werden.

3. Bei der Gestaltung des Designs von KI-Produkten zur Entscheidungsunterstützung ist sicherzustellen, dass die Ergebnisdarstellung in einer Form geschieht, die Gefahren etwa von Automatismen (Automation Bias) transparent macht, ihnen entgegenwirkt; außeredem muss die Notwendigkeit einer reflexiven Plausibilitäts- prüfung der jeweils vom KI-System vorgeschlagenen Handlungsweise unterstrichen werden.

4. Bei der Sammlung, Verarbeitung und Weitergabe von gesundheitsbezogenen Daten sind generell strenge Anforderungen und hohe Standards in Bezug auf Aufklärung, Datenschutz und Schutz der Privatheit zu beachten.

5. Bei durch empirische Studien sorgfältig belegter Überlegenheit von KI-Anwendungen gegenüber herkömmlichen Behandlungsmethoden ist sicherzustellen, dass diese allen einschlägigen Patientengruppen zur Verfügung stehen.

6. Für erwiesen überlegene KI-Anwendungen sollte eine rasche Integration in die klinische Ausbildung des ärztlichen Fachpersonals erfolgen. Auch die anderen Gesundheitsberufe sollten entsprechende Elemente in die Ausbildung aufnehmen, um die Anwendungskompetenz bei KI-Anwendungen im Gesundheitsbereich zu stärken.

7. Bei routinemäßiger Anwendung von KI-Komponenten sollte nicht nur gewährleistet werden, dass bei denjenigen, die sie klinisch nutzen, eine hohe methodische Expertise zur Einordnung der Ergebnisse vorhanden ist, sondern auch strenge Sorgfaltspflichten bei der Datenerhebung und -weitergabe sowie bei der Plausibilitätsprüfung der maschinell gegebenen Handlungsempfehlungen eingehalten werden. Besondere Aufmerksamkeit erfordert die Gefahr, dass theoretisches wie haptisch-praktisches Erfahrungswissen und entsprechende Fähigkeiten verloren gehen; dieser Gefahr sollte mit geeigneten, spezifischen Fortbildungsmaßnahmen entgegengewirkt werden.

8. Bei fortschreitender Ersetzung ärztlicher, therapeutischer und pflegerischer Handlungssegmente durch KI-Komponenten ist nicht nur sicherzustellen, dass Patientinnen und Patienten über alle entscheidungsrelevanten Umstände ihrer Behandlung vorab informiert werden. Darüber hinaus sollten auch gezielte kommunikative Maßnahmen ergriffen werden, um dem drohenden Gefühl einer zunehmenden „Verobjektivierung“ aktiv entgegenzuwirken und das Vertrauensverhältnis zwischen den beteiligten Personen zu schützen. Je höher der Grad der technischen Substitution menschlicher Handlungen durch KI-Komponenten ist, desto stärker wächst der Aufklärungs- und Begleitungsbedarf der Patientinnen und Patienten. Die verstärkte Nutzung von KI-Komponenten in der Versorgung darf nicht zu einer wei- teren Abwertung der sprechenden Medizin oder einem Abbau von Personal führen.

9. Eine vollständige Ersetzung von Ärzten und Ärztinnen durch ein KI-System gefährdet laut Ethikrat das Patientenwohl und ist auch nicht dadurch zu rechtfertigen, dass schon heute in bestimmten Versorgungsbereichen ein akuter Personalmangel besteht. Gerade in komplexen Behandlungssituationen bedarf es eines „personalen Gegenübers“, das durch technische Komponenten zwar immer stärker unterstützt werden kann, dadurch selbst als Verantwortungsträger für die Planung, Durchführung und Überwachung des Behandlungsprozesses aber nicht überflüssig wird.