Geben KI-Chatbots verlässliche Antworten zum Thema Krebs?

Eine Studie untersuchte gängige krebsbezogene Google-Suchanfragen und kam zu dem Ergebnis, dass KI-Chatbots den Verbrauchern im Allgemeinen korrekte Informationen liefern, deren Nutzen jedoch durch ihre Komplexität eingeschränkt sein kann.

Die andere Studie untersuchte Empfehlungen zur Krebsbehandlung und kam zu dem Ergebnis, dass KI-Chatbots bei der Bereitstellung von Empfehlungen für Brust-, Prostata- und Lungenkrebs im Einklang mit den nationalen Behandlungsrichtlinien insgesamt das Ziel verfehlten.

Die medizinische Welt ist "verliebt in unsere neuesten potenziellen Helfer, große Sprachmodelle ("large language models", LLM) und insbesondere Chatbots wie ChatGPT", schrieb Dr. med. Atul Butte, Leiter des Bakar Computational Health Sciences Institute an der University of California in San Francisco, in einem Leitartikel zu den Studien. "Aber vielleicht ist unser Grundvertrauen in die GPT-Technologie als klinischer Partner noch nicht ausreichend gerechtfertigt."

ChatGPT, BING und Co. geben korrekte Antworten auf Fragen nach Krebs

In der ersten Studie wurde die Qualität der Antworten von vier KI-Chatbots (ChatGPT-3.5, Perplexity (Perplexity.AI), Chatsonic (Writesonic) und Bing AI (Microsoft)) auf die fünf am häufigsten gesuchten Fragen zu Haut-, Lungen-, Brust-, Darm- und Prostatakrebs analysiert. Dazu gehörte unter anderem die Frage nach der Definition von Hautkrebs und nach den Symptomen von Prostata-, Lungen- oder Brustkrebs.

Das Team bewertete die Antworten nach Qualität, Klarheit, Handlungsfähigkeit, Fehlinformationen und Lesbarkeit. Die Wissenschaftler fanden heraus, dass die vier Chatbots "qualitativ hochwertige" Antworten zu den fünf Krebsarten lieferten und keine Fehlinformationen verbreiteten. Drei der vier Chatbots zitierten seriöse Quellen, wie die American Cancer Society, die Mayo Clinic und die Centers for Disease Controls and Prevention, was "beruhigend" ist, so die Wissenschaftler.

Das Team stellte jedoch auch fest, dass der Nutzen der Informationen "begrenzt" war, da die Antworten oft auf Hochschulniveau geschrieben waren. Eine weitere Einschränkung: Die KI-Chatbots lieferten knappe Antworten ohne visuelle Hilfsmittel, was möglicherweise nicht ausreicht, um den Nutzern komplexere Ideen zu erklären.

"Diese Einschränkungen deuten darauf hin, dass KI-Chatbots [ergänzend] und nicht als primäre Quelle für medizinische Informationen verwendet werden sollten", so die Autoren. Sie fügten hinzu, dass die Chatbots "in der Regel ihre Grenzen bei der Erteilung individueller Ratschläge einräumten und die Nutzer aufforderten, ärztliche Hilfe aufzusuchen."

Bei Krebsbehandlungen empfehlen die AIs auch erfundene Therapien

Eine ähnliche Studie in der Zeitschrift thematisiert die Fähigkeit von KI-Chatbots, geeignete Empfehlungen zur Krebsbehandlung zu geben.
In dieser Analyse verglichen Shan Chen vom AI in Medicine Program des Brigham Mass General an der Harvard Medical School in Boston und Kollegen die von ChatGPT-3.5 ausgesprochenen Empfehlungen zur Krebsbehandlung mit den Leitlinien des National Comprehensive Cancer Network (NCCN) von 2021.

Das Team erstellte 104 Fragen nach grundlegenden Behandlungsstrategien für verschiedene Krebsarten, darunter Brust-, Prostata- und Lungenkrebs. Zu den Fragen gehörte beispielsweise "Wie wird Brustkrebs im Stadium I behandelt?". Mehrere Onkologen bewerteten dann den Grad der Übereinstimmung zwischen den Chatbot-Antworten und den NCCN-Leitlinien.

Bei 62 Prozent der Fragen und Antworten stimmten alle empfohlenen Behandlungen mit den Vorstellungen der Onkologen überein.
Der Chatbot bot bei 98 Prozent der Anfragen mindestens eine leitlinienkonforme Behandlung an. Bei 34 Prozent der Anfragen empfahl der Chatbot jedoch auch mindestens eine nicht übereinstimmende Behandlung.

Und etwa 13 Prozent der empfohlenen Behandlungen waren "halluziniert", das heißt, sie waren nicht Teil einer empfohlenen Behandlung.

Bei den Halluzinationen handelte es sich in erster Linie um Empfehlungen für eine lokalisierte Behandlung der fortgeschrittenen Krankheit, eine gezielte Therapie oder eine Immuntherapie.

Auf der Grundlage der Ergebnisse empfahl das Team Ärzten, Patienten darauf hinzuweisen, dass KI-Chatbots keine zuverlässige Quelle für Informationen zur Krebsbehandlung sind.

"Der Chatbot war nicht gut darin, genaue Empfehlungen zur Krebsbehandlung zu geben", so die Autoren. "Der Chatbot mischte höchstwahrscheinlich falsche Empfehlungen unter die richtigen - ein Fehler, der selbst für Experten schwer zu erkennen ist."

"KI hat dennoch Potenzial die Versorgung zu verbessern"

In seinem Leitartikel wies Butte auf mehrere Einschränkungen hin, unter anderem darauf, dass die Teams Chatbots "von der Stange" bewerteten, die wahrscheinlich keine spezifische medizinische Ausbildung hatten. Zudem waren die in beiden Studien entworfenen Fragen (Prompts) sehr einfach, was ihre Spezifität oder Handlungsfähigkeit eingeschränkt haben könnte. Neuere LLMs mit spezifischer medizinischer Ausbildung werden gerade veröffentlicht, erklärte er.

Trotz der gemischten Studienergebnisse bleibt Butte optimistisch, was die Zukunft der KI in der Medizin angeht: "Die aktuelle Realität sieht so aus, dass sich die qualitativ hochwertigste Versorgung auf einige wenige erstklassige medizinische Systeme wie die NCI Comprehensive Cancer Centers konzentriert und nur für einen kleinen Teil der Weltbevölkerung zugänglich ist", erklärte Butte. "KI hat jedoch das Potenzial, dies zu ändern."

Wie können wir das bewerkstelligen? KI-Algorithmen müssten mit "Daten aus den besten medizinischen Systemen weltweit" und "den neuesten Leitlinien des NCCN und anderer Institutionen" trainiert werden. Dann könnten KI-gestützte digitale Gesundheitsplattformen entwickelt werden, um Patienten auf der ganzen Welt Ressourcen und Ratschläge zur Verfügung zu stellen, so Butte.

Obwohl "diese Algorithmen bei ihrer Einführung in die Gesundheitssysteme sorgfältig überwacht werden müssen", ändere dies nichts an ihrem Potenzial, "die Versorgung sowohl für die Reichen als auch für die Armen im Gesundheitswesen zu verbessern.", so Butte.

Der Artikel erschien im Original in der amerikanischen Ausgabe von Medscape.com