Große Sprachmodelle (LLMs) wie ChatGPT und Claude werden zunehmend im klinischen Alltag eingesetzt, oft schneller als offizielle Sicherheitsmaßnahmen etabliert werden können. Ein interdisziplinäres Forschungsteam des Else Kröner Fresenius Zentrums für Digitale Gesundheit an der TU Dresden und des Dresdner Universitätsklinikums hat gemeinsam mit internationalen Partnern die Risiken und Herausforderungen beim Einsatz dieser Modelle in der Medizin systematisch analysiert und im Fachmagazin Nature veröffentlicht [1].
Die Studie belegt, dass Risiken entlang des gesamten Lebenszyklus von KI-Systemen entstehen: Beim Modell-Design, beim Lernen mittels Trainingsdaten und bei der Anwendung. Zu den Sicherheitsrisiken zählen manipulierte Trainingsdaten (Data Poisoning), gezielte Eingriffe wie Prompt Injections und Schwachstellen in der IT-Infrastruktur, die zu fehlerhaften Ergebnissen oder Datenschutzverletzungen führen können. Modellinhärente Risiken ergeben sich aus der Funktionsweise der Systeme: LLMs können plausibel klingende, aber falsche Informationen erzeugen (Halluzinationen) oder sich zu stark an Nutzererwartungen anpassen. Risiken in der Mensch-KI-Interaktion betreffen die Gefahr einer übermäßigen Abhängigkeit vom System (Automation Bias) oder die Bestätigung bestehender Überzeugungen (Confirmation Bias).
Um diesen Herausforderungen zu begegnen, empfehlen die Wissenschaftler sichere Entwicklungsprozesse, sorgfältige Datenaufbereitung, systematische Evaluation und kontinuierliches Monitoring der Modelle. Wichtig sind zudem klar definierte Zuständigkeiten in Gesundheitseinrichtungen und der Aufbau spezialisierter Teams wie Security Operations Centers for AI, die den Einsatz von KI-Systemen koordinieren und überwachen. Die menschliche Kontrolle bleibt dabei zentral.
Die Analyse macht auch deutlich, dass viele KI-Systeme noch nicht als Medizinprodukt zugelassen sind und der regulatorische Rahmen an die Dynamik moderner KI-Technologien angepasst werden muss. Nur so kann das Potenzial großer Sprachmodelle sicher und verantwortungsvoll in der Medizin genutzt werden.
1. Clusmann et al (2026) Safety and security of large language models in healthcare. Nature
https://www.nature.com/articles/s41586-026-10687-1