Eine aktuelle Studie von Wissenschaftlern aus den USA kommt zu dem Ergebnis, dass künstliche Intelligenzen Patientenfragen zur Augengesundheit ebenso gut beantworten können, wie Augenärzte mit Mitgliedschaft in der „American Academy of Ophthalmology“ dies innerhalb eines Online-Forums tun [1]. Bei den hierfür eingesetzten künstlichen Intelligenzen handelte es sich um sogenannte „Large Language Models“, wie beispielsweise ChatGTP, die anhand von Datensätzen trainiert werden („Deep-Learning“) und auf dieser Grundlage neue Inhalte generieren.
Innerhalb der Studie wurden zunächst 200 Patientenfragen zufällig ausgewählt, die in einem Online-Forum an Augenärzte gestellt wurden. Die gleichen Fragen wurden ebenfalls an das KI-System ChatGTP gestellt. Anschließend wurden die Antworten durch ein Expertengremium aus acht Ophthalmologen verglichen, ohne dass die Experten wussten, ob die Frage durch einen Menschen oder eine künstliche Intelligenz beantwortet wurde. Bei der Einschätzung sollte durch das Gremium unterschieden werden, wer die Antwort gegeben hatte (Mensch/Künstliche Intelligenz), ob die Antworten in Teilen oder gänzlich falsch waren, den Leitlinien entsprechend gegeben wurden oder ob sie für den Patienten möglicherweise sogar schädlich waren. Im Ergebnis konnte das Gremium häufig (durchschnittlich 61,3%) unterscheiden, durch wen die Antwort erstellt wurde. Beim Vergleich der Fehlerquote in den Antworten schnitten KI und Mensch gleich ab, es konnten keine signifikanten Unterschiede am Anteil falscher, nicht leitliniengerechter oder potenziell schädlicher Antworten ausgemacht werden.
Dennoch machte ChatGTP einige auffällige Fehler, die einem Augenarzt nicht unterlaufen würde: So ist die Künstliche Intelligenz beispielsweise bei der Frage nach einer möglichen Schrumpfung des Auges nach einer Kataraktoperation gescheitert. Die KI gab fälschlicherweise an, dass eine Kataraktoperation zu einer Verkleinerung des Auges führen könne und nicht, dass das Auge infolge einer Ptosis nach der Operation lediglich kleiner wirke. Auch gab der Chatbot fälschlicherweise an, dass eine hintere Glaskörperabhebung einen Astigmatismus verändern könne und eine neue Brille erforderlich machen könnte.
1. Bernstein IA et al (2023) Comparison of ophthalmologist and large language model chatbot responses to online patient eye care questions. JAMA Network Open 6: e2330320-e2330320