Studie: ChatGPT beantwortet Fragen zur Augengesundheit insgesamt nicht schlechter als Augenärzte

Bei der Einschätzung sollte durch das Gremium unterschieden werden, wer die Antwort gegeben hatte (Mensch/Künstliche Intelligenz), ob die Antworten in Teilen oder gänzlich falsch waren, den Leitlinien entsprechend gegeben wurden oder ob sie für den Patienten möglicherweise sogar schädlich waren. Im Ergebnis konnte das Gremium häufig (durchschnittlich 61,3%) unterscheiden, durch wen die Antwort erstellt wurde. Beim Vergleich der Fehlerquote in den Antworten schnitten KI und Mensch gleich ab, es konnten keine signifikanten Unterschiede am Anteil falscher, nicht leitliniengerechter oder potenziell schädlicher Antworten ausgemacht werden.

Dennoch machte ChatGTP einige auffällige Fehler, die einem Augenarzt nicht unterlaufen würde: So ist die Künstliche Intelligenz beispielsweise bei der Frage nach einer möglichen Schrumpfung des Auges nach einer Kataraktoperation gescheitert. Die KI gab fälschlicherweise an, dass eine Kataraktoperation zu einer Verkleinerung des Auges führen könne und nicht, dass das Auge infolge einer Ptosis nach der Operation lediglich kleiner wirke. Auch gab der Chatbot fälschlicherweise an, dass eine hintere Glaskörperabhebung einen Astigmatismus verändern könne und eine neue Brille erforderlich machen könnte.

1. Bernstein IA et al (2023) Comparison of ophthalmologist and large language model chatbot responses to online patient eye care questions. JAMA Network Open 6: e2330320-e2330320