gms | German Medical Science

Einleitung: Die Einführung des Sprachmodells ChatGPT durch das US-Unternehmen OpenAI im November 2022 hat für Aufsehen gesorgt. Die KI liefert anhand von Deep Learning-Modellen und Natural Language Processing-Techniken im Chat Erklärungen zu beliebigen Aufgaben, wobei die Texte meist nicht von denen menschlicher Autoren zu unterscheiden sind. Ziel dieser Arbeit war die Evaluation des Chatbots zur Patientenberatung bei Urolithiasis und der Abgleich mit den aktuellen EAU Leitlinien.

Methode: Es wurden unter Einbeziehung der EAU Leitlinie Urolithiasis (https://uroweb.org/guidelines/urolithiasis) und der EAU Patient Information (https://patients.uroweb.org) 10 Fragen in englischer Sprache zur Entstehung, Therapie und Prävention von Harnsteinen formuliert. Diese Fragen wurden dem Chatbot ChatGPT (OpenAI, https://chat.openai.com) je fünfmal gestellt. Die ausgegebenen Antworten wurden mit den Quellen und untereinander verglichen.

Ergebnisse: Die generierten Texte von ChatGPT waren stets gleich strukturiert. Sie begannen mit einem einleitenden Satz, gefolgt von numerisch aufgelisteten Antworten sowie einer abschließenden Zusammenfassung oder dem Hinweis, eine ärztliche Beratung in Anspruch zu nehmen. Der Großteil der Antworten war inhaltlich richtig, jedoch häufig unpräzise formuliert. Gezielte Fragestellungen wurden teils nicht adäquat beantwortet. Das wiederholte Stellen der gleichen Frage führte zu unterschiedlichen, in der Qualität variablen Antworten. Dies betraf das Weglassen von Informationen (Chemolitholyse als Therapiemöglichkeit) oder auch teils falsche Angaben (Calcium-Substitution zur Steinprophylaxe).

Schlussfolgerung: Der KI-Chatbot ChatGPT vermittelt überschaubare und insbesondere auch für Laien verständliche Kenntnisse zu den gesuchten Themen. Die Antworten werden dabei jedoch meist vage formuliert und liefern keine definitiven Aussagen bei gezielten Fragestellungen. Insbesondere ist die Richtigkeit der Texte nicht gewährleistet, auch überprüfbare Quellen werden – anders als bei z.B. Google – nicht genannt. Das Einholen von Informationen über Quellen der DGU oder EAU wie den Patienteninformationsseiten sollte daher weiterhin bevorzugt werden.