gms | German Medical Science

Einleitung: Rapide Entwicklungen im Bereich künstlicher Intelligenz (KI) und spezifisch von Large Language Models (LLMs) führen zu zunehmender Einbindung dieser Technologie in Teilbereiche des Alltags. Dieses umfasst auch, dass medizinische Fragestellungen an LLMs gerichtet werden ohne dass deren Potential und Limitationen hinreichend bekannt sind.

Ziel dieser Untersuchung war das Potential dreier LLMs für Beantwortung fallbasierter, urologischer Fragen zu evaluieren. Die Qualität der Antworten wurde mit korrespondierenden Antworten urologischer Fachärzte verglichen.

Methode: 45 fallbasierte Fragen wurden durch vier urologische Fachärzte und drei verbreitete LLMs (ChatGPT 3.5, ChatGPT 4 & Bard) unabhängig beantwortet. Alle generierten Antworten wurden im Anschluss durch Fachärzte verblindet in den Kategorien medizinische Qualität, Prägnanz, Kohärenz und Verständlichkeit mittels einer 6-stufigen Likert-Skala bewertet. Zudem wurde eine potentielle Gefährdung durch die gegebene Antwort eingeschätzt.

Ergebnisse: In verblindeter Evaluation wurden Antworten der Urologen im Vergleich zu den LLMs in jeder Kategorie signifikant besser bewertet. Obwohl die Ergebnisse der einzelnen LLMs unterschiedlich ausfielen, waren die Gesamtergebnisse in den semantischen Kategorien wie Kohärenz und Verständlichkeit hoch. Insbesondere in der Bewertung der medizinischen Qualität der Antworten wurden LLMs niedriger bewertet. Eine potentielle Gefährdung durch die gegebene Antwort wurde in 2,8% bis 18,9% der Antworten der LLMs identifiziert. Diese lag bei den Fachärzten <1%. 98% der Antworten wurden in einem modifizierten Turing Test der korrekten Entität zugeordnet. ChatGPT 4 flächendeckend am besten ab, während Bard die niedrigsten Werte erzielte. Auffällig war die signifikant erhöhte Zeichenzahl bei den von LLMs gegebenen Antworten.

Schlussfolgerung: Die „Konsultation“ von LLMs als alleinige Quelle medizinischer Fachinformation birgt relevante Risiken für Fehlinformation und ein Potential für Gefährdung. Die hohe semantische Qualität der Antworten könnte bei Anwendern zu einer Fehleinschätzung hinsichtlich Fachkompetenz beitragen. Jedoch haben LLMs das Potential beispielsweise als augmentative Entität medizinische Behandlung zu ökonomisieren.