gms | German Medical Science

Einleitung: Large Language Modelle (LLMs) wie Chat GPT, Gemini oder Claude gewinnen zunehmend an Bedeutung als Informationsquelle für medizinische Fragestellungen. Dabei ist wenig über das Potential und die Grenzen ihrer medizinische Kompetenz bekannt. Gleichzeitig verfügen diese Modelle über ein großes Potential Prozesse wie Dokumentation, Triagierung oder medizinische Entscheidungsfindung fundamental zu ökonomisieren und zu verbessern.

Ziel unserer Studienserie war es daher das Potential von LLM zur Beantwortung medizinischer Fragen im HNO Bereich auszuloten und mögliche Einsatzgebiete zu identifizieren.

Methoden: Verschiedene gängig genutzte LLMs wurden zunächst zur Beantwortung von Fachfragen im HNO Bereich hinsichtlich der medizinischen Fachkompetenz und verschiedener sprachlicher Parameter wie Verständlichkeit, inhaltlicher Kohärenz und Verständlichkeit mit HNO Fachärzt*innen durch verblindete Evaluation verglichen. Die Textlänge wurde ebenfalls untersucht und evaluiert, inwieweit durch die Antworten eine potentielle Gefährdungssituation entstehen könnte. Ferner wurde eruiert, inwieweit LLMs als Informationsquelle (z.B. im Rahmen von Tumorboardentscheidungen) suffiziente Therapievorschläge unterbreiten können und ob sie als mögliche augmentative Entität im Sinne einer patientenindividuellen Informationsquelle nützlich sind.

Ergebnisse: LLMs waren in der Lage Fachfragen auf sehr hohem sprachlichen Niveau und mit guter medizinischer Fachkompetenz zu beantworten. Allerdings waren sie in allen Parametern einer Beantwortung der Fragen durch Fachärzt*Innen unterlegen. Die Verwendete Zeichenanzahl war bei LLMs deutlich höher (P<.001). Eine potentielle Gefährdungssituation wurde durch die Antworten in 10 – 19% der Fälle identifiziert während bei Fachärzten 6% der Antworten als potentiell gefährlich gewertet wurden.

Auch bei der Einschätzung von Tumorboardfällen zeigten LLMs eine relativ gute Übereinstimmung mit dem Board (84-92%). In 17% der Fälle wurde eine mögliche Beeinflussung der Tumorboardentscheidung durch das Hinzuziehen eines LLM gesehen.

Diskussion: LLMs sind Fachpersonal aktuell noch signifikant unterlegen. Sie zeigen jedoch ein großes Potential in verschiedenen Teilbereichen unseres Fachgebietes zu einer verbesserten Behandlungsqualität beizutragen. Datenschutz als zentrale Limitation könnte durch die Verwendung von nicht-webbasierten LLMs gewahrt bleiben.