gms | German Medical Science

Deutscher Rheumatologiekongress 2024

52. Kongress der Deutschen Gesellschaft für Rheumatologie (DGRh)
34. Jahrestagung der Gesellschaft für Kinder- und Jugendrheumatologie (GKJR)
38. Jahrestagung der Deutschen Gesellschaft für Orthopädische Rheumatologie (DGORh)

18.09. - 21.09.2024, Düsseldorf

Welches Potential hat ChatGPT für eine qualifizierte Patienteninformation? Versuch einer systematischen Analyse

Meeting Abstract

  • Gernot Keyßer - Universitätsklinikum Halle (Saale), Universitätsklinik und Poliklinik für Innere Medizin II, Halle (Saale)
  • Alexander Pfeil - Universitätsklinikum Jena, Klinik für Innere Medizin III, Jena
  • Monika Reuss-Borst - Bad Bocklet, Rheumatologische Facharztpraxis, Bad Bocklet
  • Inna Frohne - Privatpraxis für Rheumatologie, Essen
  • Olaf Schultz - Acura Kliniken Baden-Baden, Abteilung Rheumatologie, Baden-Baden
  • Oliver Sander - Universitätsklinikum Düsseldorf, Klinik für Rheumatologie, Düsseldorf

Deutsche Gesellschaft für Rheumatologie. Deutsche Gesellschaft für Orthopädische Rheumatologie. Gesellschaft für Kinder- und Jugendrheumatologie. Deutscher Rheumatologiekongress 2024, 52. Kongress der Deutschen Gesellschaft für Rheumatologie und Klinische Immmunologie (DGRh), 34. Jahrestagung der Gesellschaft für Kinder- und Jugendrheumatologie (GKJR), 38. Jahrestagung der Deutschen Gesellschaft für Orthopädische Rheumatologie (DGORh). Düsseldorf, 18.-21.09.2024. Düsseldorf: German Medical Science GMS Publishing House; 2024. DocEV.26

doi: 10.3205/24dgrh053, urn:nbn:de:0183-24dgrh0538

Published: September 18, 2024

© 2024 Keyßer et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. See license information at http://creativecommons.org/licenses/by/4.0/.


Outline

Text

Einleitung: Der Chatbot ChatGPT stellt einen Meilenstein in der Interaktion zwischen Menschen und großen, über das Internet zugänglichen Datenbanken dar. Er ermöglicht mit einer Kommunikation in Alltagssprache die Beantwortung komplexer Fragen und ist damit eine potentielle Informationsquelle für Betroffene rheumatischer Erkrankungen.

Ziel der Untersuchung war es, herauszufinden, ob Chat GPT (Version 3.5) in der Lage ist, qualifizierte Antworten zur Anwendbarkeit von Verfahren der Komplementär – und Alternativmedizin (CAM) (Homöopathie, Ayurveda, Phytotherapie) bei rheumatoider Arthritis, Systemischem Lupus erythematodes (SLE) und Granulomatose mit Polyangiitis (GPA) zu liefern. Außerdem wurde untersucht, welchen Einfluss die Art der Fragestellung auf die erhaltenen Ergebnisse haben könnte.

Methoden: Die Befragung erfolgte in drei Abschnitten. In Abschnitt A wurde eine offene Frage zu Behandlungsmöglichkeiten bei einem der drei Krankheitsbilder gestellt. In Abschnitt B wurde allgemein nach möglicher Anwendung für CAM bei einer der drei Erkrankungen gefragt. In Abschnitt C wurden konkret Applikationsmöglichkeiten für die drei genannten CAM-Verfahren für jede Diagnose erfragt. In den Abschnitten B und C wurden die Fragen jeweils in zwei Modifikationen gestellt. Die erste fragte danach, ob das Verfahren überhaupt anwendbar ist. Die zweite Frage erkundigte sich nach konkreten Anwendungen aus den genannten Verfahren. Die Validität der Ergebnisse wurden von Mitgliedern der DGRh-Kommission für Komplementäre Heilverfahren und Ernährung anhand des ChatGPT Reliability Scores, einer 7-stufigen Likert-Skala, ausgewertet.

Ergebnisse: Zu den offenen Fragen im Abschnitt A lieferte ChatGPT die validesten Ergebnisse mit einem mittleren Scorewert von 6,2. In B und C wurden zahlreiche CAM-Anwendungen erwähnt, die nicht durch wissenschaftliche Evidenz gestützt sind. In diesen Abschnitten waren die Ergebnisse sehr deutlich von der Art der Fragestellung abhängig (Scores zwischen 2,8 und 6,5). Suggerierte die Frage eine Anwendungsabsicht der CAM, entfielen häufig Hinweise auf die fehlende Evidenz, die Qualität der Antwort wurde dann in 11 von 12 Fällen schlechter bewertet, im Mittel um einen Punkt, im Einzelfall um mehr als drei Punkte.

Schlussfolgerung: Die Antworten von ChatGPT 3.5 zur Anwendung von CAM bei definierten rheumatischen Erkrankungen lassen häufig eine ausreichende wissenschaftliche Evidenz vermissen. Zudem beeinflusst die Art der Fragestellung die Qualität der Aussagen erheblich. Eine kritiklose Anwendung von ChatGPT 3.5 als Instrument der Patienteninformation kann derzeit nicht empfohlen werden.

Offenlegungserklärung: Die Autoren erklären, dass zum vorliegenden Abstract keine Interessenskonflikte bestehen.