gms | German Medical Science

Einleitung: Effiziente Kommunikation und Zusammenarbeit der Beschäftigten im Gesundheitssystem aus verschiedenen Professionen sind entscheidend für eine qualitativ hochwertige, patient:innenzentrierte Versorgung [1]. Digitale Tools können die interprofessionelle Kommunikation und Zusammenarbeit unterstützen, indem sie zu einer verbesserten Aufgabenteilung und klareren Zuständigkeiten beitragen sowie die Zugänglichkeit, Effizienz und Sicherheit des Informationsaustausches verbessern [2]. Trotz dieser Vorteile bleibt die Implementierung und nachhaltige Nutzung digitaler Tools komplex und herausfordernd. Im Rahmen eines Scoping Reviews sollen Faktoren für die erfolgreiche Umsetzung und Nutzung solcher Tools analysiert werden [3]. Die aufwendige Synthese der 407 eingeschlossenen Volltexte kann dabei potenziell durch den Einsatz künstlicher Intelligenz (KI) unterstützt werden. Insbesondere Chatbots, die auf großen generativen Sprachmodellen (Large Language Models) basieren, stehen hier im Fokus. Seit der Einführung von ChatGPT im Jahr 2021 haben solche Chatbots vermehrt Beachtung in Forschung und Öffentlichkeit gefunden; beispielsweise führte MAXQDA kürzlich einen auf großen Sprachmodellen basierenden KI-Assistenten für das Codieren ein. Allerdings ist die Performance dieser Chatbots, insbesondere im Vergleich zu menschlichen Fähigkeiten, noch unzureichend erforscht. Diese Studie evaluiert daher die Performance von Chatbots gegen die von Menschen im Kontext der qualitativen Evidenzsynthese.

Methoden: Die Performance von vier Chatbots (ZenoChat, ChatGPT 3.5, ChatGPT 4.0 und ChatFlash) und zwei Wissenschaftlerinnen wurde systematisch evaluiert. Die Studie basiert auf codierten Textabschnitten der 407 Artikel des Scoping Reviews, in denen Fragen des NASSS-Frameworks (Nonadoption, Abandonment, Scale-up, Spread, and Sustainability) von Greenhalgh et al. [4] beantwortet wurden. Das NASSS-Framework dient der Vorhersage und Bewertung des Erfolges technologiegestützter Gesundheitsprogramme und umfasst Fragen wie „Was sind die wichtigsten Merkmale der Technologie?“ und „Welche Veränderungen in den Rollen, Praktiken und Identitäten der Mitarbeiter sind damit verbunden?“ [4]. Die von Chatbots und Menschen erstellten Antworten wurden randomisiert und verblindet weiteren Personen mit wissenschaftlichem Hintergrund zugeteilt, welche diese anhand a priori definierter Kriterien (u.a. Genauigkeit und Vollständigkeit der Antwort, Addition neuer Inhalte und Interpretation, sowie korrekte Kontexterkennung in der Antwort und Länge der Antwort) bewerteten.

Ergebnisse: Die Genauigkeit der Antworten von Chatbots und denen von Menschen war vergleichbar gut. Chatbots erkannten den Kontext des Originaltextes jedoch besser und lieferten eher vollständige, wenn auch längere Antworten. Menschliche Antworten wiesen weniger Interpretation oder zusätzliche Inhalte auf. Unter den Chatbots erzielte ZenoChat insgesamt die am besten bewerteten Antworten, gefolgt von ChatFlash. Die Antworten von ChatGPT 3.5 und ChatGPT 4.0 wurden am schlechtesten bewertet.

Schlussfolgerung: Chatbots, die auf Large Language Models basieren, haben das Potenzial, den Prozess der Evidenzsynthese zu beschleunigen. Allerdings machen auch sie, ähnlich wie Menschen, Fehler. Angesichts der fortlaufenden Entwicklung und Feinabstimmung von Chatbots werden die erfolgreichen Anwendungen von Chatbots zur Erleichterung bzw. Beschleunigung von definierten Prozessen innerhalb der Forschung in den kommenden Jahren höchstwahrscheinlich weiter zunehmen. Dabei gilt es aber die Möglichkeiten und Grenzen kritisch abzuwägen. Hierfür sind weitere Studien notwendig, welche die Qualität und Verlässlichkeit von KI-basierten Verfahren im Rahmen der Evidenzsynthese auf Basis weiterer Proof-of-Concepts in unterschiedlichen Kontexten und zu verschiedenen Zielsetzungen untersuchen.

Die Autoren geben an, dass kein Interessenkonflikt besteht.

Die Autoren geben an, dass kein Ethikvotum erforderlich ist.