gms | German Medical Science

Fragestellung: „NLP (natürliche Sprachverarbeitung) ist ein interdisziplinäres Forschungsfeld, das sich mit der Verarbeitung und Analyse von menschlicher Sprache durch Computer beschäftigt. Eine der aktuellen Anwendungen von NLP ist GPT (Generative Pretrained Transformer), ein künstlicher Intelligenz-Modell, das auf großen Datensätzen trainiert wurde. Die Haupteinsatzfelder für NLP in der Patientenbehandlung könnten beispielsweise die automatisierte Übersetzung von Patientenunterlagen, die Diagnoseunterstützung durch Textanalyse oder die Überwachung von Patientendaten für frühzeitige Erkennung von Gesundheitsproblemen sein. In dieser Studie untersuchen wir die Möglichkeit, ob NLP eine äquivalente Leistung wie orthopädisch-unfallchirurgische Doktoranden bei der Durchführung eines Systematic Review im klinischen Alltag erreichen kann.“

Methodik: Alle in Anführungszeichen gesetzten Textstellen wurden durch ChatGPT (Jan 30 Version, OpenAI, USA) mit Vorgabe der DKOU-Richtlinien erstellt. ChatGPT wurde angeleitet, ein Systematic Review mit Literatureinschluss bis 02/2023 entsprechend der PRISMA-Guidelines durchzuführen. Die Ergebnisse wurden mit zwei humanen Reviewern (NS und DB) verglichen.

„Die NLP-Anwendung erstellte einen MeSH-Term, um eine Literatursuche in der Pubmed-Datenbank durchzuführen. Die NLP-Anwendung legte Ein- und Ausschlusskriterien fest und führte ein Abstractscreening durch. Orthopäden und Unfallchirurgen (NS und DB) führten unter den gleichen Bedingungen ebenfalls ein Abstractscreening durch. Die Interrater-Reliabilität von NS und DB wurde mittels Kappa-Statistik analysiert. Sensitivität und Spezifität mit 95% Konfidenzintervall wurden berechnet, um die Fähigkeit der NLP-Anwendung zu beurteilen, Studien korrekt in das Systematic Review einzuschließen. Die NLP-Anwendung führte eine Inhaltanalyse der ausgewählten Volltexte durch und stellte die Informationen tabellarisch dar. Diese wurden von NS und DB überprüft. Die statistische Analyse erfolgte mit SPSS (Version 22.0, IBM, USA).“

Ergebnisse und Schlussfolgerung: „Die NLP-Anwendung erstellte selbstständig den MeSH-Term, die Ein- und Ausschlusskriterien sowie die Items für die Volltextanalyse, wie in Tabelle 1 dargestellt. Die statistischen Methoden wurden von der NLP-Anwendung vorgeschlagen und von den Autoren überarbeitet. 155 Artikel wurden identifiziert, wobei 108 Abstracts von der NLP-Anwendung und 41 Abstracts von den Autoren ausgewählt wurden.“ Die Sensitivität von ChatGPT lag bei 100% und die Spezifität bei 41,2%. Bereits das Sprachmodell GPT 3.5 ermöglich daher eine Effizienzsteigerung bei der Textanalyse eines Systematic Reviews.