Article
Unterstützung systematischer Reviews durch Machine Learning – ein Scoping Review mit Fokus auf dem Einsatz von Large Language Models
Search Medline for
Authors
-
Judith-Lisa Lieberum
- Albert-Ludwigs-Universität Freiburg, Klinik für Augenheilkunde, Universitätsklinikum Freiburg, Medizinische Fakultät, Freiburg, Deutschland
-
Markus Töws
- Albert-Ludwigs-Universität Freiburg, Institut für Evidenz in der Medizin, Universitätsklinikum Freiburg, Medizinische Fakultät, Freiburg, Deutschland
-
Maria-Inti Metzendorf
- Heinrich-Heine-Universität Düsseldorf, Institut für Allgemeinmedizin, Medizinische Fakultät, Düsseldorf, Deutschland
-
Felix Heilmeyer
- Albert-Ludwigs-Universität Freiburg, Institut für Digitalisierung in der Medizin, Universitätsklinikum Freiburg, Medizinische Fakultät, Freiburg, Deutschland
-
Waldemar Siemens
- Albert-Ludwigs-Universität Freiburg, Institut für Evidenz in der Medizin, Universitätsklinikum Freiburg, Medizinische Fakultät, Freiburg, Deutschland
-
Christian Haverkamp
- Albert-Ludwigs-Universität Freiburg, Institut für Digitalisierung in der Medizin, Universitätsklinikum Freiburg, Medizinische Fakultät, Freiburg, Deutschland
-
Daniel Böhringer
- Albert-Ludwigs-Universität Freiburg, Klinik für Augenheilkunde, Universitätsklinikum Freiburg, Medizinische Fakultät, Freiburg, Deutschland
-
Jörg J. Meerpohl
- Albert-Ludwigs-Universität Freiburg, Institut für Evidenz in der Medizin, Universitätsklinikum Freiburg, Medizinische Fakultät, Freiburg, Deutschland; Cochrane Deutschland Stiftung, Cochrane Deutschland, Deutschland
-
Angelika Eisele-Metzger
- Albert-Ludwigs-Universität Freiburg, Institut für Evidenz in der Medizin, Universitätsklinikum Freiburg, Medizinische Fakultät, Freiburg, Deutschland; Cochrane Deutschland Stiftung, Cochrane Deutschland, Deutschland
| Published: | March 27, 2025 |
|---|
Outline
Text
Hintergrund/Fragestellung: Die Erstellung systematischer Reviews (SRs) ist aufwändig und Bestrebungen, die damit verbundenen Arbeitsschritte durch Künstliche Intelligenz zu unterstützen, gewinnen zunehmend an Bedeutung. Während bereits seit längerem Machine-Learning(ML)-Ansätze erprobt und teilweise bereits praktisch eingesetzt werden, werden derzeit auch Large Language Models (LLMs) wie z.B. GPT oder Claude getestet. Ziel dieses Scoping Reviews war es, die aktuelle Forschungslandschaft in Bezug auf den Einsatz von ML und LLMs zur Unterstützung von SRs darzustellen. Der inhaltliche Fokus lag auf der Anwendung von LLMs.
Methoden: Wir führten eine systematische Suche in MEDLINE, Web of Science, IEEEXplore, ACM Digital Library, Europe PMC (Preprints), Google Scholar sowie eine zusätzliche Handsuche durch. Wir schlossen wissenschaftliche Artikel auf Englisch oder Deutsch ein, die ab April 2021 publiziert wurden, und knüpften damit inhaltlich an ein Mapping Review von Cierco Jimenez et al. [1] mit verwandter Fragestellung an. Die Studienselektion (auf Titel/Abstract- und Volltext-Ebene) erfolgte unabhängig durch zwei Personen, die Datenextraktion wurde nach erfolgreicher Pilotierung von einer Person durchgeführt und einer weiteren überprüft.
Ergebnisse: Unsere Suche erzielte 11.388 Treffer, von denen wir nach Deduplizierung 8.081 auf ihre Einschlussfähigkeit überprüften. Wir schlossen insgesamt 190 Artikel ein, davon waren 42 Übersichtsarbeiten, Befragungen oder Leitfäden, die eine Vielzahl an Methoden umfassten und von uns für eine weitere Handsuche mit Citation Tracking genutzt wurden. Siebenunddreißig Artikel befassten sich mit der Anwendung von LLMs (am häufigsten wurden Versionen von GPT genutzt) und 111 Artikel berichteten über die Anwendung anderer ML Ansätze. LLMs wurden am häufigsten zur Unterstützung der Literatursuche eingesetzt (n=15), gefolgt von der Studienselektion (Screening-Prozess; n=14), der Datenextraktion (n=11) und der Bewertung des Risikos für Bias (n=5). Für den Einsatz von LLMs berichteten viele Studienautor:innen starke Limitationen, gleichzeitig betrachteten viele ihre Ergebnisse als vielversprechend.
Schlussfolgerung: Derzeit wird sowohl zum Einsatz von LLMs als auch anderen ML-Techniken für die Unterstützung von SRs viel geforscht. Viele Ansätze, LLMs in diesem Bereich zu nutzen, befinden sich jedoch noch in der Test- und Validierungsphase und sind noch nicht bereit für den Einsatz in der Praxis.
Interessenkonflikte: Es bestehen keine Interessenskonflikte
