gms | German Medical Science

Hintergrund: Systematische Reviews und Scoping Reviews bieten einen wesentlichen Vorteil für die Forschung aufgrund der Synthese von Evidenz und müssen daher auf einer guten Studienlage aufbauen. Die in die Reviews einbezogenen Studien müssen durch eine geeignete Suchstrategie und ein sinnvolles Abstract-Screening identifiziert werden. Je nach Forschungsgebiet und -thema kann der Aufwand für das Screening enorm sein. Tools wie ASReview, Rayyan oder Covidence versprechen, den Screeningprozess möglichst zielgerichtet und systematisch zu unterstützen. Die Frage ist, welches Tool bei welchen Prozessschritten unterstützt und wie verschiedene Tools den Screeningprozess vereinfachen.

Zielsetzung: Ziel ist es, sowohl den praktischen Einsatz in Form von beispielsweise Kommentierungsfunktionen und der Koordination von mehreren Reviewern als auch die Vorschläge von passenden Abstracts und die Sortierung nach Relevanz im Screeningprozess zwischen den Tools ASReview, Rayyan und Covidence zu untersuchen.

Methode: Für die Untersuchung wurde anhand einer Beispielfragestellung ein Testdatensatz bestehend aus 80 unpassenden Abstracts, 10 passenden Abstracts und 10 Duplikaten erstellt. Dieser Datensatz wurde dann jeweils 10 Mal in Covidence, ASReview und Rayyan gescreent, um Unterschiede und Gemeinsamkeiten in verschiedenen Durchläufen pro Tool zu testen.

Ergebnisse: Hinsichtlich der Vorsortierung in Bezug auf die Relevanz der Abstracts erweisen sich ASReview und Covidence als wichtige Werkzeuge zum Screening von Datensätzen. Insbesondere ASReview überzeugt dadurch, dass bereits bei ca. 50 bis 60 Prozent der Abstracts alle relevanten Abstracts angezeigt wurden. Hinsichtlich der Fehlertoleranz zeigt sich, dass ASReview auch bei Fehlentscheidungen nur unwesentlich von der Qualität der Vorauswahl geeigneter Abstracts abweicht. Hinsichtlich der Funktionen der Softwaretools stechen Rayyan und Covidence hervor, da hier deutlich mehr zusätzliche Dokumentationsmöglichkeiten in den Screeningprozess integriert werden können als bei ASReview.

Implikation für Forschung und/oder (Versorgungs-)Praxis: Mithilfe von Softwaretools kann der Screeningprozess von Abstracts bei Reviews unterstützt werden. Das kostenlose Open-Source-Programm ASReview liefert vielversprechende Ergebnisse im Screeningprozess, auch wenn die Funktionalität eingeschränkt ist. Vornehmlich bei sehr großen Datensätzen könnte hier ein erhebliches Potenzial darin liegen, dass nach einer bestimmten Anzahl von Abstracts das Screening abgeschlossen werden kann, da mit hoher Wahrscheinlichkeit alle relevanten Abstracts bereits gefunden wurden. Weitere Untersuchungen sollten Richtlinien erarbeiten, ab wann in ASReview ein Beenden des Screenings vertretbar ist.