gms | German Medical Science

Hintergrund/Fragestellung: Elektronische Applikationshilfen stellen in Aussicht, Forschende bei der Anfertigung von systematischen Übersichtsarbeiten zu unterstützen [1]. Die Anwendung des RobotReviewers ermöglicht eine automatisierte Einschätzung des Verzerrungsrisikos von RCTs mittels maschineller Textanalyse [2]. Eine kürzlich publizierte retrospektive Untersuchung zum RobotReviewer zeigte eine Sensitivität zwischen 0.20 und 0.76 und eine Spezifität zwischen 0.61 und 0.90 für die verschiedenen Domänen des Verzerrungsrisikos. Dabei wurde überprüft, wie zuverlässig die Anwendung des RobotReviewers das Verzerrungsrisiko von RCTs aus Übersichtsarbeiten analysiert, welches vorab durch Personen eingeschätzt wurde. Unklar ist, ob das Verzerrungsrisiko von pflegewissenschaftlich relevanten RCTs mithilfe der Anwendung des RobotReviewers adäquat eingeschätzt werden kann. Das Ziel dieser Studie war daher die Bewertung der diagnostischen Güte bei pflegewissenschaftlich relevanten RCTs.

Methoden: In die Diagnosestudie werden RCTs aus Cochrane Reviews eingeschlossen, die im Titelfeld den Suchbegriff nurs* enthalten. Der Indextest ist die Einschätzung des Verzerrungsrisikos mittels der Anwendung des RobotReviewers. Die Domänen Randomisierung, verdeckte Zuteilung sowie Verblindung werden untersucht. Der Referenztest stellt die Einschätzung des Verzerrungsrisikos in den eingeschlossenen Cochrane Reviews dar. Analysiert werden die Sensitivität, Spezifität, prädiktiven Werte und Genauigkeit. Das Publikationsjahr sowie der Impact Factor werden in Subgruppen analysiert. Die Datenextraktion erfolgt durch zwei Forschende unabhängig voneinander.

Ergebnisse: In 26 pflegewissenschaftlich relevanten Cochrane Reviews sind 214 RCTs enthalten. Nach Ausschluss von Duplikaten, nicht elektronisch oder in englischer Sprache vorliegenden Studien werden 189 RCTs in die Analyse einbezogen. Die weiteren Ergebnisse liegen Ende 2018 vor. Diese ergänzen vorhandene Untersuchungen zur diagnostischen Güte der Anwendung des RobotReviewers.

Schlussfolgerungen: Die Ergebnisse geben Aufschluss über den Nutzen dieser Anwendung für die Einschätzung des Verzerrungsrisikos von RCTs aus dem Bereich der Pflegewissenschaft.

Interessenkonflikte: Die Autorinnen und Autoren erklären, dass kein Interessenskonflikt besteht.