Artikel
Automatisierte Einschätzung des Risikos für systematische Verzerrungen in randomisiert kontrollierten Studien: eine diagnostische Studie zur Anwendung des RobotReviewers
Suche in Medline nach
Autoren
-
Julian Hirt
- OST (ehemals FHS St. Gallen), Departement Gesundheit, Institut für Angewandte Pflegewissenschaft, Schweiz; Martin-Luther-Universität Halle-Wittenberg, Medizinische Fakultät, Institut für Gesundheits- und Pflegewissenschaft, Internationale Graduiertenakademie, Deutschland
-
Jasmin Meichlinger
- OST (ehemals FHS St. Gallen), Departement Gesundheit, Institut für Angewandte Pflegewissenschaft, Schweiz
-
Petra Schumacher
- UMIT – Universität für Gesundheitswissenschaften, Medizinische Informatik und Technik, Department für Pflegewissenschaft und Gerontologie, Institut für Pflegewissenschaft, Österreich
-
Gerhard Müller
- UMIT – Universität für Gesundheitswissenschaften, Medizinische Informatik und Technik, Department für Pflegewissenschaft und Gerontologie, Institut für Pflegewissenschaft, Österreich
| Veröffentlicht: | 23. Februar 2021 |
|---|
Gliederung
Text
Hintergrund/Fragestellung: Das internetbasierte Tool RobotReviewer stellt in Aussicht, Forschende bei der Einschätzung des Verzerrungsrisikos von RCTs mittels maschineller Textanalyse zu unterstützen. Eine Untersuchung zu seiner Güte im Vergleich zur Einschätzung durch Menschen anhand von Studien aus mehreren Gesundheitsbereichen ergab eine Sensitivität zwischen .20 und .76 und eine Spezifität zwischen .61 und .90 des RobotReviewers für die verschiedenen Domänen des Verzerrungsrisikos. Unklar ist, ob das Verzerrungsrisiko von pflegewissenschaftlich relevanten RCTs mithilfe des RobotReviewers adäquat eingeschätzt werden kann. Das Ziel dieser Studie war daher die Bewertung der diagnostischen Güte bei pflegewissenschaftlich relevanten RCTs aus Cochrane Reviews.
Methoden: In unserer diagnostischen Studie haben wir RCTs aus Cochrane Reviews eingeschlossen, die im Titelfeld den Suchbegriff nurs* enthielten. Der RobotReviewer wurde als Indextest eingesetzt. Untersucht wurden die Domänen Randomisierung, Zuteilung und Verblindung. Als Referenztest wurde die Einschätzung des Verzerrungsrisikos in den eingeschlossenen Cochrane Reviews herangezogen. Sensitivität, Spezifität, prädiktive Werte und Cohen’s Kappa wurden berechnet. Die Datenextraktion erfolgte durch zwei Forschende unabhängig voneinander.
Ergebnisse: Der Auswahlprozess ergab 190 RCTs aus den Jahren 1958 bis 2016, die in 23 Cochrane Reviews enthalten waren. Die Sensitivität reichte von .44 bis .88 und die Spezifität von .48 bis .95. Der positive prädiktive Wert war am höchsten für verdeckte Zuteilung (.79) und am niedrigsten für die Verblindung von Datenerhebenden (.25). Cohens Kappa war mäßig für Randomisierung (.52), verdeckte Zuteilung (.60) und für die Verblindung von Studienpersonal sowie Patientinnen und Patienten (.43). Bei der Verblindung der Datenerhebenden gab es nur eine geringe Übereinstimmung (.04).
Schlussfolgerung: Die Ergebnisse weisen auf eine mäßige Übereinstimmung zwischen der Einschätzung des RobotReviewers und den menschlichen Gutachtenden aus den Cochrane Reviews in Bezug auf Randomisierung und verdeckte Zuteilung sowie eine angemessene Sensitivität zur Erkennung eines geringen Risikos eines Selektionsbias hin. Basierend auf unseren Ergebnissen kann der Einsatz des RobotReviewers für einige Verzerrungsdomänen unterstützend eingesetzt werden. Allerdings sollte die automatisierte Einschätzung aufgrund seiner Fehleranfälligkeit durch menschliche Gutachtende geprüft werden.
Interessenkonflikte: Die Autorinnen und Autoren erklären, dass kein Interessenskonflikt besteht.
