gms | German Medical Science

Hintergrund und Fragestellung: Systematische Reviews (SR) sind ein elementarer Bestandteil der evidenzbasierten Medizin. Im Laufe der Zeit wurden Qualitätsstandards formuliert und eingefordert. Zur Bewertung der methodischen Qualität liegen mit dem „Overview Quality Assessment Questionnaire“ (OQAQ) und dem darauf aufbauendem „assessment of multiple systematic reviews“ (AMSTAR) zwei etablierte Instrumente vor. Trotzdem bleibt unklar, ob die Wahl des Bewertungsinstruments einen Einfluss auf die Beurteilung der methodischen Qualität hat. Dieser Frage soll im Rahmen eines SR von SR (Overview) nachgegangen werden.

Material/Methoden: Auf Basis für die Analyse wurde ein vom Autorenteam erstellter Overview zum Zusammenhang zwischen der Leistungsmenge eines Krankenhauses und des Patientenoutcomes in der Chirurgie verwendet. Die 32 eingeschlossenen SR wurden jeweils unabhängig von zwei Gutachtern mit vier Instrumenten bewertet: OQAQ, AMSTAR, Rapid Appraisal Protocol (RAP) vom Joanna Briggs Institut sowie einem neuen Tool des National Center for the Dissemination of Rehabilitation Research (NCDDR) mit 67 Items. Die beiden letztgenannten Instrumente sind ausgewählt worden, da sie wesentlich ausführlicher als die beiden etablierten Instrumente sind, wodurch eine detailliertere Bewertung vermutet werden konnte. Für alle Instrumente lagen Ausfüllhilfen vor.

Ergebnisse: Die Übereinstimmung zwischen den Reviewern war moderat. Unstimmigkeiten konzentrierten sich hauptsächlich auf bestimmte Items unabhängig von dem Instrument. Alle vier Evidenzsynthesen kamen insgesamt betrachtet zu ähnlichen Ergebnissen. Die beiden umfangreicheren Bewertungsinstrumente RAP und NCDDR begünstigen eine detailliertere Bewertung einzelner Kriterien, die ansonsten nur unzureichend erfasst werden. Gleichzeitig sind jedoch bei vielen Items Boden- und Deckeneffekte zu beobachten.

Schlussfolgerung: Das Ergebnis der Evidenzsynthese war nicht maßgeblich von der Wahl des Bewertungsinstruments abhängig. Es ist unklar in wie weit unser Ergebnis von der Thematik des Overviews abhängt. Die 32 SR beruhten fast ausschließlich auf Beobachtungsstudien. Der Einsatz der Instrumente sollte daher auch in anderen Bereichen untersucht werden. Die Ergebnisse der einzelnen Items und Domänen sollten genauer analysiert werden, um aufzuzeigen, welche Kriterien in einzelnen Instrumenten sinnvoll ergänzt werden könnten, um die psychometrischen Eigenschaften zu steigern.