gms | German Medical Science

Hintergrund und Fragestellung: Bei Instrumenten zur Erfassung der methodischen Qualität sollte die Vermischung von Items zur Berichtsqualität und zur internen Validität vermieden werden. Ein häufig verwendetes Instrument zur Beurteilung der methodischen Qualität von Systematischen Reviews (SR) ist AMSTAR. In der Vergangenheit ist kritisiert worden, dass AMSTAR ein zu hohes Gewicht auf die Berichtsqualität legt. Ziel der Untersuchung war es, die Berichtsqualität von SR der Arbeitsmedizin zu untersuchen sowie den Zusammenhang zwischen der Berichtsqualität (gemessen mit PRISMA) und der methodischen Qualität (gemessen mit AMSTAR bzw. revised (r-)AMSTAR, einer modifizierten Version von AMSTAR) zu ermitteln.

Methoden: Es wurden 8 Cochrane-Reviews und 8 Non-Cochrane-Reviews (publiziert ab 2010) zu Themen der Arbeitsmedizin zufällig aus MEDLINE und CDSR ausgewählt. Die eingeschlossenen Reviews wurden von fünf Reviewern unabhängig voneinander mit AMSTAR, r-AMSTAR und PRISMA bewertet und die Bewertungen anschließend konsentiert. Die Antwortkategorien wurden dichotomisiert („yes“/„not applicable“ vs. „no“/„can’t answer“) und der Rangkorrelationskoeffizient nach Spearman (ρ) berechnet.

Ergebnisse: Die Berichtsqualität der SR war sehr hoch, Cochrane-Reviews erfüllten durchschnittlich 25,9 von 27 Items [CI 24,7; 27,0], bei den Non-Cochrane-Reviews waren es 22,3 [CI 19,9; 24,6]. Die Ergebnisse der Berichtsqualität und der methodischen Qualität korrelierten insgesamt gut miteinander (AMSTAR vs. PRISMA ρ=0,74 bzw. r-AMSTAR vs. PRISMA ρ=0,75). In einer getrennten Analyse nach Art der Reviews konnte dieser Zusammenhang bei Non-Cochrane-Reviews bestätigt werden (ρ=0,66 bzw. ρ=0,63), nicht jedoch bei den Cochrane-Reviews (ρ=0,18 bzw. ρ=0,34).

Schlussfolgerung: Die Berichtsqualität der SR aus dem Bereich Arbeitsmedizin ist insgesamt sehr hoch, wobei Cochrane-Reviews den Non-Cochrane-Reviews weiterhin überlegen sind. Die starke Korrelation zwischen methodischer- und Berichtsqualität kann ein Hinweis darauf sein, dass AMSTAR und r-AMSTAR Aspekte der Berichtsqualität (zu) stark berücksichtigen. Andere Studien weisen für den Zusammenhang mit AMSTAR gar noch höhere Korrelationen auf. Da die Berichtsqualität von Cochrane-Reviews sehr hoch ist, kann der geringe Zusammenhang mit der methodischen Qualität darauf hindeuten, dass die Unterschiede in der Qualitätsbewertung nicht durch die Berichtsqualität bedingt sind. Eine Analyse an einem größeren Sample wäre nötig, um dem weiter nachzugehen.