gms | German Medical Science

Hintergrund/Fragestellung: Vor dem Hintergrund der stetig wachsenden Zahl an jährlich veröffentlichten systematischen Reviews (SRs) wird es immer zeitaufwändiger, sich einen Überblick über die verfügbare Evidenz zu verschaffen. Durch die stark schwankende Qualität der SRs ist es nötig, deren methodische Qualität zu beurteilen, um die beste Evidenzquelle zu identifizieren. AMSTAR 2 ist ein etabliertes Instrument zur Bewertung der methodischen Qualität von SRs [1]. In einer Vorstudie haben wir zwei Fast-and-Frugal-Entscheidungsbäume (FFT) [2] entwickelt, um die Qualitätsbewertung von SRs zu verkürzen [3]. Der „Screening FFT“ soll dabei SRs mit besonders niedriger Qualität identifizieren (vs. niedrige, moderate und hohe Qualität), während der „short appraisal FFT“ eine schnelle Qualitätsbewertung (hohe vs. niedrige Qualität) ermöglichen soll. Beide FFTs bestehen aus drei Items des AMSTAR 2 (im Vergleich zu 16 Items des kompletten AMSTAR 2). Das Ziel der vorliegenden Studie ist es zu untersuchen, wie valide und schnell die beiden FFTs sind.

Methoden: Als Goldstandard wurde die komplette Bewertung des AMSTAR 2 festgelegt. Es wurden 102 AMSTAR 2-Bewertungen aus publizierten Umbrella-Reviews extrahiert, wobei darauf geachtet wurde, dass die Qualität der AMSTAR 2-Bewertungen ausgeglichen war. Jeder FFT („Screening FFT“ und „short appraisal FFT“) wurde durch eine Person an allen 102 SRs bewertet und dabei die benötigte Zeit erfasst. Mittels Vierfeldertafeln wurden die Testgütekriterien Sensitivität und Spezifität sowie als Maß der Konkordanz Cohen’s Kappa für die Übereinstimmung zwischen den Bewertungsergebnissen der FFTs und von AMSTAR 2 berechnet.

Ergebnisse: Für den „short appraisal FFT“ ergaben sich eine Sensitivität von 61% (hohe Qualität richtig erkannt), eine Spezifität von 84% (niedrige Qualität richtig erkannt) und ein Kappa-Wert von 0,45, der auf eine moderate Übereinstimmung hinweist. Die Anwendung dieses FFTs dauerte im Median 1 Minute und 12 Sekunden und war damit deutlich kürzer als die Anwendung des kompletten AMSTAR 2. Die Ergebnisse des „Screening FFT“ werden beim Kongress präsentiert.

Schlussfolgerung: Der „short appraisal FFT“ könnte aufgrund der kurzen Anwendungsdauer und der relativ hohen Spezifität ein zeiteffizientes Instrument insbesondere zur Identifikation von SRs mit niedriger Qualität darstellen. SRs mit hoher Qualität werden aufgrund der geringeren Sensitivität nicht gleichermaßen zuverlässig erkannt. Die Ergebnisse beider FFTs werden hinsichtlich einer möglichen Anwendung beim Kongress diskutiert.

Interessenkonflikte: Es liegen bei den Autoren keine Interessenkonflikte vor.