gms | German Medical Science

Brücken bauen – von der Evidenz zum Patientenwohl: 19. Jahrestagung des Deutschen Netzwerks Evidenzbasierte Medizin e. V.

Deutsches Netzwerk Evidenzbasierte Medizin e. V.

08.03. - 10.03.2018, Graz

Qualitätsbewertung systematischer Reviews: Interrater-Reliabilität des neuen AMSTAR 2 im Vergleich zu AMSTAR und ROBIS

Meeting Abstract

  • author presenting/speaker Robert Lorenz - Gemeinsamer Bundesausschuss, Abteilung Fachberatung Medizin
  • Katja Matthias - Gemeinsamer Bundesausschuss, Abteilung Fachberatung Medizin
  • Dawid Pieper - Universität Witten/Herdecke
  • Uta Wegewitz - Bundesanstalt für Arbeitsschutz und Arbeitsmedizin
  • Johannes Morche - Gemeinsamer Bundesausschuss, Abteilung Fachberatung Medizin
  • Marc Nocon - Gemeinsamer Bundesausschuss, Abteilung Fachberatung Medizin
  • Olesja Rissling - Gemeinsamer Bundesausschuss, Abteilung Fachberatung Medizin
  • Jacqueline Schirm - Gemeinsamer Bundesausschuss, Abteilung Fachberatung Medizin
  • Anja Jacobs - GBA

Brücken bauen – von der Evidenz zum Patientenwohl. 19. Jahrestagung des Deutschen Netzwerks Evidenzbasierte Medizin. Graz, Österreich, 08.-10.03.2018. Düsseldorf: German Medical Science GMS Publishing House; 2018. Doc18ebmV-03-2

doi: 10.3205/18ebm016, urn:nbn:de:0183-18ebm0163

Veröffentlicht: 6. März 2018

© 2018 Lorenz et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Gliederung

Text

Hintergrund: Es gibt diverse Bewertungsinstrumente zur Qualitätsbewertung systematischer Reviews (SR), jedoch bislang keinen Konsens über ein zu verwendendes Instrument. AMSTAR hat sich zwar als eines der meist verwendeten Instrumente etabliert, jedoch wurde wiederholt kritisiert, dass der Fokus auf der Ergebnisdarstellung und weniger auf der methodischen Qualität liegt oder AMSTAR ausschließlich für die Bewertung von SR von RCTs entwickelt wurde. Im September 2017 veröffentlichten Shea et al. die überarbeitete Version AMSTAR 2, welches für SR von RCTs und nicht-RCTs anwendbar ist. Erste Informationen zur Interrater-Reliabilität (IRR) basierend auf jeweils zwei Bewertern liegen vor.

Im vorliegenden Forschungsprojekt sollen die Gütekriterien von AMSTAR 2 weiter untersucht und die IRR und Praktikabilität mit AMSTAR und ROBIS verglichen werden. Erste Ergebnisse zur IRR sollen auf dem Kongress präsentiert werden.

Methoden: Die IRR von AMSTAR 2 wird anhand zweier Stichproben untersucht, die jeweils 30 SR aus dem Themenbereich der pharmakologischen und psychotherapeutischen Behandlung der Major Depression bei Erwachsenen umfassen. SR von RCTs und SR von nicht-RCTs werden in die Analyse eingeschlossen. Zur Identifikation der 60 SR wurde eine systematische Literaturrecherche in The Cochrane Library, MEDLINE und EMBASE durchgeführt. Es wurden die Treffer im zweistufigen Screening auf Einschluss überprüft und anschließend aus dem SR-Pool für jede der beiden Stichproben 30 Publikationen zufällig ausgewählt.

Nach einer Kalibrierungsphase wird jeder SR mit AMSTAR 2 bewertet, wobei die beiden Stichproben auf zwei Bewertergruppen bestehend aus jeweils vier Bewertern aufgeteilt werden. Neben der AMSTAR2-Bewertung erfolgt für die 30 SR der ersten Stichprobe zusätzlich eine Bewertung mit AMSTAR und für die SR der zweiten Stichprobe eine Bewertung mit ROBIS. Zur Ermittlung der IRR-Koeffizienten werden Fleiss' kappa κ und Gwets AC1 berechnet.

Ergebnisse/Schlussfolgerungen: Die Literaturrecherche erzielte 1524 Treffer, 72 SR wurden als relevant identifiziert und daraus 2 Stichproben à 30 SR gezogen. Die SR-Bewertung läuft derzeit. Als Teilergebnisse des Projektes werden basierend auf vier Bewertern und einer Stichprobe von zweimal 15 SR die IRR von AMSTAR 2 auf der Konferenz präsentiert, mit AMSTAR und ROBIS verglichen und diskutiert.


Literatur

1.
Shea BJ, et al. AMSTAR 2: a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both. BMJ. 2017 Sep 21;358:j4008.