gms | German Medical Science

EbM zwischen Best Practice und inflationärem Gebrauch
16. Jahrestagung des Deutschen Netzwerks Evidenzbasierte Medizin

Deutsches Netzwerk Evidenzbasierte Medizin e. V.

13.03. - 14.03.2015, Berlin

Überschätzen „Risk of Bias“-Grafiken in Cochrane Reviews das Bias-Risiko?

Meeting Abstract

Search Medline for

EbM zwischen Best Practice und inflationärem Gebrauch. 16. Jahrestagung des Deutschen Netzwerks Evidenzbasierte Medizin. Berlin, 13.-14.03.2015. Düsseldorf: German Medical Science GMS Publishing House; 2015. Doc15ebmC1c

doi: 10.3205/15ebm008, urn:nbn:de:0183-15ebm0083

Published: March 3, 2015

© 2015 von Elm et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License. You are free: to Share - to copy, distribute and transmit the work, provided the original author and source are credited. See license information at http://creativecommons.org/licenses/by-nc-nd/3.0/.


Outline

Text

Hintergrund und Fragestellung: Cochrane Reviews (CRs) beinhalten meist zwei Darstellungen des Bias-Risikos („risk of bias“, RoB) eingeschlossener Studien: ein horizontales Balkendiagramm aller Studien für jedes Bias-Kriterium (RoB Graph) und eine tabellarische Darstellung pro Kriterium und Studie (RoB Summary). Beide Darstellungen verwenden einen Dreifarben-Code um die Studien gemäss geringem, unklarem oder hohem RoB einzuteilen. Allerdings erfassen sie nicht den unterschiedlichen Informationsgehalt, den die Studien liefern (z.B. Studiengrösse, Zahl der Ereignisse oder Varianz) bzw. berücksichtigen nicht, dass in Metaanalysen (MA) oft nur eine Untergruppe von Studien Daten für einen Endpunkt beiträgt. Wir untersuchten, wie das Gewichten (z.B. nach Studiengrösse oder inverser Varianz in der MA) und das Darstellen pro Endpunkt RoB-Graphen verändert.

Methoden: Ein MS Excel Tool ermöglicht uns bei der Erstellung von RoB-Graphen Gewichtungsfaktoren zu verwenden. In publizierten CRs können wir zeigen, wie sich 2 alternative Ansätze auf den RoB-Graph auswirken: 1) ein RoB-Graph, in dem die Länge der farbigen horizontalen Balken nach der relativen Studiengrösse (% aller Teilnehmer) gewichtet ist und 2) verschiedene RoB-Graphen je nach Endpunkten, in denen entsprechend der inversen Varianz in der MA gewichtet ist.

Ergebnisse: Zur Illustrierung verwenden wir den CR von New et al. (CD004214, 2011), der 4 Studien mit 14, 182, 60 und 94 Teilnehmern (total 350) einschliesst. In der Präsentation wird der Original-RoB-Graph den von uns erstellten Graphen gegenübergestellt mit einer Gewichtung nach 1) der relativen Studiengrösse von 4%, 52%, 17% und 27% und 2) der inversen Varianz (92,8% und 7,2%) aus der MA von 2 Studien für den primären Endpunkt. Weitere CRs werden zur Illustration verwendet.

Schlussfolgerung: Die modifizierten RoB-Graphen vermitteln ein anderes Bild als die ursprünglichen. In einigen Fällen ergibt die Standarddarstellung ein zu pessimistisches Bild, z.B. wenn kleinere Studien mit höherem RoB das gleiche Gewicht bekommen wie grössere mit geringerem RoB. Durch einen Gewichtungsfaktor kann das verhindert werden. Das Erstellen von separaten RoB-Graphen für einzelne Review-Endpunkte (z.B. aus „Summary of Findings“-Tabellen) ermöglicht es, RoB-Graphen auf der Basis der inversen Varianz zu gewichten (analog zum Forest plot). Dies erleichtert die Interpretation von RoB-Bewertungen, z.B. in Summary of Findings (SoF)-Tabellen.