gms | German Medical Science

Zur Beurteilung des Behandlungseffekts in Meta-Analysen von klinischen Studien mit binären Endpunkten wird in der Regel entweder ein Modell mit festen oder eines mit zufälligen Effekten herangezogen, um die Ergebnisse der einzelnen Studien zusammen zu fassen [Ref. 1], [Ref. 2]. Dabei werden in einem zwei-stufigen Verfahren zuerst die Therapieeffekte (i.a. die Odds-Ratios) in den Einzelstudien mitsamt ihrer Varianz geschätzt. In einem zweiten Schritt wird der Gesamtschätzer für den Therapieeffekt als gewichtetes Mittel der Schätzer aus den Einzelstudien berechnet, wobei jede Studie mit ihrer inversen Varianz als Gewicht in den Gesamtschätzer eingeht. Im Modell mit festen Effekten wird angenommen, dass der Therapieeffekt in allen Studien identisch ist, das Modell mit zufälligen Effekten erlaubt, dass der Therapieeffekt über die Studien einer Normalverteilung folgt.

Die Schwächen dieser Ansätze sind bekannt, so werden z.B. bei der Herleitung der statistischen Verfahren die Gewichte der Einzelstudien und im Modell mit zufälligen Effekten auch die Varianz zwischen den Studien als bekannt angenommen, müssen in der Regel aber geschätzt werden. Auch gibt es Unklarheiten, wie im Falle von leeren Zellen in einzelnen Studien vorzugehen ist. Dementsprechend hat eine Vielzahl von Autoren Vorschläge zur Verbesserung dieser Standardverfahren gemacht [Ref. 3], [Ref. 4].

Eine bereits seit sehr langem bestehende teilweise Lösung dieses Problems ist die Durchführung des Mantel-Haenszel-Test [Ref. 5], der nicht dem oben beschriebenen zwei-stufigen Verfahren folgt und auch dann berechnet werden kann, wenn Studien mit leeren Zellen vorliegen. Allerdings besteht die Einschränkung, dass der Mantel-Haenszel-Test genau wie das Modell mit festen Effekten einen homogenen Therapieeffekt voraussetzt. Emerson [Ref. 6] empfiehlt in einem Übersichtsartikel, zumindest bei plausibler Annahme von homogenem Therapieeffekt, die Standardverfahren grundsätzlich nicht mehr zu verwenden und statt dessen den Mantel-Haenszel-Test zu berechnen. Die „Cochrane Collaboration", als Vereinigung, die die Weiterentwicklung der statistischen Methoden für Meta-Analysen wesentlich mit voran treibt, hat in ihrer Software „RevMan" diese Empfehlung bereits umgesetzt.

Relativ wenig Aufmerksamkeit wird in der Literatur auch der Tatsache geschenkt, dass daneben eine exakte Version des Mantel-Haenszel-Tests existiert, die neben den herkömmlichen Vorteilen des Mantel-Haenszel-Ansatzes sogar bei sehr kleinen Fallzahlen noch gültig ist. Die beiden gegenwärtigen Standardreferenzen für Meta-Analyse im medizinischen Bereich, die Bücher von Whitehead [Ref. 1] und Sutton [Ref. 2] verweisen diesbezüglich ohne weiteren Kommentar auf die Arbeit von Emerson [Ref. 6]. Das ist umso unverständlicher, da dieser Test dank einer Äquivalenzbeziehung zum logistischen Modell [Ref. 7] ohne große Umstände mit Standardsoftware (z.B. SAS PROC LOGISTIC) zu schätzen ist. Sogar ein MCMC-Verfahren kann per direktem Sampling in einem simplen SAS DATA STEP realisiert werden.

Nun kann nicht davon ausgegangen werden, dass die Verwendung von exakten Tests eine Lösung aller statistischen Probleme der Meta-Analyse sein kann, im Gegenteil, exakte Methoden sind per Definition notwendigerweise konservative Verfahren, die in jedem Fall das nominale Niveau einhalten, aber in der Regel dieses nicht ausschöpfen [Ref. 8], des weiteren stellen sie nach wie vor beträchtliche Anforderungen an die Rechenleistung. Letzteres ist wohl auch der Grund, warum exakte Verfahren für Meta-Analyse auch nie in großen Simulationsuntersuchungen auf ihre Tauglichkeit überprüft worden sind.

Um die Güte des exakten Mantel-Haenszel-Tests im Vergleich zum asymptotischen Mantel-Haenszel-Test und zu den Standardverfahren zu prüfen, haben wir eine Simulationsstudie durchgeführt. Dazu wurden pro Parameterkonstellation 1000 Meta-Analysen sowohl unter Nullhypothese (kein Behandlungseffekt) und Alternative als auch unter dem Modell mit festen bzw. zufälligen Effekten erzeugt. Weiterhin variiert wurde die Anzahl der Studien pro Meta-Analyse. Die Anzahl der Probanden pro Studie wurde mit 20 pro Gruppe eher klein gehalten, wobei die zu Verfügung stehende Rechenzeit hier der limitierende Faktor war. Das Simulationsprogramm war in SAS programmiert worden.

Die Ergebnisse sind zur Zeit noch vorläufig und werden bis zum Vortrag noch ausgebaut werden. Unter dem Modell mit festen Effekten sind die Mantel-Haenszel-Verfahren den Standardverfahren sowohl hinsichtlich Niveaueinhaltung als auch statistischer Power eindeutig überlegen, der asymptotische MH-Test schneidet dabei besser ab als der exakte. Unter dem Modell mit zufälligen Effekten, für das die MH-Verfahren eigentlich nicht gültig sind, kommt es erst bei beträchtlicher Heterogenität zu Niveauüberschreitungen unter der Nullhypothese. In diesem Fall halten aber auch die Standardverfahren das Niveau nicht mehr ein.

Die durchgeführten Simulationsuntersuchungen bestätigen im wesentlichen die Empfehlungen, die Emerson [Ref. 6] schon 1994 gegeben hat: Für die Meta-Analyse von Studien mit binären Endpunkten sollte, zumindest bei kleinen Fallzahlen in den Studien, das Mantel-Haenszel-Verfahren herangezogen werden, von der Verwendung der Standardmethoden ist eher abzuraten. Das asymptotische Verfahren, das Mantel und Haenszel bereits 1959 vorgeschlagen haben, schneidet dabei hinreichend zufrieden stellend ab, es ist i.a. nicht nötig, die exakte Version anzuwenden.

Die Einschränkungen der vorliegenden Untersuchung sind klar: Sie bezieht sich nur auf Meta-Analysen, in der das Odds-Ratio als Maß für den Therapieeffekt herangezogen wird, für relatives Risiko, Risikodifferenz oder „Number needed to treat" sind die Mantel-Haenszel-Verfahren nicht definiert. Des weiteren wird man auch an Situationen interessiert sein, in denen größere (mehr als 20 Probanden pro Gruppe) Studien in die Meta-Analysen aufgenommen werden.