gms | German Medical Science

49. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie (gmds)
19. Jahrestagung der Schweizerischen Gesellschaft für Medizinische Informatik (SGMI)
Jahrestagung 2004 des Arbeitskreises Medizinische Informatik (ÖAKMI)

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie
Schweizerische Gesellschaft für Medizinische Informatik (SGMI)

26. bis 30.09.2004, Innsbruck/Tirol

Ein exakter Test für die Meta-Analyse von Studien mit binären Endpunkten

Meeting Abstract (gmds2004)

Suche in Medline nach

  • corresponding author presenting/speaker Oliver Kuß - Institut für Medizinische Epidemiologie, Biometrie und Informatik, Martin-Luther-Universität Halle-Wittenberg, Halle, Deutschland
  • Cora Gromann - Institut für Medizinische Epidemiologie, Biometrie und Informatik, Martin-Luther-Universität Halle-Wittenberg, Halle, Deutschland

Kooperative Versorgung - Vernetzte Forschung - Ubiquitäre Information. 49. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie (gmds), 19. Jahrestagung der Schweizerischen Gesellschaft für Medizinische Informatik (SGMI) und Jahrestagung 2004 des Arbeitskreises Medizinische Informatik (ÖAKMI) der Österreichischen Computer Gesellschaft (OCG) und der Österreichischen Gesellschaft für Biomedizinische Technik (ÖGBMT). Innsbruck, 26.-30.09.2004. Düsseldorf, Köln: German Medical Science; 2004. Doc04gmds105

Die elektronische Version dieses Artikels ist vollständig und ist verfügbar unter: http://www.egms.de/de/meetings/gmds2004/04gmds105.shtml

Veröffentlicht: 14. September 2004

© 2004 Kuß et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielf&aauml;ltigt, verbreitet und &oauml;ffentlich zug&aauml;nglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Gliederung

Text

Einleitung

Zur Beurteilung des Behandlungseffekts in Meta-Analysen von klinischen Studien mit binären Endpunkten wird in der Regel entweder ein Modell mit festen oder eines mit zufälligen Effekten herangezogen, um die Ergebnisse der einzelnen Studien zusammen zu fassen [1], [2]. Dabei werden in einem zwei-stufigen Verfahren zuerst die Therapieeffekte (i.a. die Odds-Ratios) in den Einzelstudien mitsamt ihrer Varianz geschätzt. In einem zweiten Schritt wird der Gesamtschätzer für den Therapieeffekt als gewichtetes Mittel der Schätzer aus den Einzelstudien berechnet, wobei jede Studie mit ihrer inversen Varianz als Gewicht in den Gesamtschätzer eingeht. Im Modell mit festen Effekten wird angenommen, dass der Therapieeffekt in allen Studien identisch ist, das Modell mit zufälligen Effekten erlaubt, dass der Therapieeffekt über die Studien einer Normalverteilung folgt.

Die Schwächen dieser Ansätze sind bekannt, so werden z.B. bei der Herleitung der statistischen Verfahren die Gewichte der Einzelstudien und im Modell mit zufälligen Effekten auch die Varianz zwischen den Studien als bekannt angenommen, müssen in der Regel aber geschätzt werden. Auch gibt es Unklarheiten, wie im Falle von leeren Zellen in einzelnen Studien vorzugehen ist. Dementsprechend hat eine Vielzahl von Autoren Vorschläge zur Verbesserung dieser Standardverfahren gemacht [3], [4].

Eine bereits seit sehr langem bestehende teilweise Lösung dieses Problems ist die Durchführung des Mantel-Haenszel-Test [5], der nicht dem oben beschriebenen zwei-stufigen Verfahren folgt und auch dann berechnet werden kann, wenn Studien mit leeren Zellen vorliegen. Allerdings besteht die Einschränkung, dass der Mantel-Haenszel-Test genau wie das Modell mit festen Effekten einen homogenen Therapieeffekt voraussetzt. Emerson [6] empfiehlt in einem Übersichtsartikel, zumindest bei plausibler Annahme von homogenem Therapieeffekt, die Standardverfahren grundsätzlich nicht mehr zu verwenden und statt dessen den Mantel-Haenszel-Test zu berechnen. Die „Cochrane Collaboration", als Vereinigung, die die Weiterentwicklung der statistischen Methoden für Meta-Analysen wesentlich mit voran treibt, hat in ihrer Software „RevMan" diese Empfehlung bereits umgesetzt.

Relativ wenig Aufmerksamkeit wird in der Literatur auch der Tatsache geschenkt, dass daneben eine exakte Version des Mantel-Haenszel-Tests existiert, die neben den herkömmlichen Vorteilen des Mantel-Haenszel-Ansatzes sogar bei sehr kleinen Fallzahlen noch gültig ist. Die beiden gegenwärtigen Standardreferenzen für Meta-Analyse im medizinischen Bereich, die Bücher von Whitehead [1] und Sutton [2] verweisen diesbezüglich ohne weiteren Kommentar auf die Arbeit von Emerson [6]. Das ist umso unverständlicher, da dieser Test dank einer Äquivalenzbeziehung zum logistischen Modell [7] ohne große Umstände mit Standardsoftware (z.B. SAS PROC LOGISTIC) zu schätzen ist. Sogar ein MCMC-Verfahren kann per direktem Sampling in einem simplen SAS DATA STEP realisiert werden.

Nun kann nicht davon ausgegangen werden, dass die Verwendung von exakten Tests eine Lösung aller statistischen Probleme der Meta-Analyse sein kann, im Gegenteil, exakte Methoden sind per Definition notwendigerweise konservative Verfahren, die in jedem Fall das nominale Niveau einhalten, aber in der Regel dieses nicht ausschöpfen [8], des weiteren stellen sie nach wie vor beträchtliche Anforderungen an die Rechenleistung. Letzteres ist wohl auch der Grund, warum exakte Verfahren für Meta-Analyse auch nie in großen Simulationsuntersuchungen auf ihre Tauglichkeit überprüft worden sind.

Methoden

Um die Güte des exakten Mantel-Haenszel-Tests im Vergleich zum asymptotischen Mantel-Haenszel-Test und zu den Standardverfahren zu prüfen, haben wir eine Simulationsstudie durchgeführt. Dazu wurden pro Parameterkonstellation 1000 Meta-Analysen sowohl unter Nullhypothese (kein Behandlungseffekt) und Alternative als auch unter dem Modell mit festen bzw. zufälligen Effekten erzeugt. Weiterhin variiert wurde die Anzahl der Studien pro Meta-Analyse. Die Anzahl der Probanden pro Studie wurde mit 20 pro Gruppe eher klein gehalten, wobei die zu Verfügung stehende Rechenzeit hier der limitierende Faktor war. Das Simulationsprogramm war in SAS programmiert worden.

Ergebnisse

Die Ergebnisse sind zur Zeit noch vorläufig und werden bis zum Vortrag noch ausgebaut werden. Unter dem Modell mit festen Effekten sind die Mantel-Haenszel-Verfahren den Standardverfahren sowohl hinsichtlich Niveaueinhaltung als auch statistischer Power eindeutig überlegen, der asymptotische MH-Test schneidet dabei besser ab als der exakte. Unter dem Modell mit zufälligen Effekten, für das die MH-Verfahren eigentlich nicht gültig sind, kommt es erst bei beträchtlicher Heterogenität zu Niveauüberschreitungen unter der Nullhypothese. In diesem Fall halten aber auch die Standardverfahren das Niveau nicht mehr ein.

Diskussion

Die durchgeführten Simulationsuntersuchungen bestätigen im wesentlichen die Empfehlungen, die Emerson [6] schon 1994 gegeben hat: Für die Meta-Analyse von Studien mit binären Endpunkten sollte, zumindest bei kleinen Fallzahlen in den Studien, das Mantel-Haenszel-Verfahren herangezogen werden, von der Verwendung der Standardmethoden ist eher abzuraten. Das asymptotische Verfahren, das Mantel und Haenszel bereits 1959 vorgeschlagen haben, schneidet dabei hinreichend zufrieden stellend ab, es ist i.a. nicht nötig, die exakte Version anzuwenden.

Die Einschränkungen der vorliegenden Untersuchung sind klar: Sie bezieht sich nur auf Meta-Analysen, in der das Odds-Ratio als Maß für den Therapieeffekt herangezogen wird, für relatives Risiko, Risikodifferenz oder „Number needed to treat" sind die Mantel-Haenszel-Verfahren nicht definiert. Des weiteren wird man auch an Situationen interessiert sein, in denen größere (mehr als 20 Probanden pro Gruppe) Studien in die Meta-Analysen aufgenommen werden.


Literatur

1.
Whitehead A. Meta-analysis of Controlled Clinical Trials. Chichester [u.a.]: Wiley & Sons; 2002.
2.
Sutton AJ, Abrams KR, Jones DR, Sheldon TA, Song F. Methods for Meta-Analysis in Medical Research. Chichester [u.a.]: Wiley & Sons; 2000.
3.
Ziegler S, Koch A, Victor N. Deficits and Remedy of the Standard Random Effects Methods in Meta-Analysis. Methods Inf Med 2001; 40: 148-55.
4.
Hartung J, Knapp G. A Refined Method for the Meta-Analysis of Controlled Clinical Trials with Binary Outcome. Stat Med 2001; 20: 3875-89.
5.
Mantel N, Haenszel W. Statistical Aspects of the Analysis of Data from Retrospective Disease. J Natl Cancer Inst 1959; 22: 719-748.
6.
Emerson JD. Combining estimates of the odds ratio: the state of the art. Stat Meth Med Res 1994; 3: 157-78.
7.
Day NE, Byar DP. Testing Hypotheses in Case-Control Studies - Equivalence of Mantel-Haenszel Statistics and Logit Score Tests. Biometrics 1979; 10: 417-51
8.
Agresti A. A Survey of Exact Inference for Contingency Tables (with Discussion). Stat Sci 1992; 7: 131-177.