gms | German Medical Science

MAINZ//2011: 56. GMDS-Jahrestagung und 6. DGEpi-Jahrestagung

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e. V.
Deutsche Gesellschaft für Epidemiologie e. V.

26. - 29.09.2011 in Mainz

Empirischer Vergleich von drei verschiedenen Methoden zur Bestimmung einer Gesamt-ROC-Kurve bei einer patientenbasierten Meta-Analyse diagnostischer Studien in R

Meeting Abstract

  • Julia Nierhoff - Institut für Biostatistik und mathematische Modellierung, J.W. Goethe-Universität, Frankfurt am Main
  • Mireen Friedrich-Rust - Medizinische Klinik 1, J.W. Goethe-Universitätsklinikum, Frankfurt am Main
  • Eva Herrmann - Institut für Biostatistik und mathematische Modellierung, J.W. Goethe-Universität, Frankfurt am Main

Mainz//2011. 56. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie (gmds), 6. Jahrestagung der Deutschen Gesellschaft für Epidemiologie (DGEpi). Mainz, 26.-29.09.2011. Düsseldorf: German Medical Science GMS Publishing House; 2011. Doc11gmds018

DOI: 10.3205/11gmds018, URN: urn:nbn:de:0183-11gmds0180

Published: September 20, 2011

© 2011 Nierhoff et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Outline

Text

Einleitung und Fragestellung: Bei einer Meta-Analyse diagnostischer Studien ist oft die Beziehung zwischen Sensitivität und Spezifität, etwa im Zusammenhang mit ROC-Kurven, von Interesse. Hier vergleichen wir verschiedene Methoden zur Erstellung einer ROC-Kurve für patientenbasierte Meta-Analysen diagnostischer Studien. Als Beispiel dient eine aktuelle Meta-Analyse von 8 Studien. In diesen Studien wird untersucht, wie gut mit der ARFI-Bildgebung, einer neuen Elastographie-Methode basierend auf Ultraschall, der Fibrosegrad (F≥2: signifikante Fibrose; F≥3: ernste Fibrose; F=4: Zirrhose) in der Leber diagnostiziert werden kann. Als Referenzmethode dient dabei die Leberbiopsie [1].

Material und Methoden: Anhand des konkreten Beispiels einer patientenbasierten Meta-Analyse werden drei Methoden, eine Gesamt-ROC-Kurve mit dem zugehörigen AUROC-Wert (Fläche unter der ROC-Kurve) zu bestimmen, miteinander verglichen. Die Berechnung erfolgt über R-Programme unter Ausnutzung der Programmpakete meta von G. Schwarzer, ROCR von T. Sing et al., nlme von J. Pinheiro et al. und pROC von X. Robin et al.

Als Random-Effects-Modell (REM) bezeichnen wir die Methode, die Gesamt-ROC-Kurve mit Schätzungen von Sensitivitäten und Spezifitäten zu allen möglichen diagnostischen Schwellenwerten jeweils nach DerSimonian und Laird [2] zu erstellen. Diese können auf der Basis der individuellen Patientendaten in R berechnet werden. Aus der daraus erhaltenen Kurve lässt sich auch die AUROC berechnen.

Dieser AUROC-Wert wird mit der direkten Bestimmung eines DerSimonian und Laird-Schätzers aus den einzelnen AUROC-Werten und Standardfehlern verglichen.

Alternativ kann die Bestimmung einer parametrischen SROC-Kurve nach Littenberg und Moses [3] über ein bivariates Modell erfolgen [4], [5]. Unter Ausnutzung einer asymptotischen bivariaten Normalverteilung für die Logit-Transformationen der Richtig-Positiv-Rate (TPR) und Falsch-Positiv-Rate (FPR) kann dabei die SROC-Kurve aus einer linearen Beziehung zwischen Sensitivität (TPR) und Spezifität (1-FPR) bestimmt werden.

Diese meta-analytischen Ansätze werden mit einer direkten Auswertung eines zusammengesetzten Datensatzes aller Patienten (Pooling) verglichen.

Ergebnisse: Das REM liefert in dieser Meta-Analyse bessere Ergebnisse bezüglich der Gesamt-ROC-Kurve als die anderen beiden Ansätze, wobei die Gesamt-ROC-Kurven aus dem Pooling der Daten für die meisten Fibrosegrade sehr nah an denen des REM liegen. Dementsprechend sind auch die AUROC-Werte beim REM höher als bei den beiden anderen Methoden (für F ≥2: REM: 0.87 [0.83; 0.92]; Pooling: 0.86 [0.82; 0.89]; SROC: 0.84).

Diskussion: Aufgrund der Inkonsistenz der Ergebnisse bleibt der parametrische Ansatz hier unbefriedigend. Interessanterweise ergibt der REM-Ansatz eine leicht bessere Aussage zur diagnostischen Güte der ARFI-Methode für die Vorhersage des Fibrosegrades.


Literatur

1.
Friedrich-Rust M, Nierhoff J, Lupsor M, Sporea I, Fierbinteanu-Braticevici C, Strobel D, Takahashi H, Yoneda M, Suda T, Zeuzem S, Herrmann E. Acoustic radiation force impulse-imaging for non-invasive assessment of liver fibrosis: a pooled meta-analysis. J. Hepatol (Suppl). 2011;54:132.
2.
DerSimonian R, Laird N. Meta-Analysis in Clinical Trials. Controlled Clinical Trials. 1986;7:177-188.
3.
Littenberg B, Moses LE. Estimating Diagnostic Accuracy from Multiple Conflicting Reports: A new Meta-analytic Method. Med Decis Making. 1993;13:313-321.
4.
van Houwelingen HC, Zwinderman K, Stijnen T. A bivariate approach to meta-analysis. Statistics in Medicine. 1993;12:2272-2284.
5.
Arends LR. Multivariate meta-analysis: modeling the heterogeneity. Ablasserdam: Haveka BV; 2006. Kap 5.