gms | German Medical Science

MAINZ//2011: 56. GMDS-Jahrestagung und 6. DGEpi-Jahrestagung

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e. V.
Deutsche Gesellschaft für Epidemiologie e. V.

26. - 29.09.2011 in Mainz

Die Zuverlässigkeit von Konfidenzintervallen zur Schätzung der Area under the Curve (AUC) von ROC-Analysen

Meeting Abstract

Search Medline for

  • Michael Schneider - Institut für Biometrie der Medizinischen Hochschule, Hannover
  • Cornelia Frömke - Institut für Biometrie der Medizinischen Hochschule, Hannover
  • Antonia Zapf - Institut für Biometrie der Medizinischen Hochschule, Hannover

Mainz//2011. 56. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie (gmds), 6. Jahrestagung der Deutschen Gesellschaft für Epidemiologie (DGEpi). Mainz, 26.-29.09.2011. Düsseldorf: German Medical Science GMS Publishing House; 2011. Doc11gmds602

doi: 10.3205/11gmds602, urn:nbn:de:0183-11gmds6023

Published: September 20, 2011

© 2011 Schneider et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Outline

Text

Die Analyse von receiver operating characteristics (ROC-) Kurven gehört zu den etablierten statistischen Verfahren zur Bewertung der Trennfähigkeit von diagnostischen Tests in Phase II Diagnosestudien. Kennwert der ROC-Kurven ist die Area under the Curve (AUC). Zur Schätzung der AUC und des dazugehörigen Konfidenzintervalls stehen verschiedene Berechnungsmöglichkeiten des Standardfehlers zur Verfügung [1], [2], [3] (u.a.). Hat das Konfidenzintervall eine hohe Zuverlässigkeit (Reliabilität), dann überdeckt es mit 95%-Wahrscheinlichkeit die wahre, aber unbekannte AUC (coverage probability). Cleves [4] zeigte allerdings relevante Fehlschätzungen des Standardfehlers der AUC in Abhängigkeit vom Stichprobenumfang und vom angewendeten statistischen Verfahren. Gengsheng und Hotilovac [5] untersuchten neun nichtparametrische Konfidenzintervalle an kontinuierlich skalierten diagnostischen Tests. Sie zeigten, dass in Abhängigkeit vom Stichprobenumfang und von der Größe der AUC die erwartete coverage probability von den meisten der untersuchten Verfahren nicht eingehalten wird. In diesem Vortrag sollen die Ergebnisse einer Simulationsstudie vorgestellt werden, in der die coverage probabilities von verschiedenen statistischen Verfahren zur Schätzung des Konfidenzintervalls der AUC von kontinuierlich und kategorial skalierten diagnostischen Tests verglichen werden. Schwerpunkt sind dabei diagnostische Tests mit hoher Rangbindung.


Literatur

1.
Bamber D. The area above the ordinal dominance graph and the area below the receiver operating graph. Journal of Mathematical Psychology. 1975;12:387-415.
2.
DeLong ER, DeLong DM, Clarke-Pearson DL. Comparing the areas under two or more correlated receiver operating characteristic curves: A nonparametric approach. Biometrics. 1988;44:837-45.
3.
Hanley JA, McNeil BJ. The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology. 1982;143:29-36.
4.
Cleves MA. Comparative assessment of three common algorithms for estimating the variance of the area under the nonparametric receiver operating characteristic curve. The Stata Journal. 2002;2(3):280-9.
5.
Gengsheng Q, Hotilovac L. Comparison of non-parametric confidence intervals for the area under the ROC curve of a continuous-scale diagnostic test. Stats Methods Med Res. 2008;2.