gms | German Medical Science

Einleitung: In diagnostischen Meta-Analysen ist der Interkorrelation von Sensitivität und Spezifität Rechnung zu tragen, die in der Regel negativ ausfällt und auf implizite und explizite Unterschiede in der Schwelle für positive Testergebnisse zurückgeführt wird. Im Falle einer substanziellen Heterogenität der studienspezifischen Schätzer wird die sog. summary receiver operating characteristic (sROC) Kurve für die Ergebnisdarstellung empfohlen. Der traditionelle Ansatz von Littenberg und Moses, diese Kurve mit Hilfe einer einfachen logistischen Regression zu erstellen, hat die Aggregation der beiden Endpunkte zu einem eindimensionalen Maß zur Folge. Getrennte Aussagen über die Fähigkeiten des zu überprüfenden Tests, einerseits das Vorliegen und andererseits die Abwesenheit der in Frage stehenden Krankheit korrekt zu erkennen, sind damit unmöglich. Zwischenzeitlich haben sich zwei lineare bivariate Modelle mit zufälligen Effekten etabliert, die der zweidimensionalen Datenstruktur Rechnung tragen und zudem die Erstellung verschiedener Versionen der sROC Kurve ermöglichen. Dabei wird die Zwischenstudienvarianz sowie die Interdependenz der beiden (logit-transformierten) Endpunkte mit Hilfe einer bivariaten Normalverteilung für die studienspezifischen zufälligen Effekte modelliert, was die Annahme eines linearen Zusammenhangs von Sensitivität und Spezifität impliziert. Die beiden Ansätze unterscheiden sich einzig in der Modellierung der stichprobenbedingten Variabilität auf der Ebene der Primärstudien. Das sogenannte Normal-Normal Model (NNM) [1] approximiert die studienspezifische Verteilung der logit-transformierten Schätzer für Spezifität und Sensitivität um ihre wahren Werte mit Hilfe einer bivariaten Normalverteilung mit diagonaler Varianz-Kovarianz-Matrix. Hingegen nutzt das sog. Binomial-Normal Model (BNM) [2], [3] als exakter Likelihood-Ansatz zwei binomiale Verteilungen dazu, direkt die stichprobenbedingte Variabilität der beobachteten Anzahlen richtig positiver und falsch positiver Testergebnisse aus den studienspezifischen Kontingenztabellen zu modellieren. Eine besondere Herausforderung, für die das NNM und das BNM keine Lösungen bieten, stellt das gelegentliche Auftreten einer positiven Korrelation von Sensitivität und Spezifität dar; in diesen Fällen nimmt die sROC Kurve eine atypische Form an, sodass auf sie verzichtet werden muss. Kürzlich haben Schlattmann und Kollegen [4] ein diskretes bivariates Mischverteilungsmodell (DBMM) für diagnostische Meta-Analysen vorgestellt, das eine diskrete nichtparametrische Verteilung für die zufälligen Effekte annimmt und damit einen neuen Ansatz zur Untersuchung der Heterogenität von Sensitivität und Spezifität sowie ihrer wechselseitigen Abhängigkeit über die Primärstudien hinweg bietet. Dem DBMM liegt die Annahme zugrunde, dass sich die Gesamtpopulation der Primärstudien aus einer endlichen (und zunächst unbekannten) Anzahl latenter homogener Subgruppen (Komponenten) zusammensetzt, die sich bezüglich ihrer gepaarten wahren Werte von Sensitivität und Spezifität unterscheiden. Sämtliche Varianz innerhalb einer latenten Komponente wird als stichprobenbedingte Variabilität modelliert, wozu auf Studienebene für die beiden logit-transformierten Endpunkte eine bivariate Normalverteilung mit diagonaler Varianz-Kovarianz-Matrix angenommen wird. Anhand des DBMMs lassen sich Primärstudien in Klassen einteilen, zudem ermöglicht es die Erstellung komponentenspezifischer sROC Kurven. Wie Schlattmann und Kollegen [4] anhand des Datensatzes einer bekannten Meta-Analyse zeigen konnten, gilt dies selbst dann, wenn die Korrelation von Sensitivität und Spezifität über alle Primärstudien hinweg positiv ausfällt.

Im Rahmen einer Masterarbeit wurde eine Simulationsstudie durchgeführt, die zum Ziel hatte, das NNM, das BNM und das das DBMM bezüglich ihrer statistischen Eigenschaften bei der Parameterschätzung im Rahmen diagnostischer Meta-Analysen zu vergleichen. Dabei stand die Performanz der Schätzung der mittleren logit-transformierten Sensitivität und der mittleren logit-transformierten Spezifität sowie der drei Parameter der zugehörigen Zwischenstudien-Varianz-Kovarianz-Matrix im Fokus.

Material und Methoden: Basierend auf den Datensätzen dreier publizierter Meta-Analysen wurden 42 Simulationsszenarien entwickelt, die sich (a) in der Anzahl der Primärstudien, (b) den wahren mittleren Sensitivitäts- und Spezifitätswerten, (c) den wahren Zwischenstudienvarianz- und -kovarianzwerten sowie (d) der stichprobenbedingten Variabilität auf Ebene der einzelnen Primärstudien unterschieden. Die wahren studienspezifischen Effekte wurden erstens aus sechs verschiedenen bivariaten Normalverteilungen und zweitens aus fünf diskreten Mischverteilungen mit zwei bzw. drei Komponenten generiert. Drittens wurde die Situation homogener Effekte simuliert, wozu drei verschiedene Paare wahrer Sensitivitäts- und Spezifitätswerte spezifiziert wurden. Diese 14 Verteilungen wurden systematisch mit drei Primärstudienanzahlen (n=10, 31, 91) kombiniert, woraus sich die Gesamtanzahl der 42 Szenarien ergab. Die stichprobenbedingte Variabilität wurde in den simulierten Datensätzen durch die Übernahme der Anzahlen erkrankter und nichterkrankter Individuen aus den 91, 31 bzw. 10 Primärstudien der drei publizierten Metaanalysen realisiert. Für jedes Szenario wurden 1000 Meta-Analysen simuliert. Als Maße der statistischen Performanz wurden für die Schätzer aller fünf Parameter die mittlere Abweichung des Schätzers vom wahren Wert sowie die mittlere quadratische Abweichung berechnet, für die logit-transformierte Sensitivität und die logit-transformierte Spezifität zusätzlich die Überdeckungswahrscheinlichkeit und die Breite des 95%igen Konfidenzintervalls . Das NNM wurde mit der reitsma Funktion des R Paketes mada [5] geschätzt und das BNM mit der SAS Prozedur Nlmixed. Für die Anpassung des DBMV Modells an die simulierten Datensätze wurden die Funktionen bivariate.mixalg und bivariate.EM aus dem R Paket CAMAN [6] genutzt, wobei zur Schätzung der Standardfehler jeweils ein parametrisches Bootstrapping basierend auf der Funktion CAMANboot erfolgte.

Ergebnisse: Die reitsma Funktion aus dem R Programm mada zeigte bei keiner der 42000 simulierten Meta-Analysen Konvergenzprobleme. Mit SAS Proc Nlmixed kam es dagegen in mehr als der Hälfte der Meta-Analysen zu Problemen (u.a. Nichtkonvergenz, fehlende Parameterschätzer, negative Varianzschätzer, fehlende Standardfehler), und dies trotz sorgfältiger Wahl der Optimierungsalgorithmen und Startwerte für die Parameterschätzung. Mit den beiden Funktionen des R Paketes CAMAN ließ sich das DBMM in 99.63% der simulierten Meta-Analysen ohne Probleme schätzen. Die Ergebnisse für die vier Performanzmaße sind gegenwärtig für alle fünf Parameterschätzer berechnet und werden bis zur Konferenz in systematischer Weise aufbereitet und interpretiert. Es lässt sich bereits feststellen, dass das BNM mit wenigen Ausnahmen die beste Performanz aufweist und insgesamt eine sehr zuverlässige Parameterschätzung leistet. Das NNM schneidet fast durchgängig am schlechtesten ab und erweist sich besonders bei Szenarien mit sehr hohen wahren mittleren Sensitivitäts- bzw. Spezifitätswerten als unzuverlässig. Im Vergleich zum NNM leistet das DBMM in vielen Fällen eine deutlich bessere Parameterschätzung, teilweise sogar eine ähnlich präzise wie das BNM.

Diskussion: Die bereits nachgewiesene Überlegenheit des BNM gegenüber dem NNM wurde bestätigt, gleichzeitig wird der dringende Bedarf einer stabileren Implementierung deutlich. Die Überlegenheit des DBMM gegenüber dem NNM lässt das Potential des diskreten Mischverteilungsansatzes erkennen. Auch mit Blick auf die erwähnten Möglichkeiten der Klassenbildung und der Erstellung komponentenspezifischer sROC Kurven selbst im Falle einer positiven Korrelation von Sensitivität und Spezifität über alle Studien hinweg erscheint somit eine Weiterentwicklung dieses Models, bei der die stichprobenbedingte Variabilität auf Einzelstudienebene exakt modelliert würde, wünschenswert.