gms | German Medical Science

Im Rahmen der frühen Nutzenbewertung nach § 35a SGB V des Arzneimittelmarktneuordnungsgesetzes (AMNOG) werden Entscheidungen auf Basis patientenrelevanter Endpunkte getroffen [1]. Dazu zählen laut Verfahrensordnung Mortalität, Morbidität und gesundheitsbezogene Lebensqualität [1]. Falls keine wahren Endpunkte vorgelegt werden, können anstelle dieser unter Umständen auch Surrogatparameter akzeptiert werden. Diese Aussage findet sich auch in den ICH E9 Guidelines [2]. Surrogatparameter sind im Gegensatz zu wahren Endpunkten oftmals einfacher, schneller und kostengünstiger zu erheben [3]. In der Literatur wird ein Surrogatparameter oftmals als ein Biomarker verstanden, der den klinischen Endpunkt ersetzen soll, mit der Absicht den wahren Endpunkt vorherzusagen [4]. Oftmals wird missverstanden, dass Biomarker per se validierte Surrogate sind [5]. Im Rahmen der frühen Nutzenbewertung wird ein Surrogatendpunkt nur dann akzeptiert, wenn dieser im betrachteten Zusammenhang als valide gesehen werden kann, oder daraus hinreichend präzise Aussagen zum patientenrelevanten Endpunkt gefolgert werden können (Anlage II.6: Modul 4 [1]). Hier wird der oftmals in onkologischen Studien gemessene Endpunkt PFS in der Regel bisher nicht als patientenrelevanter Endpunkt für OS akzeptiert.

Der Gemeinsame Bundesausschuss (G-BA) hat das IQWiG mit der Fragestellung der Validierung von Surrogaten beauftragt, das 2011 den Rapid Report „Aussagekraft von Surrogatparametern in der Onkologie“ veröffentlichte [6]. Darin wurden in Teilziel 1 („Darstellung und Bewertung methodischer Verfahren“) sowohl aktuelle wissenschaftliche Methoden vorgestellt als auch eine Empfehlung zur Validierung von Surrogatendpunkten abgegeben. Zur Validierung empfiehlt das IQWiG das aktuell primär befürwortete korrelationsbasierte Verfahren zur Schätzung von Korrelationsmaßen auf Studien- und individueller Ebene. Andere Validierungsmethoden müssten ausreichend begründet werden. Damit wird eine deutliche Präferenz für die Benutzung der Korrelation ausgesprochen. Auch beim korrelationsbasierten Verfahren ist anzumerken, dass das bloße Aufzeigen einer Korrelation zwischen Surrogatendpunkt und klinischem Endpunkt nicht genügt. Für eine erfolgreiche Validierung soll „vorzugsweise eine Meta-Analyse von mehreren randomisierten Studien mit ausreichender Ergebnissicherheit“ eingesetzt werden [6]. Dabei muss die Eingrenzung sowohl auf das Indikationsgebiet als auch auf die Intervention berücksichtigt werden. Des Weiteren wird angemerkt, dass kein „universell anzuwendendes Maß noch eine allgemein beste Schätzmethode noch eine allgemein akzeptierte Grenze, deren Überschreitung den Nachweis der Validität bedeuten würde“ existiere [6].

Da das Aufzeigen einer Korrelation zwischen Surrogatendpunkt und klinischem Endpunkt auf Basis einer einzelnen Studie nicht ausreiche, entwickelte das IQWiG zur Durchführung einer Validierung einen zweistufigen Algorithmus. Während im ersten Schritt die für die Validierung herangezogenen Studien bezüglich ihrer Aussagekraft bewertet werden, wird im zweiten Schritt die Validität des Surrogats beurteilt, welche maßgeblich durch das Ergebnis der Korrelation zwischen Surrogatendpunkt und patientenrelevantem Endpunkt bestimmt wird.

Nach der im Rapid Report des IQWiG erläuterten Methodik wird die Stärke der Korrelation auf dem 95%-Konfidenzintervall des Korrelationskoeffizienten zwischen den Effektschätzern des Surrogatendpunkts und des patientenrelevanten Endpunkts in die Kategorien hoch, mittel und niedrig klassifiziert. Hohe Korrelation besteht dann, wenn das Konfidenzintervall vollständig über 0,85 liegt. In Verbindung mit hoher Aussagesicherheit der Ergebnisse ist dies Voraussetzung für den Nachweis einer Validität des Surrogats. Wenn das Konfidenzintervall vollständig unter 0,7 liegt, wird von niedriger Korrelation gesprochen und es ist keine Aussage über die Validität des Surrogats möglich. In allen anderen Fällen, in denen die eben genannten Grenzwerte nicht komplett über- bzw. unterschritten werden, liegt mittlere Korrelation vor. Die Validität des Surrogats ist dann unklar.

In Situationen, in denen keine hohe Korrelation vorliegt, können durch Anwendung des STE Konzeptes bei hinreichend großen Effekten für das Surrogat noch Aussagen bezüglich patientenrelevanter Endpunkte getroffen werden. Buyse und Burzykowski [5] beschreiben den STE in einem Modell mit patientenindividuellen Überlebenszeiten in Surrogatendpunkt und wahrem Endpunkt. Im Rahmen der Nutzenbewertung erscheint dieser Ansatz eher ungeeignet, da der pharmazeutische Unternehmer (pU) die dafür benötigten Daten in der Regel nur für seine eigene Studie – in der das Surrogat validiert werden soll – zur Verfügung hat, nicht aber für diejenigen Studien, dessen Daten für die Surrogatvalidierung herangezogen werden sollen. Auch das IQWiG sieht von einem Ansatz mit individuellen Patientendaten im Hinblick auf eine Nutzenbewertung ab. Es wird der oben erwähnte meta-analytische Ansatz auf Studienebene verfolgt, bei dem zunächst die Korrelation der Behandlungseffekte auf Surrogat- und patientenrelevantem Endpunkt berechnet wird. Sollte die Korrelation im mittleren Bereich liegen, bestünde nach Methodik des Rapid Reports immer noch die Möglichkeit eine Schlussfolgerung für einen Effekt bezüglich des patientenrelevanten Endpunkts unter Verwendung des STE-Konzepts zu ziehen.

Im Folgenden werden am besonderen Beispiel der onkologischen Endpunkte PFS und OS Simulationsstudien vorgestellt, die sich mit den Voraussetzungen auseinander setzen, die für eine erfolgreiche Surrogatvalidierung laut aktueller vorgeschlagener wissenschaftlicher Methodik gemäß Rapid Report [6] vorliegen müssen. Die erste Simulation basiert auf dem „einfachen“ Korrelationskoeffizienten nach Bravais-Pearson, eine zweite Simulation bezieht sich auf den STE zur Festlegung von Schwellenwerten für den Effektschätzer des Surrogatendpunkts. Das Design und die Ergebnisse der Simulationen werden jeweils präsentiert und diskutiert. Hierbei wird insbesondere auf die Umsetzung in der Realität mit Hinblick auf die Onkologie eingegangen. Abschließend werden mögliche Ideen für alternative Methoden zur Surrogatvalidierung genannt.

Die Durchführung der Simulation sowie der Erstellung aller Grafiken erfolgt mit der Statistik-Software R [7]. Insbesondere werden die Pakete MASS, und metafor [8] verwendet.

Ziel dieser ersten Simulationsstudie ist es, die Power des Tests zur Surrogatvalidierung zu ermitteln, die unter den Vorgaben des IQWiG zum Nachweis einer hohen Korrelation vorliegt. Es ist also zu bestimmen, wie oft das 95%-KI des empirischen Korrelationskoeffizienten r zwischen den Effektschätzern des patientenrelevanten Endpunktes OS und des Surrogatendpunktes PFS vollständig oberhalb von 0,85 liegt. Wie in der Biometrie üblich betrachtet man als Effektschätzer für OS und PFS Hazard Ratios (HR), die hier logarithmiert werden. Die Simulation wird mit der Statistik-Software R [7] durchgeführt. Dazu werden folgenden Annahmen gemacht:

a) Es liegen für eine Validierung n Studien vor mit n {5, 10, 20}.

b) Für jede der n Studien wird angenommen, dass diese mit jeweils N Patienten durchgeführt wurde, die in zwei gleich große Studienarme (Verum und Kontrolle) randomisiert wurden mit N {100, 200, 500}.

c) Für jede der n Studien wird für das OS ein Hazard Ratio simuliert, mit .

d) Für jede der n Studien wird für das PFS ein HR simuliert, mit , wobei eine wahre Korrelation von ρ=0,9 zwischen HR_OS und HR_PFS zugrunde gelegt wird.

e) Die Varianzen und ergeben sich aus den Ereigniszahlen der jeweiligen Studie nach der Formel

wobei N_V und N_C die erwartete Anzahl der Ereignisse im Verum- bzw. im Kontrollarm bezeichnen (Gleichungen 3 u. 6, [9]). Es wird von einer Todesrate von 80% und einer Progressionsrate von 90% im Beobachtungszeitraum ausgegangen.

Das Konfidenzintervall der Korrelation wird der üblichen Vorgehensweise entsprechend über die Fisher-z-Transformation [10], die eine Areatangens-Hyperbolicus-Transformation (artanh) ist, und deren Inverse, also eine Tangens-Hyperbolicus-Transformation (tanh), bestimmt:

Durch diese Transformation erhält man ein approximativ normalverteiltes Maß z mit Erwartungswert und Standardabweichung , wobei n die Anzahl der zur Bestimmung des Korrelationskoeffizienten benutzten Paare ist. Das 95%-KI von z ergibt sich dann wie gewohnt aus

mit Φ^–1 als der Inversen der Verteilungsfunktion der Standardnormalverteilung. Durch die Rücktransformation gemäß (3) kommt man zum Konfidenzintervall für r.

Die Korrelation der zu generierenden Zufallsvariablen HR_OS und HR_PFS wird über die Zerlegung der gewünschten Kovarianz-Matrix Σ=LL^T realisiert. Die Einträge von Σ ergeben sich aus den Vorgaben. Auf der Diagonale finden sich die Varianzen für HR_OS und HR_PFS. Die Kovarianz ergibt sich aus der Umstellung der Definition des Korrelationskoeffizienten

und der Forderung, dass die wahre Korrelation ρ einen festen Wert hat.

Für die Bestimmung der Matrix L bieten sich zum Beispiel die Cholesky-Zerlegung und die Eigenwert-Zerlegung an. Für diese Simulation wird letztere verwendet, da diese in der R-Funktion mvrnorm(n, μ, Σ) aus dem Paket MASS implementiert ist [11]. Diese Funktion liefert n multivariat normalverteilte Zufallszahlen mit zentraler Tendenz μ und Kovarianzmatrix Σ.

Die geplante Vorgehensweise erweist sich in einem Punkt als undurchführbar. Durch die Einführung des Parameters Patientenanzahl N soll dem Einfluss der Aussagesicherheit der Studien Rechnung getragen werden. Dies geschieht in der Annahme, dass große Studien auch eine höhere Aussagekraft bezüglich der Schätzer HR_OS und HR_PFS haben. Dies ist tatsächlich der Fall, denn mit steigender Patientenzahl nimmt auch die Anzahl der erwarteten Ereignisse zu, was nach Gleichung (1) zu niedrigeren Varianzen führt. Die Schätzer haben somit ein kleineres Konfidenzintervall. Die Variabilität der Schätzer hat jedoch keinen Einfluss auf die Korrelation der beiden Maße, da die Korrelation gerade die an der Varianz der Einzelschätzer normierte Kovarianz darstellt und eine Veränderung der Varianz eines Schätzers exakt durch die Kovarianz beider Schätzer kompensiert wird. Durch die Annahme einer wahren Korrelation zwischen den beiden Maßen bleibt die Kopplung also vollständig erhalten.

Die Patientenanzahl hat zudem keine Auswirkung auf das Konfidenzintervall der Korrelation, denn dieses ist, wie der Term (4) zeigt, einzig und allein vom Korrelationskoeffizienten r selbst und der Studienanzahl n abhängig. Insbesondere ist also das Konfidenzintervall für ein gegebenes r vollständig durch die Anzahl der Studien n determiniert. Diese Eigenschaft ist kein Nebenprodukt der Fisher-z-Transformation, denn auch die exakte Verteilung des empirischen Korrelationskoeffizienten (und damit dessen Varianz) zeigt nur eine Abhängigkeit von ρ und n. Diese an sich bekannte und triviale Tatsache erscheint bei oberflächlicher Betrachtung in diesem Zusammenhang dennoch zunächst kontraintuitiv. Geringere Patientenanzahl beeinflusst nur die Lage der Maße, nicht jedoch ihre Korrelation.

Es ergeben sich auch keine anderen Ergebnisse, wenn Studien unterschiedlich gewichtet würden oder meta-analytische Verfahren angewandt werden. Unter der Voraussetzung, dass die wahre Korrelation ρ für alle diese Studien dieselbe ist, führt eine Gewichtung im Einzelfall zu anderer empirischer Korrelation r, der Erwartungswert für dieses r ändert sich jedoch nicht. Lediglich die Verteilung von r mag eine andere sein. Genauso wenig führt eine Gewichtung zu anderen Konfidenzintervallen, da für dessen Bestimmung außer r auch dann nur n ausschlaggebend ist. Beispielhaft wird dies im folgenden Abschnitt gezeigt.

Angenommen, die wahre Korrelation ist selbst kein fester Wert sondern eine Zufallsvariable, ähnlich einem Modell mit zufälligen Effekten. Dann stellt sich die Frage, ob eine Gewichtung bessere Schätzungen der Korrelation erlaubt. Sei zum Beispiel S₀ die Menge der „genauen“ Studien mit vielen Patienten, für die die Korrelation auf ρ=0,82 festgelegt ist, sowie die Menge S₁ der weniger genauen Studien mit nur einem Fünftel der Patientenzahl und ρ=0,778. Damit wäre der über die Fisher-z-Skala gebildete Mittelwert wieder 0,8. (Allein diese Richtungsentscheidung einer höheren Korrelation für S₀ ist willkürlich, denn warum sollten gerade die genauen Studien aus einer Grundgesamtheit kommen, der eine höhere Korrelation zugrunde liegt.) Eine Simulation (n=1.000) dieses Szenarios mit jeweils fünf Studien aus S₀ und S₁ ergab im Mittel Korrelationen von 0,781 für die ungewichtete und 0,786 für die mit inverser Varianz gewichtete Korrelation, so dass man von einer marginalen Verbesserung der Schätzungen ausgehen könnte. Allerdings war der mittlere Schätzer 0,800 für den Fall, dass die Studien aus S_i mit dem Wert für die Studien aus S_1–i gewichtet wurden. In diesem Beispiel hat also die (falsche) geringere Gewichtung der „hoch-korrelierten“ Studien zu einer im Mittel höheren Korrelationsschätzung geführt, als die eigentlich korrekte Gewichtung. Es ist daher nicht davon auszugehen, dass eine wie auch immer geartete Gewichtung prinzipiell zu besseren Resultaten führt.

Die dargestellten Zusammenhänge zeigen, dass eine Variation der Patientenanzahl N keinen Einfluss auf die Ergebnisse haben würde. Die Simulation dieses Parameters wird daher fallen gelassen und stattdessen die Power der Surrogatvalidierung für Studienzahlen n=5,…,100 durchgeführt. Dabei wird zusätzlich zu der in Punkt d) geplanten wahren Korrelation von ρ=0,9 auch von noch höheren Werten für die Korrelation von ρ=0,95 und ρ=0,97 und jeweils derselben Untergrenze von ρ_u=0,85 ausgegangen. Ansonsten wird nach dem oben beschriebenen Schema vorgegangen.

Weiterhin kann nun auch eine analytische Untersuchung der Power erfolgen. Dazu betrachtet man zu jedem n die Verteilungsdichte des Fisher-z-transformierten Korrelationskoeffizienten für ein festes wahres ρ. In Abbildung 1 [Abb. 1] ist die Dichtefunktion exemplarisch für n=20 und ρ=0,9 dargestellt (schwarze Linie). Bei jeder Validierung ergibt sich ein transformierter Korrelationskoeffizient z=artanh(r), wobei in diesem Beispiel r=0,92 ist. Die Bestimmung des Konfidenzintervalls für dieses z erfolgt dann über (4). Die dabei benutzte Dichtefunktion ist in roter Farbe dargestellt. Liegt die untere Grenze (im Beispiel nach Rücktransformation etwa 0,805) über dem transformierten Wert von ρ_u=0,85, gilt das Surrogat als validiert.

Da bei festem n die untere Intervallgrenze streng monoton mit z steigt, gibt es ein minimales z*, so dass für alle z>z* die Validierung gelingt. Für das Beispiel erhält man z*=artanh(0,9392)≈1,73. Integriert man daher die Dichtefunktion mit diesem z* als unterer Grenze ergibt sich unmittelbar die Power Π für die betrachteten Parameter n, ρ und ρ_u:

Es bleibt also nur die Bestimmung von z*. Auch diese kann analytisch erfolgen, es muss lediglich zur unteren Grenze die halbe Länge des Konfidenzintervalls hinzugefügt werden:

Das Ziel der zweiten Simulationsstudie ist es, zu untersuchen, unter welchen Bedingungen die Anwendung des STE-Ansatzes zum Erfolg führen könnte. Wie in der ersten Simulation werden verschiedene Szenarien betrachtet, bei denen die Parameter der zur Verfügung stehenden Studienlage variiert werden. Im Vergleich zu Punkt a) und b) in Simulation 1 werden hier n {5, 10} Studien mit jeweils drei verschiedenen Fallzahlen N {200, 500, 1.000} betrachtet. Im Unterschied zur Korrelation ρ, die als skaleninvariantes Maß nicht von den Erwartungswerten der Variablen abhängt, müssen für die Überprüfung des STE-Konzepts auch Erwartungswerte für die Effektschätzer des OS und PFS betrachtet werden. Analog zu Punkt c), d) und e) in Simulation 1 wird das Tupel der logarithmierten Effektschätzer HR_OS und HR_PFS als bivariat normalverteilte Zufallsgröße mit Kovarianzmatrix Σ modelliert. Für die Erwartungswerte μ_OS und μ_PFS werden jeweils die Werte 0,5, 0,7 und 0,8 angenommen und für die wahre Korrelation die Werte ρ=0,85 und ρ=0,9 zugrunde gelegt. Zu den n Studien werden das HR_OS und das HR_PFS einer weiteren Studie mit denselben Parametern N, μ_OS und μ_PFS generiert. Diese soll die eigene Studie des pU darstellen, anhand der er überprüfen will, ob der darin vorliegende Effekt des PFS den STE unterschreitet. Diese wird im Folgenden als „pU-Studie“ bezeichnet.

Durch die Kombination aller Ausprägungen der Parameter n, N, HR_OS, HR_PFS und ρ ergeben sich 108 unterschiedliche Szenarien. Jedes dieser Szenarien wird 10.000 Mal simuliert, wobei in jedem Iterationsschritt zuerst überprüft wird, ob die empirische Korrelation r zwischen den Studien tatsächlich im mittleren Bereich liegt, und eine Überprüfung anhand des STE überhaupt eingesetzt werden muss. Dies ist laut der im Rapid Report des IQWiG beschriebenen Methodik genau dann der Fall, wenn das 95%-KI von r zwischen HR_OS und HR_PFS über n Studien weder vollständig oberhalb von 0,85 liegt, was hoher Korrelation entspräche, noch vollständig unterhalb von 0,7, was niedrige Korrelation darstellt. Wenn keine mittlere Korrelation vorliegt, werden neue Zufallszahlen gezogen. Anschließend wird über eine Meta-Regression mit zufälligen Effekten – mithilfe der R-Funktion rma.uni aus dem metafor-Paket – ein Konfidenzband (auf dem Signifikanzniveau α=0,05) für HR_OS bestimmt. Der STE ergibt sich als der minimale Wert, den HR_PFS annehmen darf, sodass das HR_OS gerade noch statistisch signifikant ist, d. h. die obere Grenze des Konfidenzintervalls für das HR_OS gerade noch unterhalb von 1 liegt. Die Power des Tests ergibt sich schließlich als relative Häufigkeit der Fälle, bei denen die obere Grenze des Konfidenzintervalls des HR_PFS aus der „pU-Studie“ unterhalb des STE liegt.

Abbildung 2 [Abb. 2] zeigt ein Beispiel eines simulierten Szenarios mit n=5 Studien und N=500 Patienten sowie jeweils 0,7 als Erwartungswert für HR_OS und HR_PFS und wahrer Korrelation ρ=0,85. Die simulierten Werte ergeben eine empirische Korrelation r [95% KI]=0,92 [0,19; 0,99]. Somit liegt nach der im Rapid Report geschilderten Methodik mittlere Korrelation vor, und das Überprüfen des STE kommt zur Anwendung. Das Dreieck zeigt die Koordinaten HR_OS und HR_PFS der „pU-Studie“ und die waagerechte Linie das entsprechende 95% KI des HR_PFS ([0,57; 0,86]). Der STE liegt hier bei 0,8092, d. h. der in der „pU-Studie“ geschätzte Effekt auf dem Surrogat ist nicht groß genug, um mit ausreichender Sicherheit von einem signifikanten Effekt auf dem patientenrelevanten Endpunkt auszugehen, denn das gesamte Konfidenzintervall des HR_PFS müsste dafür kleiner als der STE sein.

In Abbildung 3 [Abb. 3] sind die Ergebnisse sowohl für die Simulation als auch die analytische Herleitung der Power der Surrogatvalidierung dargestellt. Die Diskrepanzen erklären sich aus der Tatsache, dass durch die Fisher-z-Transformation nur eine approximative Normalisierung des Korrelationskoeffizienten erreicht wird und der zurücktransformierte Mittelwert einen positiven Bias aufweist [12]. Das bedeutet im Fall der Simulation, dass man im Mittel etwas höhere Untergrenzen für das Konfidenzintervall erhält, als es die analytische Herangehensweise erwarten lassen würde. Daher finden wir in letzterer etwas niedrigere Power für alle n.

Die Power der Surrogatvalidierung ist bei einer wahren Korrelation von ρ=0,9 insgesamt sehr gering. Der in der Statistik oft geforderte Mindestwert der Power von 80% wird hier nicht annähernd erreicht, die selbst bei n=100 Studien unter 60% liegt. Selbst für ρ=0,95 sind n=25 Studien erforderlich, um eine Power von 80% zu erhalten.

Dass auch eine Gewichtung von Studien nach der Anzahl der Patienten oder eine meta-analytische Zusammenfassung keine Verbesserung der Resultate bringt, zeigt eine weitere Simulation, bei der für ρ=0,9 und einer Untergrenze des Konfidenzintervalls von ρ_u=0,85 von n=20 Studien ausgegangen wird, die eine Hälfte mit 100 Patienten, die andere mit 500. Der Erwartungswert des HR_OS wird auf 0,8, die Todesrate auf 80% und das Verhältnis von Tod zu Progression auf 0,9 gesetzt. Es werden wiederum 10.000 Durchgänge simuliert und einerseits ein gewichtetes lineares Modell mit Patientenzahl N als Gewicht, andererseits eine Meta-Analyse für das HR_OS mit Random Effects Modell und HR_PFS als Moderator gerechnet. In beiden Fällen wird als „Korrelation“ die Wurzel des Bestimmtheitsmaßes R² verwendet. Im zweiten Fall wird dieses über

bestimmt, wobei L₀ die Likelihood ohne bzw. L_PFS die Likelihood mit Verwendung des HR_PFS als Moderatorvariable darstellen. Während in der Simulation des Modells mit Gewichtung der Studien (bzw. Effektschätzer) die Power mit einem Wert von 0,7026 praktisch mit dem Wert, der sich mit ungewichteten Studien ergab (0,7081), übereinstimmt, ist das Ergebnis für die Meta-Analyse gleich 0. Der Maximalwert für die untere Grenze des Konfidenzintervalls lag bei 0,8191, also immer noch deutlich unter der geforderten Grenze ρ_u=0,85.

In Modul 4 des Nutzendossiers zu Dabrafenib [13] hatte der pU den Versuch einer Surrogatvalidierung des PFS durch Verwendung korrelationsbasierter Verfahren unternommen. Darin wurde die Berechnung der Korrelation vermutlich über (8) vorgenommen, zumindest konnte so das r aus Tabelle 4-123 (Seite 282, Modul 4 des Nutzendossiers zu Dabrafenib) reproduziert werden. Auch in der Meta-Analyse im Nutzendossier zu Dabrafenib liegt das r deutlich niedriger als das der Analyse mit Gewichtung nach Patientenzahl. Dies hat seine Ursache darin, dass der Zusammenhang nur im Falle linearer Regression gilt und daher r und R² in anderen Fällen gar nicht vergleichbar sind. Auch scheint eine Berechnung des Konfidenzintervalls für R² über (4) daher fraglich.

Die Simulation zur Anwendung des STE-Konzepts ergibt, dass zwischen den Effektschätzern HR_OS und HR_PFS, unabhängig von der Wahl der Parameter n, N, μ_OS, μ_PFS und ρ, überwiegend mittlere Korrelation vorliegt: der Anteil der Simulationsdurchgänge, in denen sich die empirische Korrelation im mittleren Bereich befand, liegt in jedem der 108 Szenarien bei mindestens 89%. Obwohl mit ρ=0,85 bzw. 0,9 sehr starke Korrelationen in das Modell gelegt werden, muss eine Überprüfung anhand des STE (wegen nicht vorliegender hoher Korrelation) tatsächlich in den meisten Fällen eingesetzt werden. Dies bestätigt nochmals die Ergebnisse aus Simulation 1, die verdeutlicht, dass hohe Korrelation in der Praxis kaum zu erreichen ist.

Die Ergebnisse der Power aller Szenarien aus der Simulation zur Anwendung des STE-Konzepts sind in Abbildung 4 [Abb. 4] veranschaulicht. Der Großteil der Szenarien zeigt dabei niedrige Power: nur bei 21 der 108 Szenarien liegt die Power über 80%. Unter diesen 21 befinden sich 18 Szenarien, bei denen der Erwartungswert des HR_OS bei 0,5 liegt, 15 Szenarien bei denen die Studienanzahl bei n=10 liegt, und 15 Szenarien bei denen die Patientenanzahl bei N=1.000 liegt. Szenarien, in denen der Erwartungswert des HR_OS mit 0,8 angenommen wird, erreichen maximal eine Power von 47%. Es müsste demzufolge ein extrem starker Behandlungseffekt zum OS (HR_OS≈0,5) in den für die Validierung herangezogenen Studien vorliegen, um anhand der Ergebnisse des Surrogatendpunkts PFS aus der „pU-Studie“ noch Schlussfolgerungen auf das OS ziehen zu können.

Außerdem verdeutlicht die Übersicht, dass die Power mit sinkender Studien- und Patientenanzahl abnimmt. Dies ist leicht mit Hilfe des Beispiels in Abbildung 2 [Abb. 2] zu erklären. Werden n und N kleiner, vergrößert das die Varianz der beiden Effektschätzer HR_OS und HR_PFS. Dadurch wird das Konfidenzband breiter und dessen Obergrenze schneidet die horizontale Linie an der Stelle HR_OS=1 bereits bei kleineren Werten des HR_PFS. Es bedarf dann eines stärkeren Surrogateffektes in der zu testenden Studie um den nun weiter links liegenden STE unterschreiten zu können.

Wie oben erwähnt, sinkt die Power rapide, wenn in den Studien geringe Effekte auf dem OS (also näher an 1 liegende Werte des HR_OS) vorliegen. In der Grafik des Beispiels in Abbildung 2 [Abb. 2] würde dies zu einer Verschiebung der Studienpunkte und des Konfidenzbandes nach oben führen, dessen Obergrenze die horizontale Linie an der Stelle HR_OS=1 dadurch weiter links schneiden würde. Die „pU-Studie“ unterschreitet den STE dann mit geringerer Wahrscheinlichkeit.

Des Weiteren zeigt sich, dass verschiedene Ausprägungen des HR_PFS zu keiner Änderung der Power führen. Verändert man den Erwartungswert des HR_PFS der Studien, so würde sich auch der STE in gleichem Maße verändern – im Beispiel in Abbildung 2 [Abb. 2] würde das eine waagerechte Verschiebung der Studienpunkte bedeuten. Interessant ist zudem, dass sich der Parameter ρ kaum auf die Power des STE-Verfahrens auswirkt. Die Aussagen können anhand eines linearen Modells mit Power als Responsevariable und Simulationsparametern als erklärende Variablen unterstützt werden: Studienanzahl n (p<0,001), Patientenanzahl N (p<0,001), wahre Korrelation ρ (p=0,225), logarithmiertes HR_OS (p<0,001) und logarithmiertes HR_PFS (p=0,947).

In onkologischen Studien wird oftmals statt des patientenrelevanten Endpunkts Gesamtüberleben der Endpunkt progressionsfreies Überleben erfasst. Für eine Anerkennung von PFS als patientenrelevant im Verfahren zur frühen Nutzenbewertung gilt es, dieses als Surrogatendpunkt für OS in der betrachteten Indikation zu validieren. Das IQWiG hat im Rahmen eines Rapid Report Methoden zur Validierung von Surrogatendpunkten dargestellt und Empfehlungen zur Verwendung von korrelationsbasierten Verfahren ausgesprochen.

In der hier vorliegenden Arbeit wurde mithilfe zweier Simulationsstudien untersucht, inwiefern diese Vorgaben in der Realität am Beispiel der Onkologie umgesetzt werden können. In der ersten Simulationsstudie wurde die Validierung anhand des Korrelationskoeffizienten und in der zweiten Simulation das Konzept des STE zur Überprüfung der Schwellenwerte für den Effektschätzer des Surrogatendpunkts untersucht.

Gemäß der im Rapid Report des IQWiG erläuterten Methodik muss neben der Einschätzung der Aussagesicherheit ein gleichgerichteter Zusammenhang, gemessen durch die Korrelation zwischen den Effektschätzern des Surrogats und des patientenrelevanten Endpunkts vorliegen, um die Validität für das Surrogat auf Studienebene nachzuweisen. Der Korrelationskoeffizient nach Bravais-Pearson stellt bei ρ=1 den perfekten linearen Zusammenhang dar, während ρ=0 für völlige Unkorreliertheit steht. Mit dem Wert von ρ steigt die Korrelation, jedoch gibt es keine allgemein gültige Definition, in welchen Wertebereichen diese hoch oder niedrig wäre. Im Rapid Report werden einige Stellen aus der biometrischen Fachliteratur zitiert, in denen die jeweiligen Autoren verschiedene Vorschläge von Schwellenwerten zur Korrelation bzw. zum Bestimmtheitsmaß R² angeben, ab denen ein hoher Zusammenhang bzw. eine gute statistische Validität vorliegt (S. 71 u. 108, [6]). Basierend auf diesen Angaben werden für die Korrelation die Kategorien „hoch“, „mittel“ und „niedrig“ hinsichtlich der Einstufung der Validität des Surrogats festgelegt. Hohe Korrelation liegt vor, wenn die untere Konfidenzintervallgrenze des empirischen Korrelationskoeffizienten r mindestens den Wert 0,85 (bzw. bei Bestimmtheitsmaßen R²≥0,72) annehme. Weiter wird von niedriger Korrelation gesprochen, wenn die obere Konfidenzintervallgrenze von r kleiner 0,7 (bzw. beim Bestimmtheitsmaß R²<0,49) ist. Der geforderte Schwellenwert von 0,85 entstamme daher, dass bei einem wahrem Wert von ρ=0,9 die empirische Korrelation selbst bei genauen Schätzungen unvermeidlich den Wert 0,9 unterschreite. Jedoch wird nicht hergeleitet, wie der Wert 0,85 ermittelt wurde. Dieser Wert stellt lediglich eine Abschätzung dar, denn mithilfe der Fisher-z-Transformation und in Abhängigkeit der Studienanzahl n lässt sich die Untergrenze des 95%-KI von r analytisch bestimmen. Abbildung 5 [Abb. 5] veranschaulicht, dass bei n=10 Studien mit r=0,9 die Untergrenze des 95%-KI für r bei 0,62 liegt. Da dies den Wert 0,85 unterschreitet, könnte selbst bei diesem hohen Punktschätzer nur eine mittlere Korrelation konstatiert werden. Ginge man von r=0,9 und einer hohen Studienanzahl von n=50 aus – was äußerst unrealistisch wäre, da sich alle Studien auf dieselbe Indikation bzw. denselben Schweregrad sowie dieselbe Intervention eingrenzen müssten, um hohe Aussagesicherheit zu gewährleisten – läge die Untergrenze des 95%-KI für r bei 0,83, und somit immer noch unterhalb des für hohe Korrelation geforderten Schwellenwerts. Wenn man prüfen will, wie hohe Korrelation überhaupt zu erreichen ist, d. h. einen Schwellenwert von 0,85 für die Untergrenze des 95%-KI für r vorgibt, müsste bei einer Studienanzahl von n=10 ein Punktschätzer der Korrelation von mindestens 0,9638 gemessen werden. Dieser Wert erscheint extrem hoch, wenn man bedenkt, dass r=1 einen perfekten linearen Zusammenhang darstellt, der in realen Daten quasi nicht beobachtet wird. Es stellt sich außerdem die Frage, warum von einem zweiseitigen 95% Konfidenzintervall ausgegangen werden muss. Die zu verwerfende Hypothese lautet schließlich ρ<ρ_relevant. Bei einem Punktschätzer von r=0,95 überschritte man mit einseitiger Testung die Grenze 0,85 schon bei n=12 Studien, während es n≥15 bedarf, um dies mit zweiseitiger Testung zu erreichen.

Die Simulation der Surrogatvalidierung über das korrelationsbasierte Verfahren sowie die analytische Herleitung der Power zeigten, dass diese bei moderater Studienanzahl und starker zugrundeliegender wahrer Korrelation dennoch sehr gering ist. Selbst bei ρ=0,9 in n=100 Studien liegt die Power unter 60% und es wäre ρ=0,95 in n=25 Studien erforderlich, um eine Power von 80% zu erhalten.

Während also der Nachweis für eine hohe Korrelation kaum zu erbringen sein dürfte, ist es ganz einfach, eine mittlere Korrelation nachzuweisen, wenn nur wenige Studien zur Verfügung stehen. Denn selbst bei unkorrelierten Daten (ρ=0) aus n=5 Studien ist die Obergrenze des 95%-KI mit einer Wahrscheinlichkeit von 76,8% größer als 0,7. Für n=10 sind es immerhin noch fast 18%.

Die Beziehung r²=R² zwischen Korrelation und Bestimmtheitsmaß gilt nur im Fall des linearen (einfachen) Regressionsmodells. Im Allgemeinen kann aber nicht aus Bestimmtheitsmaßen spezieller Modelle (vgl. Buyse und Burzykowski [3]) auf Korrelation rückgeschlossen werden. Im Rapid Report wird aus den Schwellenwerten der Korrelation offensichtlich auf die Schwellenwerte des Bestimmtheitsmaßes (r²=0,85²=0,7225=R²) geschlossen (S. 71, [6]). Das würde eine Präferenz der Anwendung des linearen Modells in der Surrogatvalidierung bedeuten. In der Nutzenbewertung zu Dabrafenib, in der der pU den Versuch einer Surrogatvalidierung auf Basis des linearen Modells unternommen hatte, wird dieser Ansatz wiederum kritisiert (S. 62, [14]). Es wird im Weiteren noch ausgeführt, dass – abgesehen von der Unsicherheit des linearen Modells – die in Modul 4 vorgelegten Ergebnisse zum Schätzer der Korrelation ohnehin nicht zum Erfolg geführt hätten. Darin präsentierte der pU verschiedene Korrelationsanalysen für die Validierung des Surrogats, unter denen das Modell mit dem stärksten Effekt eine Korrelation zwischen logarithmierten HR_OS und HR_PFS von r [95%-KI]=0,95 [0,83; 0,99] ergab. Damit liegt gemäß dem im Rapid Report festgelegtem Schwellenwert von 0,85 keine hohe Korrelation vor. Das Beispiel verdeutlicht noch einmal, dass der angegebene Grenzwert von 0,85 (als Mindestmaß für hohe Korrelation) ziemlich konservativ ist. Die Fachliteratur gibt zwar zahllose Vorschläge für Einstufungen des Grades der Korrelation, doch beziehen sich diese auf den Punktschätzer und werden nicht als Untergrenze eines 95%-KI verstanden. Beispielsweise bezeichnet Cohen [15] Korrelation von 0,5 bereits als hoch. Burzykowski [16] erläuterte, dass es schwierig sei, einen Schwellenwert für das Validierungsmaß R² anzugeben, da dieses keine intuitive Skala besäße, und zudem abhängig von der Variabilität des Behandlungseffekts des klinischen Endpunktes sei.

Sollte die Validierung des Surrogatendpunkts über das korrelationsbasierte Verfahren nicht gelingen, besteht nach Methodik des Rapid Report noch die Möglichkeit unter Verwendung des STE-Konzepts eine Schlussfolgerung für einen Effekt bezüglich des patientenrelevanten Endpunkts zu ziehen. Die Ergebnisse der zweiten Simulationsstudie zeigen, dass jedoch auch dieses Konzept an realen Daten nur sehr schwer erfolgreich durchgeführt werden kann. Lediglich diejenigen Szenarien, bei denen eine Kombination aus außergewöhnlich hohen Effekten des wahren Endpunkts (HR_OS=0,5), hoher Studienanzahl (n=10) sowie hoher Patientenanzahl (N=1.000) angenommen wurde, können eine Power von über 80% erreichen. Für plausiblere Werte der Effekte (HR_OS=0,8) liegt die Power bei einer Patientenanzahl N=1.000 maximal bei 47%, bei N=500 höchstens bei 25%.

Die in beiden Simulationsstudien vorliegenden Szenarien versuchen der Realität entsprechende Beispiele abzubilden. Durch Variationen der Parameter Studienanzahl, Patientenanzahl, Stärke der Korrelation und der Effektgrößen ist ein starker Praxisbezug gegeben. Ein großer Teil der Auswahl der simulierten Parameterwerte charakterisiert allerdings optimistische Szenarien, die in der Wirklichkeit nicht bzw. nur sehr selten vorzufinden sind. So wäre eine für die Validierung herangezogene Studienanzahl n=10 eher unrealistisch. Dies gilt auch für die hoch gewählten Werte der zugrundeliegenden Korrelation. Nichtsdestotrotz zeigen diese – teils optimistisch gestalteten – Szenarien, dass eine Surrogatvalidierung in der Praxis selbst unter optimalen Bedingungen sowohl anhand des korrelationsbasierten Verfahrens als auch anhand des STE-Konzepts eine große Herausforderung ist. Freilich ist anzumerken, dass alle Simulationen auf Basis aggregierter Daten liefen und keine patientenindividuellen Daten verwendeten. Wie eingangs erwähnt, ist die Verfügbarkeit patientenindividueller Daten in der Praxis jedoch im Allgemeinen nicht gegeben. Dieser Aspekt beeinflusst auch nicht das Ziel dieser Arbeit, welcher in der Überprüfung der Anwendbarkeit der Methodik anhand praktischer Beispiele bestand. Abschließend wird nun eine mögliche Alternative zur STE-Methodik vorgestellt.

Die Surrogatvalidierung über das STE erscheint grundsätzlich als geeignete Methode. Allerdings sind die methodischen Vorgaben im Rapid Report sehr streng. Wir möchten im Folgenden von der Forderung absehen, in der das ganze 95%-KI des Surrogateffekts HR_PFS unterhalb des STE liegen muss. Durch dieses Kriterium ist es, wie Simulation 2 zeigte, äußerst schwierig einen tatsächlich vorhandenen Effekt auch nachzuweisen. Die Rationale hinter dieser zweifachen Anwendung von Konfidenzintervallen ist die Unsicherheit, mit der beide Schätzer behaftet sind. Durch diese Vorgehensweise sinkt der α-Fehler – zu Lasten der Power – allerdings deutlich unter die 5%-Marke.

In einer abschließenden Simulation untersuchen wir, wie groß der α-Fehler ist, wenn statt der oberen Konfidenzintervallgrenze des HR_PFS nur der Punktschätzer mit dem STE verglichen wird. Mit anderen Worten wird die Fehlerwahrscheinlichkeit je Szenario angegeben, mit der aus dem vorliegenden Effekt des PFS auf einen Effekt des OS geschlossen wird, obwohl letzterer nicht vorliegt. Für den Erwartungswert des HR_PFS wird 0,7 gewählt, der Erwartungswert des HR_OS wird auf 1 gesetzt, es gibt also einen Effekt der Intervention auf das PFS nicht aber auf das OS. Variiert werden wieder die Patientenzahl N pro Studie (200, 500 und 1.000), die Anzahl der Studien n (5 und 10) sowie die wahre Korrelation ρ (0; 0,25; 0,5). Parameterkonstellationen mit höheren Werten von ρ sind zwar mathematisch gesehen möglich, in der Realität allerdings völlig unplausibel. Inhaltlich entspräche das einem starken Zusammenhang zwischen den beiden Hazard Ratios bei gleichzeitig großer Effektivität der Behandlung hinsichtlich des PFS und völligem Fehlen eines Effekts auf das OS.

Der α-Fehler ergibt sich als Anteil derjenigen von jeweils 10.000 Durchgängen, bei denen der Punktschätzer des HR_PFS kleiner als das STE ist. Dies entspricht also einer einseitigen Testung. Wie in Abbildung 6 [Abb. 6] zu erkennen ist, liegt der α-Fehler für ρ=0 erwartungsgemäß bei etwa 2,5% (=0,05/2). Weiterhin zeigt sich, dass die Patientenanzahl N keinen Einfluss hat, was ebenfalls den Erwartungen entspricht. Mit zunehmender Korrelation und gleichzeitig höherer Studienanzahl n steigt auch der α-Fehler. Für n=10 Studien mit je N=1.000 Patienten und ρ=0,5 liegt er bei etwa 7,6%.

Bei Durchführung von Simulation 2 wird eine wesentlich höhere Power in allen Szenarien beobachtet, wenn anstelle der oberen Konfidenzintervallgrenze des HR_PFS nur der Punktschätzer mit dem STE verglichen wird (Abbildung 7 [Abb. 7]). Eine Power von über 80% wird somit schon für Szenarien erreicht, die zuvor lediglich nur die 20%-Grenze überschritten haben (vgl. Abbildung 4 [Abb. 4]). Nichtsdestotrotz stellen die der Simulation zugrundeliegenden Annahmen, wie beispielsweise eine wahre Korrelation von 0,85 bzw. 0,9, weiterhin eine praxisferne Herausforderung dar.

Die durchgeführten Simulationen zeigten, dass die im Rapid Report beschriebene Methodik, wonach die untere Grenze des Konfidenzintervalls ausschlaggebend für eine hohe Korrelation bei der Surrogatvalidierung sein soll, eine in der Praxis kaum zu überwindende Hürde darstellt. Bei gering bis moderat angenommener Studienanzahl – wie es für eine Validierung von Surrogatendpunkten im Rahmen der frühen Nutzenbewertung realistisch erscheint – ist die Power selbst bei hoher, wahrer Korrelation äußerst gering. Problematisch erscheint weiterhin die Empfehlung, die Aussagekraft der Studien in die Analyse mit einzubeziehen, auch wenn dies prinzipiell gerechtfertigt erscheint. Bei Betrachtung der Definition des Korrelationskoeffizienten und dessen Dichtefunktion wird zudem klar, dass die empirische Korrelation unter Annahme einer festen wahren Korrelation gar nicht von der Varianz der Einzelschätzer, sondern nur von der Anzahl der Wertepaare abhängt. Die Patientenanzahl hat somit keine Auswirkung auf das Konfidenzintervall der Korrelation. Dies gilt ebenso, wenn Modelle mit Gewichtung der Studien verwendet werden. Die Anwendung des STE-Konzeptes gemäß der im Rapid Report beschriebene Methodik erscheint ebenfalls schwierig. Ein Vergleich des STE mit dem Punktschätzer des Surrogatendpunkts wäre eine Alternative, die in realistischen Szenarien geringe α-Fehler zeigte. Gegebenenfalls kann in weiteren Simulationen überprüft werden, ob eine vorgeschalteter Test (z. B. ob der ein-σ-Bereich der Verteilung des HR_OS unter 1 liegt) den α-Fehler auch in diesen unrealistischen Szenarien kontrolliert.

Die Autoren erklären, dass sie keine Interessenkonflikte in Zusammenhang mit diesem Artikel haben.