gms | German Medical Science

Einleitung: Der Effekt einer medizinischen Intervention ist im Allgemeinen nicht für alle Mitglieder eines Patientenkollektivs identisch, sondern heterogen. Sind die Standardbedingungen für kausale Inferenz gegeben, so ist es möglich, mithilfe von prädiktiven Methoden des maschinellen Lernens für jedes Mitglied einer Patientengruppe einen Behandlungseffekt abhängig von seinen klinischen Baseline-Charakteristika zu schätzen. Für die Schätzung stehen allerdings eine Vielzahl möglicher prädiktiver Methoden zur Auswahl, für welche selbst wiederum Hyperparameter ausgewählt werden müssen. Intuitiv liegt es nahe, die Methode mit den Hyperparametern zu wählen, deren Prädiktion auf einem vorgehaltenen Testdatensatz am besten ist – allerdings gibt es auch zur Evaluation prädiktiver Modelle in der Überlebenszeitanalyse mehrere mögliche Kriterien, etwa den Konkordanz-Index [1] oder den integrierten Brier Score [2]. Bisherige Arbeiten zum heterogenen Behandlungseffekt in der Überlebenszeitanalyse vergleichen die Leistungsfähigkeit verschiedener prädiktiver Methoden zur Schätzung des heterogenen Behandlungseffekts [3] oder Strategien zur Schätzung des heterogenen Effekts anhand eines gegebenen prädiktiven Modells [4], doch gehen sie nicht auf das Thema der Methodenwahl, der Hyperparameterwahl oder Kriterien hierzu ein.

Fragestellung: Welches der Kriterien (Konkordanz-Index, integrierter Brier Score, integrierte Log-Binomale Likelihood) eignet sich zur Modellwahl bei Schätzung des heterogenen Behandlungseffektes bezüglichen welchen Effektmaßes (Hazard-Ratio, Restricted-Mean Survival Time, Mediane Überlebenszeit, Überlebenszeit nach fest gewählter Zeit t) am besten?

Methodik: Die Fragestellung wurde anhand von simulierten Daten untersucht. In einem ersten Schritt wurden die klinischen Baseline-Charakteristika und anhand dieser die Endpunkte mittels der Weibull-Verteilung simuliert. Hierbei wurden verschiedene Szenarien berücksichtigt, unter anderem proportionale und nicht-proportionale Hazards, verschiedene Zensurraten, verschiedene Datensatzgrößen und verschiedene Formen der Abhängigkeit der Ereignisrate von Intervention und Baseline-Charakteristika.

Mittels fünffacher Kreuzvalidierung wurden die simulierten Datensätze in Trainings- und Testmengen unterteilt. Die Trainingsmengen dienten dazu, eine Vielzahl von Modellen zur Prädiktion des beobachteten Endpunkts zu trainieren, darunter penalisierte Cox-Regressionen mit Interaktionstermen, Random Survival Forests und Neural Networks, wobei jeweils verschiedene Hyperparameter verwendet wurden. Diese Modelle wurden anhand der in der Fragestellung aufgelisteten unterschiedlichen Kriterien auf dem Testdatensatz evaluiert.

Für jedes Kriterium wurde jeweils das diesbezüglich auf den Testdaten beste Modell ausgewählt, um zu untersuchen, inwieweit sich die aus ihnen berechneten heterogenen Behandlungseffekte von den tatsächlichen auf dem Testdatensatz unterscheiden. Dies wurde für alle in der Fragestellung genannten Effektmaße durchgeführt, als Maß für die Genauigkeit des Schätzers hierfür wurde die Quadratwurzel des mittleren quadratischen Fehlers genutzt.

Ergebnisse: Vorläufige Ergebnisse deuten darauf hin, dass es bei der Modellauswahl anhand des integrierten Brier-Scores oder des integrierten Log-Binomialen Likelihoods zu erheblich geringeren Abweichungen bei Schätzung des Effektmaßes kommt als bei der Auswahl anhand der Konkordanz. Der integrierte Brier-Score und die integrierte Log-Binomiale Likelihood führen zu sehr ähnlichen Resultaten. Dies gilt unabhängig von den gewählten Simulationseinstellungen, dem gewählten Effektmaß oder der verwendeten prädiktiven Methode.

Schlussfolgerung: Der Konkordanz-Index ist weit verbreitet und interpretierbar, dennoch eignen sich der integrierte Brier-Score und die integrierte Log-Binomiale Likelihood besser für die Modellauswahl zur Bestimmung heterogener Behandlungseffekte.

Die Autoren geben an, dass kein Interessenkonflikt besteht.

Die Autoren geben an, dass kein Ethikvotum erforderlich ist.