gms | German Medical Science

Hintergrund: Die Versorgungsforschung findet in den letzten Jahren immer mehr Beachtung im Bereich der medizinischen Forschung. Sie wird mittlerweile als deren dritte Stütze neben biomedizinischer und klinischer Forschung angesehen. Besonderes Merkmal der Versorgungsforschung -im Gegensatz zu klinischen Studien- ist, dass sie medizinische Fragestellungen unter Alltagsbedingungen untersucht. Ein grundlegendes Problem beider Disziplinen bzw. der empirischen Forschung insgesamt ist das Vorliegen fehlender Werte, vor allem hinsichtlich der statistischen Auswertung entsprechender Studiendaten. Am bedeutendsten zu nennen sind hierbei sicherlich die eventuelle Verzerrung von Parameterschätzern, sowie die Einschränkung der zur Verfügung stehenden Analysemethoden und der Verallgemeinerbarkeit der Analyseergebnisse. Bisher gab es in der Versorgungsforschung jedoch nur wenige Bestrebungen, sich aktiv mit dieser Problematik auseinanderzusetzen, obwohl verschiedene Aspekte dies eigentlich erfordern würden.

Methodik: Im Rahmen eines von der Nachwuchsakademie Versorgungsforschung Baden-Württemberg geförderten Projektes sollte daher untersucht werden, welche Strategien und Methoden zur Fehlwertersetzung speziell in einem für die Versorgungsforschung typischen Modellrahmen anwendbar sind, um valide Ergebnisse zu erhalten. Auf der Basis eines realen Datenbeispiels aus der psychiatrischen Versorgungsforschung wurde eine Simulationsstudie mit verschiedenen, künstlich erzeugten Fehlwertszenarien durchgeführt, um die Einsetzbarkeit zuvor identifizierter Ersetzungsmethoden im Rahmen einer Effektschätzung zu untersuchen. Hierzu wurde eine Propensity Score (PS)-adjustierte Schätzung eines Behandlungseffektes als typisches Auswertungsmodell der Versorgungsforschung betrachtet. Aufgrund des oftmalig beobachtenden Charakters entsprechender Studien der Versorungsforschung stellen PS-basierte Auswerungsmodelle eine relevante Methodik dar. Die Analysestrategie zur Auswertung der Simulationen umfasst zwei Modelle: (i) ein multiples lineares Regressionsmodell zur Evaluierung des PS-adjustierten Einflusses der gewählten Therapieform auf eine stetige Zielgröße und (ii) ein logistisches Regressionsmodell zur Bestimmung der PS in Abhängigkeit relevanter Kovariablen. Die Simulationen umfassen verschiedene Ersetzungsmethoden (Mean Imputation, Regression Imputation, Multiple Imputation (MI)) bzw. eine Complete Case-Analyse (CCA), bei der nur vollständige Fälle für die Analyse berücksichtigt werden. Es wurden künstlich verschiedene Fehlwertmechanismen (Missing Completely At Random, Missing At Random) erzeugt mit unterschiedlichen Fehlwertanteilen im Datensatz (5%, 20%, 50%). Zum Ergebnisvergleich wurden neben den Regressionskoeffizienten auch die dazugehörigen 95%-Konfidenzintervalle berechnet, sowie die c-Statistik zur Beurteilung der Prognosegüte des logistischen Modells.

Ergebnisse: Die Simulationen zeigen, dass die erwartete Überlegenheit der MI-Ansätze im betrachteten Modellrahmen (Kombination aus (i) Schätz- und (ii) Prädiktionsmodell) nicht bestätigt werden kann. Alle untersuchten Varianten zum Umgang mit fehlenden Werten führten zu teilweise stark verzerrten Effektschätzern, deren inhaltliche Bedeutung jedoch zu vernachlässigen ist. Insbesondere die Anwendung von CCA resultierte in zu breiten Konfidenzintervallen für den interessierenden Punktschätzer. Eine MI-Variante generierte sogar gegensätzliche Effektschätzer (-0.002 bwz. -0.001 vs. 0.003) bei einem noch geringen Anteil von 5% Fehlwerten im Datensatz, wenngleich die relative Abweichung zum Originalwert noch im Rahmen ist. Der Wert der c-Statistik des logistischen Modells zur Bestimmung der PS lag für alle Szenarien zwischen 0.614 (MI, Mean Imputation) und 0.664 (CCA), eine bedeutende Abweichung zum Referenzwert von 0.634 ist damit nicht gegeben. Es bestehen zudem keine auffälligen Zusammenhänge zwischen den Werten der c-Statistik als einfaches Maß der Prognosegüte und simuliertem Fehlwertanteil bzw. Fehlwertmechanismus. Das mäßige Abschneiden der als Standard angesehenen MI-Ansätze überraschte, insgesamt könnten die Simulationen ein Hinweis darauf sein, dass diese Ansätze in einem kombinierten Modellrahmen nicht zwangsläufig zu akzeptablen Schätzungen der primären Zielgröße führen.

Diskussion/Schlussfolgerung: Grundsätzlich sollte sich die Versorgungsforschung aktiver als bislang mit der Problematik fehlender Werte auseinandersetzen. Dieses Fazit ist aus den für das Projekt notwendigen Recherchen zu ziehen die offenbarten, dass dem Thema nur wenig Beachtung zukommt. Grund hierfür ist hauptsächlich das Bestreben, die Ergebnisse aus Studien der Versorgungsforschung auf eine fundierte Basis zu stellen. Die Resultate der durchgeführten Simulationsstudie sind ein Hinweis darauf, dass die etablierten Ersetzungsstrategien in speziellen Analysesituationen (z.B. ein kombinierter Modellrahmen aus Prognose und Effektschätzung) eventuell anders zu bewerten sind. Dies sollte im Rahmen weiterer Analysen überprüft werden.