gms | German Medical Science

Hintergrund: In der sich schnell entwickelnden Gesundheitsforschung stehen Forschende vor der Herausforderung, innovative Methoden zur Datenanalyse zu integrieren, um präzisere und effektivere Ergebnisse zu erzielen. Methoden des maschinellen Lernens (Machine Learning, ML) sowie der künstlichen Intelligenz (KI) finden hierzu immer mehr Anwendung. Während 2019 auf Pubmed noch n=12.669 Publikationen mit dem Schlagwort ML zu finden waren stieg diese Zahl auf n=33,498 Publikationen in 2023. Jedoch ist nicht immer klar, welchen Mehrwert die Verwendung von ML-Methoden im Vergleich zu traditionelleren statistischen Methoden wie z.B. logistischen Regressionsanalysen haben.

Zielsetzung: Das Ziel dieser Untersuchung bestand darin zu prüfen, ob neuere statistische Analysemethoden (hier ML) zur Verbesserung der Analyse führen können.

Methode: Verglichen wurden die Ergebnisse (Effektschätzer und Modellgüte) von klassischen Regressionsmodellen mit den Ergebnissen von mehreren supervisierten ML Methoden, hierunter Linear Discriminant Analysis (LDA), Classification and Regression Trees (CART), Support Vector Machines (SVM), Random Forest (RF) sowie K-Nearest-Neighbor (KNN). Verwendet wurden Registerdaten des GestDiab-Registers der Jahre 2018 bis 2020. GestDiab ist deutschlandweit das größte Register zu Diabetes in der Schwangerschaft und wird seit 2008 von der winDiab gGmbH (wissenschaftliches Institut der niedergelassenen Diabetologen) koordiniert. Das Register bildet den Versorgungsprozess von schwangeren Frauen mit einer Blutzuckerstörung (Diabetes Typ 1 und Typ 2, Gestationsdiabetes) in diabetologischen Schwerpunktpraxen (DSP) mit Schwerpunkt in der Region Nordrhein ab. Im ersten Schritt wurden die Gesamtbeobachtungen (n=16.640) in Testdatensatz (80%) und Validierungsdatensatz (20%) per Zufallsprinzip unterteilt. Im zweiten Schritt wurden die Methoden auf dem Testdatensatz unter Anwendung von 10-Fold Cross Validation auf folgende zwei Fragenstellungen ausgeführt: 1. Welche Faktoren beeinflussen die Teilnahme am postpartalen Diabetesscreening? 2. Welche Faktoren beeinflussen das Testergebnis des postpartalen Diabetesscreening? Die Modelle wurden mittels Accuracy und Cohens-Kappa-Koeffizient verglichen. Das beste ML-Modell mit den größten Accuracy und Kappa (d.h. mit der besten Anpassung an den Daten) wurde je Fragestellung ermittelt. Im nächsten Schritt wurden die so favorisierten Modelle auf dem Validierungsdatensatz getestet.

Ergebnisse: Die ML-Methoden weisen bisher bei der ersten Fragestellung keinen signifikanten Mehrwert im Erkenntnisgewinn oder der Genauigkeit im Vergleich zu traditionelleren statistischen Methoden auf. Beispielsweise waren die (mediane) Accuracy und Kappa der LDA mit 59,3% respektive 14,9% im Vergleich zur log. Regression (59,1%, respektive 14,7%) sehr vergleichbar. Allerdings kann man die Anwendung von ML-Methoden als eine Art Sensitivitätsanalyse sehen, welche die Ergebnisse der klassischen statistischen Methoden untermauert. Bis zum Kongress werden die weiteren Ergebnisse aus dem Projekt vorliegen.

Implikation für Forschung und/oder (Versorgungs-)Praxis: Das Projekt bietet einen Einblick in die Anwendbarkeit von ML-Methoden in der Gesundheitsforschung und kann zu einer differenzierten Bewertung der neueren statistischen Methoden beitragen.

Förderung: Sonstige Förderung; Projektname: Prävention und Komplikationen – Analysen auf Basis von großen Datensätzen (Big data); Fördernummer: 82DZD02D03 durch Deutsches Zentrum für Diabetesforschung (DZD)