gms | German Medical Science

23. Deutscher Kongress für Versorgungsforschung

Deutsches Netzwerk Versorgungsforschung e. V.

24.09. - 27.09.2024, Potsdam

Alles besser mit KI? Ein Vergleich von ML-Methoden und klassischen Regressionsmodellen zur Vorhersage poststationärer Ereignisse

Meeting Abstract

  • Thorsten Pollmann - aQua-Institut GmbH, Göttingen, Deutschland
  • Lisa Weller - aQua-Institut GmbH, Göttingen, Deutschland
  • Paula Starke - aQua-Institut GmbH, Göttingen, Deutschland
  • Jacqueline Metsch - Institut für Medizinische Informatik - Universitätsmedizin Göttingen, Deutschland
  • Miriam Maurer - Institut für Medizinische Informatik - Universitätsmedizin Göttingen, Deutschland
  • Zully Ritter - Institut für Medizinische Informatik - Universitätsmedizin Göttingen, Deutschland
  • Anne-Christin Hauschild - Institut für Medizinische Informatik - Universitätsmedizin Göttingen, Deutschland
  • Matthias Kretzler - BKK Dachverband e.V., Berlin, Deutschland
  • Thomas Grobe - aQua-Institut GmbH, Göttingen, Deutschland

23. Deutscher Kongress für Versorgungsforschung (DKVF). Potsdam, 25.-27.09.2024. Düsseldorf: German Medical Science GMS Publishing House; 2024. Doc24dkvf218

doi: 10.3205/24dkvf218, urn:nbn:de:0183-24dkvf2183

Published: September 10, 2024

© 2024 Pollmann et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. See license information at http://creativecommons.org/licenses/by/4.0/.


Outline

Text

Hintergrund: Im Innovationsfondsprojekt KI-THRUST (Förderkennzeichen: 01VSF20014) wird untersucht, wie gut sich strukturierte GKV-Routinedaten mit Verfahren der Künstlichen Intelligenz (KI) aus dem Bereich des Maschinellen Lernens (ML) analysieren lassen, um poststationäre Versorgungsbedarfe und unerwünschte Ereignisse vorherzusagen. Perspektivisch sollen die Prognosen für die Entscheidungsunterstützung in der Gesundheitsversorgung (z.B. im Entlassmanagement) genutzt werden können.

Zielsetzung: Im Projekt werden unterschiedliche KI-gestützte Prädiktionsmodelle entwickelt und hinsichtlich Ihrer Eignung zur Vorhersage bestimmter Ereignisse mit logistischen Regressionsmodellen verglichen. Zudem ist es Ziel des Projektes, ein Weißbuch zu erstellen, das a) KI-Expertinnen und -Experten einen Einblick in GKV-Routinedaten liefert und b) Analystinnen und Analysten von Routinedaten Ansätze zum Einsatz von KI-Techniken vermittelt.

Methode: Grundlage bilden Routinedaten der vier projektbeteiligten Betriebskrankenkassen (BAHN-BKK, Novitas BKK, Pronova BKK, Siemens-BKK) zu ca. 1,4 Mio. Versicherten mit mindestens einer Entlassung aus dem Krankenhaus in den Jahren 2015 bis 2020. Bereitgestellt wurden Versichertenstammdaten, ambulante und stationäre Daten, Arzneimittel- und Hilfsmittelverordnungsdaten sowie Informationen zum Pflegegrad. Nach der Datenaufbereitung und -splittung in Trainings- und Testdaten (80:20) wurden zunächst logistische Regressionsmodelle sowie unterschiedliche ML-Modelle (Entscheidungsbäume, Random Forest, Neuronale Netze, Adaptive Boosting) trainiert. Anschließend wurde auf Basis der Testdaten die Performance der Modelle anhand etablierter Metriken (z.B. AUROC, AUPRC) verglichen.

Ergebnisse: Aus dem Projekt werden vorläufige Ergebnisse zum Benchmarking der Prädiktionsmodelle vorgestellt und unter praxisrelevanten Gesichtspunkten, wie den Implementierungserfordernissen sowie der Erklär- und Darstellbarkeit der Ergebnisse, diskutiert. Hierbei werden nicht nur die Stärken und Schwächen der verschiedenen Modellierungsverfahren herausgearbeitet, sondern auch konkrete Empfehlungen für die praktische Anwendung abgeleitet.

Implikation für Forschung und/oder (Versorgungs-)Praxis: Aus der Nutzung von Gesundheitsdaten zu prognostischen Zwecken mittels Künstlicher Intelligenz ergeben sich unzählige Anwendungsmöglichkeiten in der Gesundheitsversorgung, vor allem im Bereich der Entscheidungsunterstützung. Die Tauglichkeit solcher Systeme hängt allerdings maßgeblich von der Datenverfügbarkeit sowie der Genauigkeit und Nachvollziehbarkeit der Vorhersagen ab. Hierzu soll das Projekt KI-THRUST einen substanziellen Beitrag leisten, indem nicht nur aktuelle Modellierungsverfahren aus dem Bereich der Künstlichen Intelligenz evaluiert werden, sondern auch die konkrete Umsetzung anhand von GKV-Routinedaten demonstriert wird.

Förderung: Innovationsfonds/Versorgungsforschung; Projektname: KI-THRUST; Fördernummer: 01VSF20014