gms | German Medical Science

Einleitung: Das akute Lungenversagen (engl. Acute Respiratory Distress Syndrome, ARDS), ein heterogenes Krankheitsbild, das erstmals 1967 von Ashbaugh et al. empirisch beschrieben wurde [1], betrifft viele Patienten auf der Intensivstation (ICU) und hat lebensbedrohliche Folgen. Die frühzeitige Erkennung dieses Zustands wurde mit einem besseren Behandlungsergebnis für die Patienten in Verbindung gebracht [2], [3], was die Notwendigkeit einer frühzeitigen Diagnose unterstreicht und einen fruchtbaren Boden für die Forschung im Bereich der künstlichen Intelligenz (KI) für medizinische Anwendungen bietet. Unsere Arbeit nutzt modulare High-Performance Computing (HPC)-Ressourcen, Techniken des maschinellen Lernens (ML) und des Deep Learning (DL), skalierbare Methoden zur Abstimmung von Hyperparametern [4], empirisch verifizierte mechanistische Modelle [5], Fachwissen im Bereich der Datenanalyse und physiologische Daten aus der Intensivmedizin mit dem Ziel, ein Diagnosewerkzeug zu entwickeln, das medizinisches Personal bei der Erkennung von Markern für den Beginn von ARDS unterstützt.

Methoden: Wir setzen spezialisierte Hard- und Software ein, um so eine Plattform auf dem Dynamic Exascale Entry Platform – Extreme Scale Technologies (DEEP-EST) Cluster des Jülich Supercomputing Centre (JSC) aufzubauen. Die Modular Supercomputing Architecture (MSA) dieses Systems erlaubt es uns, Softwaremodule einfach zu laden und den Speicher und die Rechenleistung zu erweitern, wenn wir sie für unsere Arbeit benötigen. Hierbei verwenden wir die für Data-Science- und ML-Anwendungen notwendigen Python-Module wie Numpy, Pandas, Tensorflow, Keras und Scikit-Learn sowie solche, die speziell für das Tuning von Hyperparametern entwickelt wurden: KerasTuner und Ray. Was die Ressourcennutzung auf dem Supercomputing-Cluster betrifft, so haben wir unseren Code so konzipiert, dass er die verfügbaren GPUs auf den Rechenknoten auf skalierbare Weise nutzt. Tabelle 1 [Abb. 1] zeigt, welche Ressourcen auf jeder Partition des DEEP-Clusters verfügbar sind.

Der Physiologie-Simulator, der von Hardman et al. entwickelt wurde, ist als MATLAB-Skript verfügbar, was seine Skalierung und Implementierung in Krankenhäusern erschwert. Portieren wir ihn mit MATLAB Coder in die Programmiersprache C, laden ihn dann auf den Cluster hoch und nutzen ihn, um mehrere Simulationen parallel laufen zu lassen. Die Simulationen verwenden als Eingabe Daten, die auf der Grundlage der MIMIC-III-Datenbank und dem Universitätsklinikum Aachen (UKA) generiert wurden, und geben eine Reihe von Parametern aus, die für die Diagnose von ARDS verwendet werden können, nämlich PaO2, PaCO2 und Parameter des Säure-Basen-Haushaltes im Blut. Die Eingabe und Ergebnisse der Simulationsläufe werden dann bereinigt, zusammengeführt und zum Trainieren des ML-Modells verwendet.

Anstelle der Simulation kann ein lineares DL-Modell verwendet werden, was den Platz- und Zeitbedarf für die Vorhersage der ausgewählten Parameter reduziert. Es wurden mehrere Modellarchitekturen getestet, wie z.B. künstliche neuronale Netze (ANNs) und Convolutional Neural Networks (CNNs) (siehe Abbildung 1 [Abb. 1]).

Darüber hinaus wurden die Parameter der leistungsstärksten Modelle mit Hilfe der Ray Tune weiter abgestimmt, um die Leistung zu maximieren. Die Abstimmung der Hyperparameter erfolgte mit Hilfe von Schedulern, darunter Hyperband, Population-Based Training (PBT), und Asynchronous Hyperband (ASHA).

Ergebnisse: Erste Tests wurden durchgeführt, um zu überprüfen, ob das übertragene Modell die gleiche Leistung erbringt wie die ursprüngliche MATLAB-Simulation. Die Ergebnisse mehrerer Testläufe bestätigten diese Hypothese, wobei eine erhebliche Beschleunigung erzielt wurde, wie aus Tabelle 2 [Tab. 1] ersichtlich ist.

Die CNN-basierten DL-Modelle übertrafen die ANN-Modelle: Die Trainingszeiten waren bei einer größeren Anzahl von Epochen deutlich kürzer, die Validierungsgenauigkeit war höher (90%), und die Rate der Überanpassungen war erheblich geringer. Darüber hinaus konnten wir mit diesem Ansatz eine Kombination von Parametern grob abschätzen, die zu angemessenen Ergebnissen führte und die durch eine Optimierung der Hyperparameter verbessert werden konnte.

Durch den Einsatz von Ray Tune mit verschiedenen Schedulern konnten wir die ideale Parameterkombination für das Training herausfinden und gleichzeitig die Leistung der ausgewählten Scheduler vergleichen.

Diskussion: Die am JSC verfügbaren HPC-Systeme ermöglichten es, eine Fülle von Daten zu generieren, mit denen ein KI-Modell trainiert werden konnte. Dieser Schritt der Datengenerierung macht die Modelle empfindlicher und robuster gegenüber kleinen Änderungen in den Daten. Die Durchführung dieses Schritts auf lokalen Computern wäre angesichts des Umfangs der Operation unmöglich gewesen.

Auch das Erstellen, Trainieren und Abstimmen der Modelle war nur mit Hilfe von MSA, JupyterLab und dem Online-Speicher möglich. Dies gilt insbesondere für das Hyperparameter Tuning, bei dem mehrere Versuche gleichzeitig durchgeführt werden mussten.

Schließlich benötigt das exportierte Modell keine proprietäre Software, um ausgeführt zu werden, ist extrem portabel und kann offline mit Patientendaten verwendet werden, wodurch es leicht auf der Intensivstation implementiert werden kann, ohne die Sicherheit der in ihr enthaltenen Daten zu gefährden.