gms | German Medical Science

Zielsetzung: Das „Healthcare Integrated Biobanking“ (HIB) beschreibt die Asservierung von überschüssigem klinischem Material für Forschungszwecke. Die Kombination von HIB mit Algorithmen zur klinischen Phänotyp-Identifikation eröffnet die Möglichkeit einer automatisierten zeitnahen gezielten Probensammlung im Rahmen der klinischen Routine. Publizierte Algorithmen sind nicht für die speziellen Anforderungen des HIB konzipiert (z.B. eingeschränkte Verfügbarkeit von Informationen zum Entscheidungszeitpunkt über Probenasservierung) und sind oft nicht an einem unabhängigen Datensatz validiert, so dass insgesamt der Nachweis einer Praxistauglichkeit fehlt [1]. Diese Studie validiert eine definierte Auswahl von Algorithmen zur Identifizierung chronischer Nierenerkrankungen (CKD) bei hospitalisierten Patienten, welche initial durch Weber et al. [2] entwickelt wurden. Die verwendeten klinischen Daten setzen konsequent auf etablierte Infrastrukturen der Medizininformatik-Initiative (MII) und des Netzwerks Universitätsmedizin [3]. Ziel der Validationsstudie ist die Beschreibung der Grenzen, an die man bei der Implementierung der beschriebenen Algorithmen im Rahmen des HIB stößt.

Methoden: Ausgangspunkt der Validierungsstudie sind 635 PatientInnen, die am Universitätsklinikum Jena (UKJ) in einer Pilotphase (09/2020 - 12/2021) der Einführung des „Broad Consent“ der MII [4] eingewilligt hatten. 210 PatientInnen (33%) erfüllten während des Studienzeitraums zwischen 01/2018 - 03/2020 u.a. zusätzliche Kriterien wie die Einwilligung in die Probenasservierung des HIB oder eine Mindestaufenthaltsdauer von 3 Tagen, die für eine realistische Probenasservierung wichtig ist. Daten der elektronischen Gesundheitsakten (EHR) einschließlich Labordaten, Diagnosen und Informationen aus Entlassbriefen wurden analog zu Weber et al.(2) über das Datenintegrationszentrum des UKJ bereitgestellt. Die Identifizierung von PatientInnen mit CKD war das Ziel, wobei die in Weber et al. [2] vorgeschlagene Datenaufbereitung und identischen Algorithmen (inklusive Hyperparameter) verwendet wurden. Als Goldstandard wurde eine ärztliche Festlegung nach einer manuellen Durchsicht der Patientenunterlagen verwendet, die aufwandbedingt bei ausgewählten 162 PatientInnen möglich war. Neben einer detaillierten Sicht auf Implementierungsdefizite der Algorithmen im Falle einer prospektiven Anwendung (z.B. eingeschränkte Datenverfügbarkeit), wurden übliche diagnostische Kriterien berechnet.

Ergebnisse: Die PatientInnen der Validierungsstudie waren im Vergleich zu Weber et al. [2] jünger und wiesen weniger CKD und weniger andere Komorbiditäten auf. Einfache regelbasierte Algorithmen erzielten hingegen maximale F1-Scores und positive prädiktive Werte (PPV) von 0.86 bzw. 0.83. Diese Werte waren geringer als die besten Werte der ursprünglichen Studie. Die auf ML-basierenden Algorithmen erreichten maximale F1-Scores und PPV über 0.93 bzw. 1.00, und somit ähnliche Werte wie in der ursprünglichen Studie. Auch zeigte sich, dass komplexere Algorithmen, die in Weber et al. [2] besser abschnitten, im Fall einer prospektiven Anwendung im Kontext des HIB oft nicht anwendbar waren.

Diskussion und Schlussfolgerung: Ein Teil der Ergebnisse von Weber et al. [2] konnten bestätigt werden. Gründe für die fehlende Bestätigung einiger Ergebnisse könnten „real-world“ Einschränkungen im Rahmen der Rekrutierung und ein möglicher damit verbundenen Bias sein (z.B. Bereitschaft einen „Broad Consent“ zu unterschreiben). Hierauf weisen auch die im Vergleich zur ursprünglichen Stichprobe unterschiedlichen klinischen Charakteristika hin. Die vorliegende Studie unterstreicht die Wichtigkeit von Validierungsstudien zu Phänotypisierungsalgorithmen und zeigt, dass neben diagnostischen Kriterien für die Implementierung von Algorithmen im Rahmen des HIB weitere Aspekte berücksichtigt werden müssen. Zudem ist ein kontinuierliches Monitoring der Algorithmenqualität nach Implementierung zu empfehlen ist, um beispielsweise Veränderungen in der Zusammensetzung der Charakteristika von PatientInnen adressieren zu können.

Die Autoren geben an, dass kein Interessenkonflikt besteht.

Die Autoren geben an, dass ein positives Ethikvotum vorliegt.