gms | German Medical Science

Einleitung: Die Nagelfalzkapillarmikroskopie (NVC) ist eine wichtige diagnostische Methode in der Rheumatologie. Pathologische Veränderungen der Kapillaren gehören zu den Klassifikationskriterien für die systemische Sklerodermie (SSc) [1]. In der klinischen Routine wird ein einfacher „fast-track“ Algorithmus für die Differenzierung zwischen SSc- und Non-SSc-Mustern verwendet [2]. In unserer Studie haben wir ein Deep-learning Modell für die Differenzierung zwischen SSc- und Non-SSc-Mustern in der Kapillarmikroskopie entwickelt und geprüft, ob eine bessere Genauigkeit und Interrater-Reliabilität bei der Anwendung des Modells für die Klassifikation der Bildbefunde durch Ärzte zu erreichen ist.

Methoden: NVC wurde mit einem 5 MP Videokapillarmikroskop (Optilia, Sollentuna, Sweden) durchgeführt. Die Bilder wurden zwei Gruppen zugeordnet: Sklerodermie- und Nicht-Sklerodermie-Muster. Anschließend wurden Bilder einem Training- und einem Test-Set zugeordnet, letzteres für die Einschätzung der Modellleistung mit einem unabhängigen Datensatz. Das Modell haben wir mit Hilfe der „Keras Deep-learning Bibliotheken“ [3] basierend auf einem 2D-gefaltenen neuronalen Netzwerk mit 5-facher Cross-Validierung trainiert (Abbildung 1 [Abb. 1]). Des Weiteren haben wir eine Software entwickelt, um die Bilder aus dem Test-Set in zwei NVC-Muster durch drei unabhängige Ärzt*innen ohne und mit Unterstützung des entwickelten Deep-learning Modells im Sinne von einer „zweiten Meinung“ einzuteilen (Abbildung 2 [Abb. 2]). Die Genauigkeit wurde als Prozent der richtig klassifizierten Bilder dargestellt. Die Interrater-Reabilität wurde mittels Interklassen-Korrelation (ICC) eingeschätzt.

Ergebnisse: 1.176 NVC-Bilder von 80 Patienten wurden analysiert, mit jeweils 976 und 200 Bildern in Training- und Test-Set. Das trainierte Modell zeigte eine 89,44% Genauigkeit mit 95,08% Sensitivität (95% CI 92,77–96,82%), 83,81% Spezifität (95% CI 80,24–86,97%) und einer Area under the curve (AUC) von 0,9617 im Validation-Set, sowie 95% Genauigkeit, 98% Sensitivität (95% CI 92,96–99,76%), 92% Spezifität (95% CI 84,84–96,48%) und AUC von 0,9869 im Test-Set. Bei der Bewertung der NVC-Bilder durch die Ärzt*innen stieg die Genauigkeit nicht signifikant von 92,3% ohne, auf 94,7% mit Unterstützung des AI-Modells an (p=0,3357). Es konnte eine signifikante Besserung des ICC zwischen den Ärzt*innen von 0,761 (95% CI 0,687–0,824) ohne, auf 0,894 (95% CI 0,856–0,924) mithilfe des Modells erreicht werden.

Schlussfolgerung: Trotz einer relativ kleinen Zahl an NVC-Bildern kann unser Deep-learning Modell sehr gut zwischen Sklerodermie- und Nicht-Sklerodermie-Mustern unterscheiden. Die Klassifikation der NVC-Bilder durch Ärzt*innen mithilfe des Modells führt zu einer besseren Übereinstimmung ohne signifikanten Unterschied der Genauigkeit.