gms | German Medical Science

Einleitung: Bei der gesetzlich vorgeschriebenen Tumordokumentation müssen Tumordiagnosen anhand des ICD-10-Katalogs kodiert und mit dem Erstdiagnosedatum erfasst werden [1]. Dokumentationsfachkräfte extrahieren diese Angaben derzeit manuell aus der Behandlungsdokumentation. Large Language Models (LLMs) können dabei helfen, weil sie umfangreiches Wissen integriert haben und komplexe Zusammenhänge in Texten erfassen können.

LLMs wie ChatGPT für die medizinische Dokumentation zu benutzen wurde bis jetzt vor allem im englischsprachigen Raum untersucht [2]. Praxisrelevant für die personenbezogene klinische Dokumentation in Deutschland ist es jedoch, deutsche Texte und Modelle zu betrachten, die auch lokal innerhalb der Kliniksinfrastruktur datenschutzkonform eingesetzt werden können.

Ziel dieser Evaluation ist es, die Fähigkeiten aktueller, lokal installierbarer Open-Source LLMs für die Tumordokumentation quantitativ und qualitativ zu analysieren. Dabei liegt der Fokus auf der Extraktion von Daten zu Tumordiagnosen in Arztbriefen.

Methodik: Datengrundlage sind 153 Arztbriefe von mittlerweile verstorbenen Patienten aus der Urologie der Universitätsmedizin Mainz in Form von PDF-Dateien. Alle Dokumente wurden vor der Verwendung manuell auf personenbezogene Daten überprüft und anonymisiert.

Aus den Arztbriefen wurden die diagnoserelevanten Abschnitte extrahiert und anschließend manuell die Diagnose als ICD-10-Code sowie die dazugehörige Datumsangabe annotiert. Daraus resultieren 149 annotierte Textabschnitte. Von diesen haben 110 mindestens eine Tumordiagnose und 23 mehrere Diagnosen. Bei 82 existiert ein mindestens monats- oder jahresgenaues Diagnosedatum. Die Texte beschreiben Prostatakarzinome (n=99), Urothelkarzinome (n=16) sowie sechs weitere Arten von Tumordiagnosen (n=34).

Den LLMs werden die Diagnoseabschnitte zusammen mit Fragen zur Tumordiagnose als Benutzereingabe (Prompts) übergeben, um strukturierte Antworten zu erhalten. Anschließend werden die Antworten mit den annotierten Informationen verglichen. Um die Antwortqualität zu verbessern und die Effektivität unterschiedlicher Prompts zu evaluieren, werden dem LLM beim Few-Shot-Prompting mehrere Beispiele präsentiert, die verdeutlichen, wie die Antwort aussehen soll [3].

Ergebnisse: Verschiedene Sprachmodelle, insbesondere Llama 3 [4] und Mistral-7B [5], zeigen gute Ergebnisse. Mit diesen Modellen können Werte von über 90-95% für die Sensitivität und Spezifität bei der Erkennung von Tumordiagnosen erzielt werden.

Eine ausführliche Erläuterung des gefragten Konzepts (hier der Tumordiagnose) im Prompt führt zu genaueren Antworten. Auch die beim Few-Shot-Prompting verwendeten Beispiele sowie deren Formatierung haben einen Einfluss auf die Genauigkeit der Erkennung von Tumordiagnosen, deren ICD-Codes sowie der zugehörigen Datumsangaben.

Diskussion: Die Kodierung von Diagnosen in ICD-10-Codes ist für LLMs schwieriger als die alleinige Extraktion der Tumordiagnosen als Text. Jedoch konnten wir dabei deutlich bessere Ergebnisse erzielen als anderweitig in der Literatur beschrieben wurde [2]. Dies liegt vermutlich unter anderem daran, dass die Anzahl der Codes für Tumordiagnosen geringer ist und diese einfacher zu kodieren sind als allgemein abrechnungsrelevante Diagnosen.

Die Evaluation weist auf das Potential der aktuell verfügbaren LLMs zur Verwendung in der Tumordokumentation hin. Ein limitierender Faktor unserer Ergebnisse ist zunächst die ausschließliche Konzentration auf urologische Arztbriefe aus einem Haus. Dennoch lassen die Ergebnisse allgemeine Schlüsse auf die Fähigkeiten der LLMs zu, da die betrachteten Konzepte stellvertretend für ähnliche Fragestellungen sein können.

Schlussfolgerung: Unsere Arbeit beschreibt an einem konkreten Anwendungsfall die Nutzung von frei verfügbaren LLMs zur Tumordokumentation. Sie evaluiert, welche Modelle vielversprechend sind, um sie für den praktischen Einsatz weiterzuentwickeln, und zeigt auch Herausforderungen in diesem Bereich auf.

Die Autoren geben an, dass kein Interessenkonflikt besteht.

Die Autoren geben an, dass kein Ethikvotum erforderlich ist.