gms | German Medical Science

Gesundheit – gemeinsam. Kooperationstagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie (GMDS), Deutschen Gesellschaft für Sozialmedizin und Prävention (DGSMP), Deutschen Gesellschaft für Epidemiologie (DGEpi), Deutschen Gesellschaft für Medizinische Soziologie (DGMS) und der Deutschen Gesellschaft für Public Health (DGPH)

08.09. - 13.09.2024, Dresden

Artikel

Artikel empfehlen

Zero-Shot LLMs for Named Entity Recognition: Targeting Cardiac Function Indicators in German Clinical Texts

Meeting Abstract

Suche in Medline nach

  • Lucas Plagwitz - Institut für Medizinische Informatik, Universität Münster, Münster, Germany; Interdiziplinäres Zentrum für Klinische Forschung (IZKF) Münster, Münster, Germany
  • Philipp Neuhaus - Institut für Medizinische Informatik, Universität Münster, Münster, Germany
  • Kemal Yildirim - Institut für Medizinische Informatik, Universität Münster, Münster, Germany
  • Julian Varghese - Universität Münster, Institut für Medizinische Informatik, Münster, Germany
  • Antonius Büscher - Klinik für Kardiologie II: Rhythmologie, Münster, Germany; Institut für Medizinische Informatik, Universität Münster, Münster, Germany; Interdiziplinäres Zentrum für Klinische Forschung (IZKF) Münster, Münster, Germany
  • Noah Losch - Institut für Medizinische Informatik, Universität Münster, Münster, Germany

Gesundheit – gemeinsam. Kooperationstagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie (GMDS), Deutschen Gesellschaft für Sozialmedizin und Prävention (DGSMP), Deutschen Gesellschaft für Epidemiologie (DGEpi), Deutschen Gesellschaft für Medizinische Soziologie (DGMS) und der Deutschen Gesellschaft für Public Health (DGPH). Dresden, 08.-13.09.2024. Düsseldorf: German Medical Science GMS Publishing House; 2024. DocAbstr. 621

doi: 10.3205/24gmds078, urn:nbn:de:0183-24gmds0780

Veröffentlicht: 6. September 2024

© 2024 Plagwitz et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.

Gliederung

Text

Large Language Models (LLMs) like ChatGPT have become increasingly prevalent. In medicine, many potential areas arise where LLMs may offer added value. Our research focuses on the use of open-source LLM alternatives like Llama 3, Gemma, Mistral, and Mixtral to extract medical parameters from German clinical texts. We concentrate on German due to an observed gap in research for non-English tasks. In detail, we extracted 14 cardiovascular function indicators, including left and right ventricular ejection fraction (LV-EF and RV-EF), from 497 variously formulated cardiac magnetic resonance imaging (MRI) reports. Our systematic analysis confirms strong performance with up to 95.4 % right annotation (99.8 % named entity recognition (NER) accuracy) across different architectures, despite the fact that these models were not explicitly fine-tuned for data extraction and German language. This results in a strong recommendation to use open-source LLMs for extracting medical parameters from clinical texts, including those in German.

The authors declare that they have no competing interests.

The authors declare that a positive ethics committee vote has been obtained.