gms | German Medical Science

19. Deutscher Kongress für Versorgungsforschung

Deutsches Netzwerk Versorgungsforschung e. V.

30.09. - 01.10.2020, digital

Die Analyse von CIRS-Berichten aus der Notfallmedizin mittels Natural Language Processing

Meeting Abstract

  • Laura Tetzlaff - Technische Hochschule Brandenburg, Fachbereich Informatik und Medien, Brandenburg an der Havel, Deutschland
  • Eberhard Beck - Technische Hochschule Brandenburg, Fachbereich Informatik und Medien, Brandenburg an der Havel, Deutschland
  • Marc Lazarovici - Institut für Notfallmedizin und Medizinmanagement, Klinikum der Universität München, München, Deutschland
  • Bert Urban - Institut für Notfallmedizin und Medizinmanagement, Klinikum der Universität München, München, Deutschland
  • Thomas Schrader - Technische Hochschule Brandenburg, Fachbereich Informatik und Medien, Brandenburg an der Havel, Deutschland

19. Deutscher Kongress für Versorgungsforschung (DKVF). sine loco [digital], 30.09.-01.10.2020. Düsseldorf: German Medical Science GMS Publishing House; 2020. Doc20dkvf362

doi: 10.3205/20dkvf362, urn:nbn:de:0183-20dkvf3627

Veröffentlicht: 25. September 2020

© 2020 Tetzlaff et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Gliederung

Text

Hintergrund: Natural Language Processing (NLP) ist eine Analysestrategie aus dem Bereich des Maschinenlernens und der Künstlichen Intelligenz zur Erschließung von Texten [1]. Angewandt auf Berichte eines Critical Incident Reporting Systems (CIRS) ergeben sich neue Möglichkeiten, Informationen über Motivation, den Fokus und Stimmung der Berichtenden zu erschließen [2]. Wird CIRS als Indikator der Sicherheitskultur einer Einrichtung verstanden, lassen sich dazu wichtige Schlussfolgerungen ziehen. Es können inhaltlichen Schwerpunkte und Themen identifizieren werden, über die nicht oder wenig berichtet wird.

Fragestellung: Die Analyse des vorliegenden Berichtsystems hatte das Ziel, grundlegende Muster in den Berichten zu erkennen und zu beschreiben.

Methode: Aus einem öffentlichen Berichtsystem wurden alle eingegangenen Berichte nach Excel exportiert und analysiert. Aus den 140 Berichten wurden die Felder der Ereignisbeschreibung und des Kommentars bezüglich der Textlängen, der verwendeten Wörter, der Wortkombinationen und des Sentiments untersucht. Die Analyse erfolgte mittels Python unter Verwendung von verschiedenen Bibliotheken des NLP (NLTK, Spacy, Textblob).

Ergebnisse: Die Ereignisbeschreibung enthielten durchschnittlich 84,7 Wörter (Minimum: 5 Wörter, Maximum: 359 Wörter). Zum Vergleich: eine normale Seite hat ca. 300 Wörter. Die Kommentare enthielten durchschnittlich 427,5 Wörter (Minimum: 5 Wörter, Maximum: 2055 Wörter). Die häufigsten Wörter waren Wortvarianten von Patient*in, Notfalleinsatzfahrzeug, Leitstelle und Rettungswagen, woraus sich der Fokus des Berichtssystems erschließen lässt. Weitere häufige Wörter sind: Ampulle, übergeben, Meldung und Aktualisierung. Die Sentimentanalyse ergab keine Korrelation der Stimmung von Fallberichten und Kommentaren. Insgesamt war die Streuung der Sentimentwerte unter den Ereignisberichten größer als bei den Kommentaren.

Diskussion: Aus den Berichten lassen sich die Themenschwerpunkte der Melder*innen erschließen. Zu erkennen sind auch die Themen, die offenbar nicht im Vordergrund stehen, z. B. Infektionsprobleme. Die Berichte sind in der Regel eher kurz. Es wird über Probleme berichtet, aber der Zeitaufwand zum Berichten wird kurzgehalten. Ausführlich fallen die Kommentare aus, was durch eine Fallanalyse in einer eigenen Kommission begründet ist. Die Stimmung in den Berichten unterliegt größeren Schwankungen als in den Kommentaren.

Praktische Implikationen: Das Berichten von Fehlern ist immer ein schwieriger Prozess, der ein hohes Engagement voraussetzt. Die Kürze der Berichte stellt Herausforderungen an die Analysierbarkeit. Für die Motivation der Melder*innen ist es wichtig, dass sie ein positives Feedback erhalten, weshalb das Sentiment der Kommentare sehr wichtig ist.


Literatur

1.
Bird S, Klein E, Loper E. Natural Language Processing with Python: Analyzing Text with the Natural Language Toolkit. O’Reilly Media; 2009.
2.
Gunkel C, Rohe J, Hahnenkamp C, Thomeczek C. CIRS – Gemeinsames Lernen durch Berichts-und Lernsysteme. 2013 [cited 2020 Jan 8]. (äzq Schriftreihe; 42). Verfügbar unter: https://www.patienten-information.de/mdb/edocs/pdf/schriftenreihe/schriftenreihe42.pdf Externer Link