gms | German Medical Science

GMDS 2015: 60. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e. V. (GMDS)

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie

06.09. - 09.09.2015, Krefeld

Semantische Analyse von OP-Berichten – Bewertung einer automatisierten Analyse hinsichtlich Recall, Precision und Praxistauglichkeit

Meeting Abstract

  • Markus Stein - ETHIANUM Betriebsgesellschaft mbH, Heidelberg, Deutschland
  • Annett Müller - Deutsches Mikrofilm Institut, Münster, Deutschland
  • Kristin Irsig - ID Information und Dokumentation im Gesundheitswesen GmbH & Co. KGaA, Berlin, Deutschland
  • Christin Schatz - ETHIANUM Betriebsgesellschaft mbH, Heidelberg, Deutschland
  • Till Kolter - ID Information und Dokumentation im Gesundheitswesen GmbH & Co. KGaA, Berlin, Deutschland
  • Mark Neumann - ID Information und Dokumentation im Gesundheitswesen GmbH & Co. KGaA, Berlin, Deutschland

GMDS 2015. 60. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V. (GMDS). Krefeld, 06.-09.09.2015. Düsseldorf: German Medical Science GMS Publishing House; 2015. DocAbstr. 129

doi: 10.3205/15gmds195, urn:nbn:de:0183-15gmds1952

Published: August 27, 2015

© 2015 Stein et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. See license information at http://creativecommons.org/licenses/by/4.0/.


Outline

Text

Einleitung: In den letzten Jahren hat sich in deutschen Kliniken mehrheitlich das Modell von Kodierfachkräften zur Ermittlung der DRGs auf Basis einer Patientenaktenanalyse etabliert [1]. In operativ tätigen Fachbereichen wird nach wie vor eine Vorkodierung der Prozeduren durch die behandelnden Ärzte verlangt. Die Güte der Kodierqualität schwankt jedoch und hängt stark von der Klassifikationskenntnis sowie der Motivation der Ärzte ab. Da eine große Zahl an DRGs von der Qualität in der Prozedurenverschlüsselung abhängt, stellt sich die Frage, ob automatisierte Tools zur semantischen Analyse von OP-Berichten hier einen sinnvollen Beitrag leisten können. Sinnvoll definiert sich zum einen in der vollständigen Ermittlung abrechnungsrelevanter und nach gültigen Regelungen (z.B. Kodierrichtlinien) richtiger Prozeduren, also dem Recall. Zum anderen sollte die Menge an nicht zu verschlüsselnder Prozeduren gering gehalten werden, ein negativer Precision-Effekt letztlich vermieden werden. Schließlich muss das Analysetool dahingehend bewertet werden, ob es sich gut in die tägliche Kodierpraxis integrieren lässt und sich Effizienzen heben lassen.

Material und Methoden: Aus einer operativ tätigen Klinik werden anonymisierte OP-Berichte aus den Bereichen Orthopädie, Wirbelsäulenchirurgie, Plastische Chirurgie, Handchirurgie und Ästhetische Chirurgie durch eine neues semantisches Analysetool untersucht, relevante Textstellen markiert und für diese eine definierte Anzahl an OPS-Vorschlägen generiert.

Das Analysetool extrahiert mit linguistischen Methoden zunächst als relevant eingestufte Begriffe und indexiert diese semantisch auf Basis einer medizinischen Terminologie [2], [3]. Grundlage hierfür ist die Wingert-Nomenklatur [4], ein multiaxiale Ontologie.

In einer Vorstudie an 100 OP-Berichten wurde zunächst nur der reine Textkorpus der OP-Berichte in unstrukturierter Form durch das Analysetool geprüft und die durch die Software ermittelten OPS-Ziffern hinsichtlich Precision und Recall bewertet. Zur Prüfung dieser Kennzahlen wurden die, durch eine erfahrene Klinikmitarbeiterin im Rahmen des DRG-basierten Abrechnungsprozesses ermittelten, OPS-Ziffern verglichen.

Eine ausführliche Analyse falsch negativer OPS-Ziffern, also vom Analysetool nicht gefundener Kodes, die gleichwohl für die Abrechnung relevant waren, diente ebenso einer weiteren Optimierung der Software. So zeigte sich beispielweise ein Problem bei der Verknüpfung von räumlich im Textblock (weit) auseinander befindlichen Textstellen, die jedoch gemeinsam zu einem sinnvollen OPS-Kode führen. Umgekehrt fanden sich durch die Software markierte Textstellen in den OP-Berichten, die nach den Kodierregeln im Allgemeinen nicht zur Verschlüsselung herangezogen werden dürfen.

Die Bewertung von Nutzerfreundlichkeit sowie Effizienz im Kodierprozess wurde durch eine geschulte Dokumentationskraft in einem Spezialzentrum für Medizinische Dokumentation vorgenommen.

Aus den Ergebnissen der Vorstudie leitete sich die endgültige Verfahrensanordnung ab, die auf mindestens 200 OP-Berichten angewandt wird. Jedem anonymisierten OP-Bericht werden nun nicht nur der Berichtskorpus, sondern auch die Indikation sowie OP-Beschreibung als Freitextfelder beigefügt. Das Analysetool kann nun auf Basis dieser beiden zusätzlichen Felder mittels eines Regelkataloges die Anzahl sinnvoller OPS-Ziffern eingrenzen und die entsprechenden Textstellen hinterlegen.

Zudem zeigt die Nutzerbewertung eine Verfeinerung der Software dahingehend, als dass die ermittelten OPS-Ziffern jeder markierten Textstelle im OP-Bericht mit einer Relevanzwahrscheinlichkeit versehen werden.

Ergebnisse: In der Vorstudie mit 100 OP-Berichten zeigte sich die Problematik der OPS-Analyse und des – einschränkenden – Regelwerkes (Deutsche Kodierrichtlinien). Textstellen wurden umfänglich als relevant markiert, können jedoch nur in bestimmten Konstellationen (z.B. bei besonderer Aufwandsbeschreibung) auch als Abrechnungskode herangezogen werden. Hierdurch wird die Precision negativ beeinflusst, die letztlich auch direkten Einfluss auf die Nutzerbewertung durch kodierende Personen nimmt. Ein weiteres Problem zeigte sich bei der Vorstudie in der fehlenden Eingrenzung auf eine Indikation bzw. OP-Beschreibung, so dass kompositorisch definierte OPS-Ziffern (z.B. segmentabhängige Wirbelsäulenoperationen) von der Analysesoftware nicht gefunden werden. Jedoch wurde bei der Vorstudie noch kein expliziter Augenmerk auf die Precision gelegt, da es in dieser frühen Projektstufe mehr darum ging, möglichst viele relevante Textstellen zu markieren und OPS-Ziffern hierfür vorzuschlagen.

In den 100 untersuchten OP-Berichten wurden im Schnitt 17 Stellen für die OPS-Ableitung markiert, die durch die nachträgliche Expertenbegutachtung in ca. 80% als tatsächlich relevant eingestuft. Zu den 17 Textstellen wurden im Schnitt 113 OPS-Ziffern vom Analysetool vorgeschlagen, jeweils maximal 10 OPS-Ziffern je Textstelle. Davon wurden wiederum 97 (86%) als möglicherweise relevant eingestuft. Somit wurde ein für Kodierzwecke annehmbarer Recall erreicht, jedoch führt die hohe Zahl an vorgeschlagenen OPS-Kodes zu einer manuellen Nachbearbeitung und einem Verwerfen nicht kodierrelevanter OPS-Kodes (negativer Precision-Effekt).

Die Nutzerfreundlichkeit der Software wurde durch die deutliche Hervorhebung der markierten Textstellen als positiv bewertet, jedoch der oben beschriebene Precision-Effekt als negativ hinsichtlich der Effizienz angemerkt.

Die anhand der Ergebnisse in der Vorstudie als notwendig erachtete Anpassung der OP-Berichte durch Ergänzung um zwei Strukturfelder (Indikation und Beschreibung) ist erfolgt. Zum Zeitpunkt der Abstract-Einreichung laufen die Auswertungen hinsichtlich Recall, Precision, Nutzerfreundlichkeit und Effizienzgewinn. Zielgröße sind mindestens 200 OP-Berichte. Teilgruppenanalysen werden hinsichtlich der Fachabteilung angewandt. Zudem sollen die durch die OP-Indikation, OP-Beschreibung sowie aus dem OP-Textkorpus ermittelten OPS-Ziffern in eine DRG gruppiert und mit den abgerechneten DRGs abgeglichen werden – um hier einen Bias zu vermeiden, werden aus den abgerechneten DRGs die Nebendiagnosen sowie Prozeduren, die sich nicht auf die Operation beziehen, von der DRG-Gruppierung ausgeschlossen.

Die beiden Erstautoren wollen die Ergebnisse dieser Analysen auf der GMDS-Tagung vorstellen und auch auf die Grenzen einer (voll) automatisierten semantischen Analyse mit Präsentation einzelner Beispiele eingehen.

Diskussion: Aufgrund der hohen Erlösrelevanz von OPS-Ziffern in operativ tätigen Fachbereichen dürfte ein unterstützendes, semantisches Analysetool große Akzeptanz erzielen. Eine vollständige Ablösung des humanen Faktors, also der Kodierung durch Ärzte und/oder medizinischer Dokumentationskräfte, erscheint jedoch zum jetzigen Stand der Technik nicht angeraten Die Software kann den Fokus des kodierenden Personals auf die relevanten Passagen von OP-Berichten lenken und durch Eingrenzung mittels eines Regelwerkes auf infrage kommende OPS-Ziffern hinweisen. Hierdurch lassen sich bei einem Recall von nahe 1 und einer ebenfalls für den Auswertungsprozess günstigen Precision Effizienzen heben und Mindererlöse vermeiden.


Literatur

1.
Empfehlungen für den Einsatz von Dokumentaren im DRG-Umfeld. GMDS-Empfehlung. http://www.gmds.de/publikationen/publikation_einzeln.php?we_objectID=487 (zuletzt betrachtet am 27.3.2015) External link
2.
Denecke K, Kohlhof I. Informationsextraktion aus medizinischen Texten basierend auf einer multiaxialen Indexierung. In: Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V. (gmds). 51. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie. Leipzig, 10.-14.09.2006. Düsseldorf, Köln: German Medical Science; 2006. Doc06gmds060. Verfügbar unter: http://www.egms.de/en/meetings/gmds2006/06gmds274.shtml External link
3.
Faulstich LC, Müller F, Sander A. Automatisierte Klinische Dokumentation aus Elektronischen Dokumenten. In: 55. GMDS- Jahrestagung; Mannheim; 05.–09.09.2010
4.
Wingert F. SNOMED. Systematisierte Nomenklatur der Medizin. Hrsg. der amerikanischen Ausgabe R. A. Côté. Deutsche Ausgabe bearbeitet und adaptiert von F. Wingert. Berlin, Heidelberg, New York etc.: Springer; 1984.