gms | German Medical Science

Das CIRSmedical ist ein bundesweit öffentlich zugängliches Fehlerbericht- und Lernsystem der deutschen Ärzteschaft zum Berichten von Beinahe-Schäden und kritischen Ereignissen. Das Grundkonzept dieses Systems wurde 1995 von Herrn Dr. Scheidegger an der Universität Basel entwickelt und von der Schweizer Softwarefirma Protecdata umgesetzt [1]. Im Jahr 2005 wurde das CIRSmedical in Deutschland eingeführt. Die Verwendung von Fehlermeldesystemen wurde auf dem 108. Deutschen Ärztetag ausdrücklich empfohlen [2]. Ziel des CIRSmedical ist das gemeinsame Lernen aus Fehlern [3].

Ab 2008 wurde aus der Berichtsgruppe CIRSmedical.de ein Netzwerk [4]. Inzwischen ist das CIRSmedical eine zentrale Stelle, die aus bis zu 130 anderen CIRS-Systemen gespeist wird [5]. Diese Meldesysteme sind unterschiedlich organisiert: Es gibt Meldesysteme die von Fachgesellschaften betrieben werden, wie das CIRSmedical Anästhesiologie (CIRS-AINS) oder es gibt eine regionale Zuordnung, wie das Netzwerk CIRS-Berlin, das von der Landesärztekammer organisiert wird [6], [7]. Zudem fungiert CIRSmedical als eine bundesweite Meldestelle, in die anonym Fallberichte direkt eingestellt werden können.

Insgesamt wurden 5.790 Fälle im CIRSmedical, 4.913 Fälle im CIRS-AINS und 480 Fälle im Netzwerk CIRS-Berlin gemeldet (Stand 30.01.2018) [4], [6], [7]. Alle CIRS-Systeme besitzen somit eine Vielzahl von Daten, welche für die Verbesserung der Patientensicherheit essentiell sein können.

Anders als im britischen Fehlermeldesystem erfolgt bisher keine regelmäßige statistische Auswertung der gemeldeten Fälle [8]. Es werden lediglich Einzelfallanalysen der jeweiligen Einrichtung oder Analysen mit spezieller Ausrichtung durchgeführt [9]. Häufig wird als Analysemethode das London Protokoll verwendet [10]. Um den Ansatz eines gemeinsamen Lernens aus den CIRS-Berichten zu verbessern, wäre eine automatische und systematische Analyse aller gemeldeten Fälle wünschenswert. Solch eine Analyse würde helfen, einen bestimmten Fall aus einer Einrichtung auf andere Einrichtungen zu übertragen und nach allgemeinen Regeln oder Problemen im Zusammenhang mit der berichteten Problematik zu suchen. Bohnet-Joschko et al. kamen 2011 bereits zur folgenden Schlussfolgerung: „Während die Identifizierung von Risiken durch CIRS und andere Meldesysteme zunehmend Verbreitung findet, wird das Lernpotenzial aus Melderegistern von Ereignissen noch nicht ausgeschöpft. Es besteht Nachholbedarf im Hinblick auf eine systematische Analyse von Risiken..“ [11]. Mit dem London Protokoll ist solch eine Analyse nicht möglich. Schrader et al. entwickelten 2013 das Open-Process-Task-Modell (OPT-Modell) für eine systematische Analyse [12]. Allerdings ist diese Methode an ein ausreichendes Level der Datenqualität geknüpft.

In einem ersten Schritt muss daher überprüft werden, ob die Daten und deren Qualität für eine solche Analyse geeignet sind. Im Rahmen der vorliegenden Untersuchung sollen folgende Fragen geklärt werden:

1.

Welche Datenqualitätskriterien lassen sich auf das CIRSmedical anwenden?

2.

Welche Qualität haben die im System abgelegten Daten?

Die Datenqualität hängt von verschiedenen Faktoren ab und ist keine einheitliche metrische Größe. Für unterschiedliche Arten von Registern wurden verschiedene Qualitätskriterien erarbeitet. Die Technologie und Methodenplattform für die vernetzte medizinische Forschung e.V. (TMF) publizierte 2014 eine Reihe von Merkmalen, mit denen sich die Datenqualität beschreiben lässt. Diese Merkmale wurden in die seit 2013 im NCBO BioPortal publizierte und aktualisierte Bild- und Datenqualitätsontologie eingearbeitet [13]. Derzeit gibt es dort 18 Qualitätskategorien mit spezifischen Qualitätsmaßen, die die unterschiedlichen Aspekte von Ergebnis-, Prozess- und Strukturqualität abbilden.

Für die Analyse der Datenqualität wurden im März 2017 fortlaufend 100 CIRS-Fälle mit den Nummern 144893 bis 160395 jeweils einzeln als PDF von CIRSmedical.de heruntergeladen [4].

Es gibt eine Vielzahl von Datenqualitätskriterien. Für diese Analyse wurden fünf Qualitätskriterien der IDQA genauer betrachtet [13]:

1.

Vollständigkeit

2.

Wertschöpfung

3.

Verständlichkeit

4.

Zeit/Aktualität

5.

Zugänglichkeit

Das Qualitätskriterium „Vollständigkeit“ ist ein Kriterium mit verschiedenen Dimensionen. Die Ontologie unterscheidet drei verschiedene Parameter:

• Vollständigkeit in Bezug zur Population: Untersucht wird die Frage, ob alle aufgetretenen Fälle im System vorhanden sind. Dies ist zum Beispiel eine der zentralen Fragen in Tumorregistern.
• Vollständigkeit in Bezug auf die verfügbaren Daten aus dem Primärsystem: Hier wird das Verhältnis von primären und sekundären Datenregistern betrachtet und die Frage beantwortet, ob alle verfügbaren Daten von jedem Fall aus dem primären System in das sekundäre System übernommen wurden.
• Vollständigkeit in Bezug auf das verwendete Datenbankschema: Hierbei wird gefragt, ob zu allen Eingabefeldern einer Datenbank oder Datenfelder leer geblieben sind.

Das Qualitätskriterium „wertschöpfend“ (Mehrwert oder Nutzen) soll aufzeigen, in welchem Umfang weitere Erkenntnisse aus den CIRS-Berichten gewonnen werden. Dafür wurden die Fachkommentare und Kommentare, welche im CIRSmedical möglich sind, ausgezählt.

Bei dem Qualitätskriterium „Verständlichkeit“ geht es darum, ob eine einheitliche und übertragbare Terminologie verwendet wurde. Es wurde untersucht, ob Standardterminologien oder Codes eingesetzt werden, um einheitliche Informationen in den Datenfeldern für die Analyse verwenden zu können bzw. einen Vergleich mit anderen (internationalen) Systemen zu ermöglichen.

Für Daten in einer Registerstruktur ist Zeit eine wichtige Metainformation. Sie drückt die Aktualität der Daten aus. Es wurde daher untersucht, ob es Angaben in den CIRS Berichten dazu gibt.

Mit dem Kriterium der Zugänglichkeit wurde geprüft, ob und wie auf die Daten im CIRSmedical zugegriffen werden kann. Das ist ein wichtiges Kriterium insbesondere dann, wenn die Daten automatisch analysiert werden sollen.

Die 100 Fallberichte aus dem CIRSmedical wurden einzeln auf die oben genannten Kriterien hin untersucht und die Daten in einer Microsoft Excel-Tabelle erfasst. Dem schloss sich eine statistische Auswertung an.

Abbildung 1 [Abb. 1] listet alle Fragen der Berichtsvorlagen aus CIRSmedical nach der Häufigkeit mit der diese beantwortet wurden auf.

Hierbei fällt auf, dass die Frage „Was ist passiert?“ als einzige in allen 100 ausgewerteten Berichten beantwortet wurde. Im Weiteren sind zwei Gruppen in dem Diagramm zu erkennen. Die erste Gruppe besteht aus insgesamt sechs Fragen welche zwischen 80% und 90% beantwortet wurden. In der zweiten Gruppe ist ein deutlicher Unterschied zu erkennen. Diese Gruppe besteht aus 15 Fragen welche nur zwischen 0% und 46% der Fälle beantwortet wurden.

In einer weiteren Untersuchung wurde deutlich, dass es für das CIRSmedical.de unterschiedliche Eingabeformulare gibt. Dies wird durch die Schnittstelle zu den spezifischen CIRS-Systemen verursacht. In Abbildung 2 [Abb. 2] sind die unterschiedlichen Eingabeformulare von CIRSmedical.de und CIRS-AINS dargestellt.

Auf den ersten Blick ist zu erkennen, dass diese sehr verschieden aufgebaut sind und unterschiedliche Fragen gestellt werden. Bei einer genauen Überprüfung der Formulare wurden nur sieben gemeinsame Fragen und 15 unterschiedliche Fragen ermittelt. Davon werden sechs Fragen nur im CIRSmedical und neun Fragen nur im CIRS-AINS gestellt. Aufgrund des deutlichen abweichenden Aufbaus der Eingabeformulare wurden die 100 Berichte nochmal durchgezählt, um zu sehen wie viele Fälle mit dem einen und wie viele mit dem anderen Eingabeformular erfasst wurden. Im Ergebnis wurden 51% der Fälle mit dem CIRSmedical Formular und 49% der Fälle mit dem CIRS-AINS Formular eingepflegt.

Anhand einiger Beispiele soll verdeutlicht werden, welche Auswirkung diese Problematik auf das Qualitätskriterium Vollständigkeit hat.

In Abbildung 3 [Abb. 3] ist die Frage nach der Angabe der ASA-Klassifikation im gesamten CIRSmedical links (100 Berichte) und im CIRS-AINS rechts (49 Berichte) dargestellt, wobei angemerkt werden muss, dass die ASA-Klassifikation nur im CIRS-AINS abgefragt wird.

Die ASA-Klassifikation ist eine Klassifikation der American Society of Anesthesiologists (ASA). Diese teilt die Patienten bezüglich ihres körperlichen Zustandes in die Klassen ASA I bis ASA VI ein. Dabei steht ASA I für körperlich gesund und ASA IV für eine schwere Allgemeinerkrankung.

In den untersuchten Fällen des CIRSmedical wurde diese Frage zu 65% nicht beantwortet. Da die Frage jedoch nur im CIRS-AINS gestellt wird, ergibt sich zwangsläufig eine unterschiedliche Antworthäufigkeit in den beiden Systemen. Unabhängig davon zeigte sich jedoch, dass in 14 Berichten (was bei 49 Berichten dann 28% entspricht) der im CIRS-AINS dokumentierten Fälle die Angaben zur ASA-Klassifizierung fehlten, wobei ungefähr 14% der Patienten mit ASA I, 22% mit ASA II, 26% mit ASA III und weitere 8% mit ASA IV klassifiziert wurden.

In Abbildung 4 [Abb. 4] sind die Antworthäufigkeiten für die Frage „In welchem Kontext fand das Ereignis statt?“ dargestellt. Links sind die Ergebnisse für das gesamte CIRSmedical und rechts ohne die Berücksichtigung der 49 Berichte des CIRS-AINS, da dort diese Frage nicht gestellt wurde.

Im gesamten CIRSmedical fehlen demnach 65% der Angaben. Ohne Berücksichtigung der im CIRS-AINS dokumentierten 49 Berichte fehlen jedoch weiterhin in 37% der Fälle die entsprechenden Angaben. Davon sind 27% der Ereignisse bei nichtinvasiven Maßnahmen und nur 13% bei invasiven Maßnahmen passiert. In 9% der Fälle gab es Fehler in der Organisation.

Die Frage „Kam der Patient zu Schaden?“ wird nur im CIRSmedical Formular gestellt und nicht im CIRS-AINS. Daher sind in Abbildung 5 [Abb. 5] links die Ergebnisse für das gesamte CIRSmedical und rechts ohne die CIRS-AINS Formulare dargestellt.

Im gesamten System fehlen dazu 60% der Angaben. Ohne die Formulare vom CIRS-AINS fehlen nur 21% der Angaben und bei 43% der Fälle kam der Patient nicht zu Schaden. Jedoch ist bei 16% der Berichte ein Schaden aufgetreten.

Bisher wurden nur die in den Systemen CIRSmedical und CIRS-AINS voneinander abweichenden Fragestellungen dargestellt. Im Folgenden werden die Ergebnisse für gleichartige Fragen betrachtet.

Abbildung 6 [Abb. 6] veranschaulicht die Antworthäufigkeiten auf die Frage nach der Versorgungsart, welche in allen betrachteten CIRS Formularen gestellt wird. In 66% der Fälle ereigneten sich die Beinahe-Schäden im Routinebetrieb und nur zu 15% in Notfällen. Die Frage wurde in 19% der Berichte nicht beantwortet.

In Abbildung 7 [Abb. 7] sind die Ergebnisse auf die Frage „Wie häufig tritt das Ergebnis auf“ abgebildet. In 45% der Fälle trat der Beinahe-Schaden zum ersten Mal auf. In 7% trat das Ereignis täglich und in weiteren 23% monatlich auf. Als einmal jährliches Problem traten die Ereignisse in nur 2% der Berichte auf. In 8% war die Frage nicht anwendbar und in 15% der Fälle gab es keine Angabe zu der Frage.

Zum Qualitätskriterium wertschöpfend wurde untersucht, wie viele Berichte Kommentare von Fachpersonal oder freie Kommentare enthielten (Abbildung 8 [Abb. 8]). In 50% der Fälle gab es keinen Kommentar, in 47% wurde der Bericht von Fachpersonal kommentiert und 3% der Fälle enthielten freie Kommentare. Diese freien Kommentare finden sich meistens in Form von Fragen von Benutzern der CIRSmedical.de-Seite.

Zu dem Qualitätskriterium Verständlichkeit und somit zur Benutzung von Standardterminologien wurde nur die beschrieben ASA-Klassifikation als eine Art Standard in 49% der Fälle verwendet. Für das Kriterium Zeit, also wann die Berichte veröffentlicht wurden, konnten keine Angaben im CIRSmedical ausfindig gemacht werden. Das System stellt für die Zugänglichkeit die Berichte lediglich PDFs zur Verfügung. Es existiert derzeit keine weitere Schnittstelle, um die Fälle automatisch auswerten zu können.

Für die systematische Analyse von Daten ist eine einheitliche Datenstruktur unerlässlich. Die Auswertung des Kriteriums Vollständigkeit zeigt jedoch, dass zwei verschiedene Eingabekonzepte bestehen und damit unterschiedliche Daten erhoben werden. Dies erklärt sich daraus, dass das CIRSmedical mit Daten aus unterschiedlichen Systemen gespeist wird. Durch einen Vergleich der Eingabeformulare der unterschiedlichen öffentlichen CIRS-Systeme wurde deutlich, dass sich insbesondere das Eingabeformular des CIRS-AINS von den anderen Eingabeformularen, die alle wie das CIRSmedical Formular aufgebaut waren unterschied. Das erklärt auch das sehr unterschiedliche Meldeverhalten, ca. 80% der Felder werden ausgefüllt. Daraus entsteht aber ein grundsätzliches Problem: Eine systematische zusammenfassende Analyse der Fälle im CIRSmedical ist kaum möglich, da einzelne Datenfelder von den Quellsystemen entweder ausschließlich oder gar nicht erfasst werden. Es wird insgesamt nur eine begrenzte Anzahl (nur sieben) gemeinsamen Feldern verwendet. Es könnte zwar argumentiert werden, dass die unterschiedlichen Quellsysteme auch nur für die jeweilige medizinische Fach-Domäne konzipiert wurden, eine Analyse ähnlich gelagerter Berichte aus unterschiedlichen Quellsystemen im Sinn des Lernens aus den Berichten wird dadurch jedoch deutlich erschwert.

Die Verwendung einer einheitlichen Terminologie bzw. Klassifikation wie z.B. die ASA-Klassifikation erhöht die Verständlichkeit und verbessert die Analysierbarkeit der Daten. Diese Frage verdeutlicht auch, dass, wenn solche Standards verwendet werden, sich das Antwortverhalten verbessert (72% beantwortete Fragen). Aus unserer Analyse geht hervor, dass es viele Patienten gibt, welche sich zum Zeitpunkt des berichteten Ereignisses in einem kritischen Zustand befanden (ASA III und ASA IV insgesamt 34%), dass sich aber auch fast genauso viele Patienten (ASA I und ASA II insgesamt 36%), in einem weniger kritischen Zustand befanden.

Der Frage nach dem medizinischen Kontext des unerwünschten Ereignisses wird in der WHO eine besondere Bedeutung beigemessen und kann dazu dienen, Fallbeschreibungen nach solchen Kontexten zu ordnen [14]. Leider wird weder eine einheitliche Terminologie verwendet noch ist die Vollständigkeit dieser Datenfelder im CIRSmedical.de ausreichend. Werden die gemeldeten Fälle berücksichtigt, dann fällt auf, dass auch hier unerwünschte Ereignisse gemeldet werden, die keine hohen Anforderungen bezüglich der Komplexität stellen. Die meisten Zwischenfälle werden bei nicht-invasiven Maßnahmen beschrieben.

Eine Grundregel des CIRSmedical ist, dass Beinahe-Schäden gemeldet werden sollen. Deshalb ist die Frage, ob Schäden infolge des Ereignisses eintraten, eine Frage der Datenqualität. In 16% der Fallberichte sind Patienten zu Schaden gekommen und hätten eigentlich nicht veröffentlicht werden dürfen.

Das untersuchte Kriterium „wertschöpfend“ ist als ein Indikator zu verstehen, welche Informationen zusätzlich aus dem CIRSmedical gewonnen werden können. Nur 50% der Fälle haben überhaupt einen Fachkommentar erhalten und nur 3% wurden durch die Nutzer des CIRSmedical kommentiert. Dadurch sind 47% der Fälle ohne Kommentar und der Melder erhält zu seinem spezifischen Fall keinerlei Feedback. Dies ist für den Melder sehr demotivierend, da er dadurch keinerlei Mehrwert hat. Durch ein intensiveres Feedback kann die Beteiligung für solche Systeme gesteigert werden [15]. Das CIRS-NRW veröffentlicht nur Berichte, welche einen Fachkommentar besitzen [16]. Dies könnte ein erster Weg sein, um dieses Kriterium zu verbessern.

Von den AutorInnen wurde ein Bericht im CIRSmedical neu gemeldet. Bislang ist dieser Bericht im System nicht zu finden. Generell gibt es für die AnwenderInnen keine Rückmeldungen, was aus einem Bericht geworden ist und ob dieser veröffentlich wird. Hierfür müsste ein transparentes Datenmanagement eingeführt werden. Die Metainformation Zeit fehlt zu allen Berichten und müsste ergänzt werden. Momentan ist es nicht möglich, zu untersuchen, ob es saisonale Unterschiede bei den Fallmeldungen gibt, wie lange die Bearbeitung eines Falles gedauert hat oder ob sich Problemkonstellationen im Laufe der Zeit verändert haben.

Im Kern geht es bei der Anwendung des CIRSmedical als öffentliches Meldesystem darum, in der Gesundheitsversorgung Tätige dazu zu bewegen, ihr Verhalten zu verändern. In Untersuchungen im Rahmen der Entwicklung von Applikationen, die Menschen dazu bringen sollen, sich z.B. mehr zu bewegen und sich gesünder zu ernähren, ist herausgearbeitet worden, dass Transparenz (der Prozesse), ein klarer Bezug zur der Zeit und ein ständiges Feedback inklusive Belohnungen für eine entsprechende Verhaltensänderung entscheidend sind [17], [18].

Die Verfügbarkeit der Fallberichte ist bislang darauf ausgerichtet, diese als Einzelfälle zu betrachten und zu verwenden. Systematische Analysen sind bei fehlenden Schnittstellen für einen automatisierten Zugriff deutlich erschwert. Aber gerade in dieser automatischen und systematischen Analyse könnten für die Nutzer des Systems Mehrwerte erschlossen werden und Akzeptanz sowie Nutzung des Systems verbessert werden.

Die Autoren erklären, dass sie keine Interessenkonflikte in Zusammenhang mit diesem Artikel haben.