gms | German Medical Science

GMDS 2012: 57. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e. V. (GMDS)

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie

16. - 20.09.2012, Braunschweig

Testszenarien und Datenqualität in Single-Source-Systemen – Eine kritische Projektbetrachtung

Meeting Abstract

  • Fleur Fritz - Westfälische Wilhelms-Universität Münster, Deutschland
  • Bernhard Breil - Westfälische Wilhelms-Universität Münster, Deutschland
  • Markus Riek - Westfälische Wilhelms-Universität Münster, Deutschland
  • Benjamin Trinczek - Westfälische Wilhelms-Universität Münster, Deutschland
  • Martin Dugas - Westfälische Wilhelms-Universität Münster, Deutschland

GMDS 2012. 57. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V. (GMDS). Braunschweig, 16.-20.09.2012. Düsseldorf: German Medical Science GMS Publishing House; 2012. Doc12gmds030

DOI: 10.3205/12gmds030, URN: urn:nbn:de:0183-12gmds0304

Published: September 13, 2012

© 2012 Fritz et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Outline

Text

Einleitung/Hintergrund: Um redundante Dateneingaben zu vermeiden werden mehrere Systeme über (komplexe) Schnittstellen miteinander verbunden, die das Risiko von Übertragungsfehlern in sich bergen. Am Universitätsklinikum Münster werden Daten von Patientenfragebögen nach dem Single-Source-Ansatz über eine Webapplikation in das Krankenhausinformationssystem (KIS) übertragen [1]. Die Zuordnung der Datenelemente zwischen Webapplikation und KIS-Formular wird über ein manuelles Mapping realisiert, aus dem eine XML-Export-Datei zum KIS-Import generiert wird. Die Weiterverarbeitung der Daten, z.B. Berechnung eines Scores zur Lebensqualität, geschieht im KIS.

Während der ersten Testphase wurden einzelne Stichproben zur Überprüfung der Datenübertragung und Scoreberechnung gemacht. Zur Vorbereitung eines breiten Klinik-Rollouts sowie zur wissenschaftlichen Auswertung der gesammelten Daten fielen Unregelmäßigkeiten zwischen den vom Patienten eingegebenen Antworten und den im KIS gespeicherten auf. In einer zweiten Testphase wurde analysiert, warum diese vorher nicht auffielen, und zeitgleich ein Konzept entwickelt, die Schnittstellenprüfung systematisch und teilautomatisiert durchzuführen. Dies soll hier beschrieben werden.

Material/Methoden: Eine systematische Überprüfung der bisher angelegten Fragebögen und die manuelle Zuordnung wurden von 3 Testern unabhängig durchgeführt. Dazu wurden die in der Webapplikation gespeicherten Daten sämtlicher Frage-/Antwortkombinationen händisch mit denen in den KIS-Formularen vorhandenen verglichen. Zudem wurden Anzahl und Datum der angelegten Bögen verglichen. Für zukünftige Szenarien wurde ein (teilautomatisierter) Testplan entwickelt.

Ergebnisse: Durch den manuellen Vergleich der Frage-/Antwortkombination wurden bei einem Fragebogentyp Fehler in der Mappingtabelle festgestellt, die zu einer falschen Übertragung der gegebenen Antworten führten. Durch falsche Zuordnungen waren die Werte bei 6 von insgesamt 14 Fragen vertauscht, was in einer falschen Scoreberechnung resultierte. Durch die Analyse von Anzahl und Datum der angelegten Bögen fiel auf, dass vereinzelte Bögen doppelt übertragen wurden. Die Mappingtabelle wurde berichtigt und die fehlerhaften Bögen rückwirkend korrigiert bzw. doppelte entfernt.

Der neue Testplan umfasst nun Prüfziffern und Ablaufpläne. Um die korrekte Übertragung einzelner Fragebögen zu testen, wird in der Webapplikation aus den gegebenen Frage-/Antwortkombinationen eine Prüfziffer generiert und mit dem Fragebogen ins KIS übertragen. Im KIS wird ebenfalls eine Prüfziffer aus den übertragenen Werten erzeugt und mit derjenigen aus der Webapplikation verglichen. Zur Prüfung der vollständigen Übertragung wird im KIS in regelmäßigen Abständen ein Report aller angelegten Fragebögen ausgeführt, welchen die Webapplikation mit den internen Daten vergleicht.

Diskussion/Schlussfolgerungen: Die Erfahrung der mangelhaften ersten Testphase macht deutlich, dass insbesondere bei der teilautomatisierten Übertragung von klinischen Daten besondere Vorsicht geboten ist und detaillierte Testpläne unter Einbeziehung der klinischen Benutzer zwingend notwendig sind.

Der Nutzen von Benutzertests hat sich dadurch gezeigt, dass Unregelmäßigkeiten (zu hohe oder niedrige Scores) in der zweiten Testphase zum Zeitpunkt des breiten Klinik-Rollouts auffielen. Gleichzeitig stellt sich jedoch die Frage, weshalb die zwischen erstem und zweitem Test fehlerhaft erfassten Scores erst bei einer wissenschaftlichen Auswertung zu Nachfragen an die Systembetreuer führten. Eine regelmäßige Analyse des klinischen Arbeitsablaufs und der Weiternutzung der erfassten Daten sollte Bestandteil von langfristigen Testplänen sein. Wie auch von Borycki et al verdeutlicht, sollten diese, zur Kosten- und Risikominimierung, bereits während der Systementwicklung berücksichtigt werden [2].

Bei allen Vorteilen, die Single-Source-Applikationen bieten, muss bei Konzipierung und Einführung die Komplexität berücksichtigt und vor allem auf systematische Überprüfungen und Simulationen nach festen Testplänen zurückgegriffen werden.


Literatur

1.
Fritz F, Ständer S, Breil B, Riek M, Dugas M. CIS-based registration of quality of life in a single source approach. BMC Med Inform Decis Mak. 2011;11:26. DOI: 10.1186/1472-6947-11-26 External link
2.
Borycki EM, Kushniruk A, Keay E, Nicoll J, Anderson J, Anderson M. Toward an integrated simulation approach for predicting and preventing technology-induced errors in healthcare: implications for healthcare decision-makers. Healthc Q. 2009;12 Spec No Patient:90-6.