gms | German Medical Science

GMDS 2014: 59. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e. V. (GMDS)

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie

07. - 10.09.2014, Göttingen

Konzeption, Erfassung und Validierung eines Workflow-Composite-Scores

Meeting Abstract

  • J.D. Liebe - Forschungsgruppe Informatik im Gesundheitswesen - Hochschule Osnabrück, Osnabrück
  • M.C. Straede - Forschungsgruppe Informatik im Gesundheitswesen - Hochschule Osnabrück, Osnabrück
  • J. Thye - Forschungsgruppe Informatik im Gesundheitswesen - Hochschule Osnabrück, Osnabrück
  • U. Hübner - Forschungsgruppe Informatik im Gesundheitswesen - Hochschule Osnabrück, Osnabrück

GMDS 2014. 59. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V. (GMDS). Göttingen, 07.-10.09.2014. Düsseldorf: German Medical Science GMS Publishing House; 2014. DocAbstr. 141

doi: 10.3205/14gmds050, urn:nbn:de:0183-14gmds0504

Published: September 4, 2014

© 2014 Liebe et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Outline

Text

Einleitung: Die erwartete Qualitäts- und Effizienzsteigerung durch den IT-Einsatz in der klinischen Versorgung konnte bisher nur bedingt nachgewiesen werden [1], [2]. Ein Grund hierfür liegt in der Schwierigkeit, den Untersuchungsgegenstand „IT-Einsatz in der klinischen Versorgung“ geeignet zu operationalisieren. So ergeben sich die tatsächlichen IT-Potenziale nicht alleine über die Anzahl der installierten IT-Systeme, geschweige denn über eine einzelne Anwendung. Vielmehr gibt es Hinweise, dass die Reife der Informationslogistik in den klinischen Workflows ein geeignetes Maß darstellt [3], [4], [5], [6]. Diese bemisst sich daran, ob die Anwender genau die Informationen erhalten, die sie für die richtigen Entscheidungen benötigen [7]. Solch eine optimale Informationslogistik ergibt sich erst über das Zusammenwirken verschiedener Merkmale, die neben der Art und Anzahl der vorhandenen IT-Anwendungen auch die Integrationstiefe, die Verfügbarkeit von Daten und Informationen am Point-of-Care, etc. beschreiben. IT-Workflowunterstützung ist demnach ein komplexes Konstrukt, das nur über einen Composite-Score quantifiziert werden kann.

Workflow-Composite-Scores können als abhängiges oder als unabhängiges Merkmal in empirische Untersuchungen einfließen, um einerseits den Einfluss struktureller (Größe, Trägerschaft, etc.) und organisatorischer Merkmale (IT-Management- und IT-Governance-Praktiken) auf die IT-Workflowunterstützung zu analysieren und um andererseits die Wirkung der IT-Workflowunterstützung auf Qualität und Effizienz der klinischen Versorgung zu prüfen. Nicht zuletzt eignet sich ein Workflow-Compostite-Score auch als Performance-Indikator innerhalb statistischer IT-Benchmarks [8] für nationale und internationale Vergleiche.

Die Ziele dieser Arbeit waren (1.) die Entwicklung eines inhaltlich validen Konzeptrahmens für die standardisierte Messung der IT-Workflowunterstützung, (2.) die Entwicklung eines entsprechenden Fragebogens, (3.) die flächendeckende Datenerhebung und (4.) die Verdichtung dieser Daten zu einem validen Workflow-Composite-Score.

Methode: Die Entwicklung des Konzeptrahmens wurde von einer 15-köpfigen Expertenrunde, bestehend aus sieben IT-Leitern und acht Wissenschaftlern aus der Medizinischen und Gesundheitsinformatik, begleitet und durch eine Sichtung der Literatur gestützt. Der Konzeptrahmen sah vor, die IT-Workflowunterstützung entlang vier klinischer Prozesse über vier Deskriptoren der Informationslogistik zu erfassen. Die Prozesse sollten dabei aufgrund ihrer Komplexität und der möglichst abteilungs- und/oder einrichtungsübergreifenden Informationslogistik ein messbares Optimierungspotenzial durch den IT-Einsatz aufweisen. Ausgewählt wurden (1.) die Visite, (2.) die OP-Vorbereitung, (3.) die OP-Nachbereitung und (4.) die Entlassung. Zur Beschreibung der Informationslogistik wurden (1.) die Verfügbarkeit von Daten und Informationen, (2.) die Verfügbarkeit der benötigten Funktionalitäten, (3.) die Tiefe der technischen Integration und (4.) die Distribuierbarkeit von Daten und Informationen im Sinne der Mobilität und der einrichtungsübergreifenden Bereitstellung, als Workflow-Deskriptoren vorgeschlagen. Zur Überprüfung der Inhaltsvalidität der Workflow-Deskriptoren wurde untersucht, welche Merkmale in ähnlichen Studien erhoben wurden und ob sich diese den definierten Deskriptoren eindeutig zuordnen ließen.

Die Kombination der vier Prozesse mit den vier Deskriptoren ergab eine Matrix von 16 Prozess-Deskriptor-Feldern, an der sich die Fragebogenentwicklung und die Bildung des Workflow-Composite-Scores orientieren sollten.

Zur Überprüfung der Kriteriumsvalidität wurden die vier Prozess-Scores mit den subjektiven Prozesseinschätzungen der Teilnehmer als Innenkriterien korreliert. Weiterhin wurde der Workflow-Composite-Score mit einem approximierten europäischen Electronic-Medical-Record-Adoption-Model (EMRAM) [9] und einem approximierten Electronic-Health-Record-Adoption-Model [10] als Außenkriterien korreliert. Die Modelle werden als approximiert bezeichnet, da nicht alle sie konstituierenden Fragen im Detail veröffentlicht sind beziehungsweise nicht für deutsche Verhältnisse zutreffen.

Ergebnisse: Die Suche nach ähnlichen relevanten Studien ergab vier Veröffentlichungen mit Angaben zu einzelnen Fragen zur Beschreibung der IT-Workflowunterstützung [3], [4], [5], [6]. Diese Fragen konnten alle den vier vorgeschlagenen Workflow-Deskriptoren eindeutig von drei unabhängigen Experten zugeordnet werden. Damit konnte ihre inhaltliche Validität bestätigt werden, so dass sich die Fragebogenentwicklung anschließen konnte. Hierzu wurden in einem ersten Schritt Merkmale identifiziert, die Informationen zu einem oder zu mehreren der 16 Prozess-Deskriptor-Felder lieferten (z.B. die elektronische Verfügbarkeit von Patientenstammdaten in der Visite). In einem zweiten Schritt wurden Fragen zur Erhebung dieser Merkmale formuliert. Mit dem resultierenden Fragebogen konnten 92 Merkmale der IT-Workflowunterstützung über 51 Fragen erhoben werden. Der Fragebogen umfasste weiterhin u.a. eine Frage zur subjektiven Einschätzung der IT- Workflowunterstützung in den Prozessen. Durch die Orientierung an der 16-Felder-Matrix erhielt jedes der 99 Merkmale ein relatives Gewicht in Abhängigkeit zu seinem Informationsgehalt. So ergab sich beispielsweise für das Merkmal „Elektronische Bereitstellung von Patientenstammdaten in der Visite“ (ein Prozess/ein Deskriptor) ein relatives Gewicht von 0,002 (0,2%) und für den „Nutzungsgrad der Elektronischen Patientenakte“ (alle Prozesse/mehrere Deskriptoren) von 0,114 (11,4%).

Nach zwei Pretests wurde der finale Fragebogen im Rahmen des IT-Report Gesundheitswesen [11] an 1317 IT-Verantwortliche geschickt, die für 1675 Krankenhäuser zuständig waren. Von den 259 teilnehmenden Krankenhäusern wurden nur diejenigen mit OP- und Intensivstation für die Score-Bildung herangezogen (n=183).

Die Bildung des Workflow-Composite-Scores orientierte sich an der 16-Felder-Matrix mit 2,5 Punkten pro Zelle, sodass maximal 40 Punkte erreicht werden konnten. Im Mittel erreichten die teilnehmenden Krankenhäuser einen Wert von 23,4 Punkten. Die Standardabweichung betrug +/- 5,6 Punkte. Der kleinste Wert lag bei 9,2 und der größte bei 38,0 Punkten (n=183). Die Werte waren normalverteilt.

Für die Visite wurde eine mittlere positive Korrelationen zwischen der subjektiven Einschätzung der IT-Workflowunterstützung und dem Process-Score-Visite berechnet (r=0,489; p<0,01). Ähnliche Ergebnisse zeigten sich für die OP-Vorbereitung (r=0,442; p<0,01) und für die OP-Nachbereitung (r=0,457; p<0,01). Am geringsten korrelierten die Werte für die Entlassung (r=0,179; p<0,05). Weiterhin ergaben sich jeweils mittlere positive Korrelationen zwischen dem Workflow-Composite-Score mit dem approximierten europäischen EMR-Adoption-Model (r=0,419; p<0,01) und dem approximierten EHR-Adoption-Model (r=0,364; p<0,01).

Diskussion: Mit dem Workflow-Composite-Score konnte ein Maß zur standardisierten Erfassung der IT-Workflow-Unterstützung gebildet werden, das ersten Überprüfungen der Inhalts- und der Kriteriumsvalidität standhält. Er ist unseres Wissens der erste Ansatz einer aggregierten Beschreibung der IT-Unterstützung von klinischen Prozessen. Bislang konnten i.d.R. nur mittlere Korrelationen mit der subjektiven Einschätzung und mit EMR bzw. EHR-Werten erzielt werden. Es muss davon ausgegangen werden, dass Akten im Sinne von EMR und EHR nur teilweise Workflow-Aspekte abdecken und dass weitere Außenkriterien herangezogen werden müssen. Ferner wird die subjektive Einschätzung des IT-Leiters um diejenige der klinischen Anwender als Innenkriterium ergänzt werden müssen. Die entsprechenden Daten wurden im Rahmen des IT-Reports Gesundheitswesen 2013/2014 erhoben und werden aktuell ausgewertet.

Die Prozess-Scores für die vier Prozesse konnten bereits als Indikatoren in einem deutschlandweiten statistischen IT-Benchmarking mit 183 Krankenhäusern genutzt und entsprechend visualisiert werden. 80% der Teilnehmer einer anschließenden Evaluation erteilten den Scores die Note „sehr verständlich“ oder „verständlich“ [12]. Weitere Anwendungsfelder für den Workflow-Composite-Score sowie für die Prozess-Scores liegen in der IT-Adoptionsforschung, in der IT-Innovationsforschung und in der Überprüfung des Zusammenhangs zwischen IT-Workflow-Unterstützung und Versorgungsqualität und -effizienz.


Literatur

1.
Chaudhry B, Wang J, Wu S, Maglione M, Mojica W, Roth E, Morton SC, Shekelle PG. Systematic review: impact of health information technology on quality, efficiency, and costs of medical care. Ann Intern Med. 2006;144(10):742-52.
2.
Black AD, Car J, Pagliari C, Anandan C, Cresswell K, Bokun T, McKinstry B, Procter R, Majeed A, Sheikh A. The impact of eHealth on the quality and safety of health care: a systematic overview. PLoS Med. 2011;8(1):e1000387. DOI: 10.1371/journal.pmed.1000387 External link
3.
Paré G, Sicotte C. Information technology sophistication in health care: an instrument validation study among Canadian hospitals. Int J Med Inform. 2001 Oct;63(3):205-23.
4.
Amarasingham R, Diener-West M, Plantinga L, Cunningham AC, Gaskin DJ, Powe NR. Hospital characteristics associated with highly automated and usable clinical information systems in Texas, United States. BMC Med Inform Decis Mak. 2008;8:39. DOI: 10.1186/1472-6947-8-39 External link
5.
Ammenwerth E, Rauchegger F, Ehlers F, Hirsch B, Schaubmayr C. Effect of a nursing information system on the quality of information processing in nursing: An evaluation study using the HIS-monitor instrument. Int J Med Inform. 2011;80(1):25-38. DOI: 10.1016/j.ijmedinf.2010.10.010 External link
6.
The Office of the National Coordinator for Health Information Technology (ONC). Meaningful Use Stage 2 Criteria. http://www.healthit.gov/sites/default/files/meaningfulusetablesseries2_110112.pdf. Last Access: 24.03.2014 External link
7.
Winter A, Haux R, Ammenwerth E, Brigl B, Hellrung N, Jahn F. Health Information Systems – Architectures and Strategies. London: Springer; 2011.
8.
Liebe JD, Hübner U. Developing and Trialling an independent, scalable and repeatable IT-benchmarking procedure for healthcare organisations. Methods Inf Med. 2013;52(4):360-9. DOI: 10.3414/ME12-02-0016 External link
9.
HIMSS Analytics. Maturity Models. http://www.himss.eu/de/analytics. Last Access: 24.03.2014. External link
10.
Jha AK, DesRoches CM, Campbell EG, Donelan K, Rao SR, Ferris TG, Shields A, Rosenbaum S, Blumenthal D. Use of electronic health records in U.S. hospitals. N Engl J Med. 2009 Apr 16;360(16):1628-38. DOI: 10.1056/NEJMsa0900592 External link
11.
Hübner U, et al. IT-Report Gesundheitswesen. http://www.it-report-gesundheitswesen.info/. Last access 31.12.2013. External link
12.
Thye J, Straede MC, Liebe JD, Hübner U. IT-Benchmarking of Clinical Workflows: Concept, Implementation, and Evaluation. Akzeptierter Vortrag auf eHealth Wien 2014.