gms | German Medical Science

GMDS 2014: 59. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e. V. (GMDS)

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie

07. - 10.09.2014, Göttingen

Entwicklung eines Mehrebenen-Modells zur Visualisierungen von IT-Benchmarking Indikatoren – Ergebnisse des IT-Benchmarkings Gesundheitswesen 2013

Meeting Abstract

  • J. Thye - Forschungsgruppe Informatik im Gesundheitswesen - Hochschule Osnabrück, Osnabrück
  • M.C. Straede - Forschungsgruppe Informatik im Gesundheitswesen - Hochschule Osnabrück, Osnabrück
  • J.D. Liebe - Forschungsgruppe Informatik im Gesundheitswesen - Hochschule Osnabrück, Osnabrück
  • U. Hübner - Forschungsgruppe Informatik im Gesundheitswesen - Hochschule Osnabrück, Osnabrück

GMDS 2014. 59. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V. (GMDS). Göttingen, 07.-10.09.2014. Düsseldorf: German Medical Science GMS Publishing House; 2014. DocAbstr. 143

doi: 10.3205/14gmds051, urn:nbn:de:0183-14gmds0517

Published: September 4, 2014

© 2014 Thye et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Outline

Text

Einleitung und Fragestellung: Der IT-Benchmark Gesundheitswesen ist ein Verfahren des statistischen Benchmarkings, das spezifische IT-Performance-Indikatoren in Krankenhäusern, wie IT-Strukturen und Funktionen [1], [2] sowie IT-Unterstützung klinischer Prozesse [2] misst. Die Evaluation des Verfahrens in 2011 ergab einen Bedarf zur Verbesserung der Visualisierung insbesondere eine kompaktere Darstellung der 122 Diagramme [1]. Ein Ziel des in 2013 durchgeführten Verfahrens war es daher, den Teilnehmern neben detaillierten auch stärker aggregierte Präsentationsformen zu bieten. Eine entsprechende Visualisierung eröffnet dabei die Möglichkeit, große Datenmengen zu verarbeiten und diese dem Nutzer verständlich und zugänglich aufzubereiten [3]. Die Darstellung der Daten beruht dabei auf folgenden Aspekten: Zum einen ist die Verbesserung der Wahrnehmung und Interpretation der Kennzahlen zu gewährleisten, zum anderen die Akzeptanz an der Verarbeitung von Informationen zu fördern [4-5]. Des Weiteren sollte die Visualisierung Entscheidungen durch Aggregation und Hervorhebung relevanter Informationen unterstützen [4], [5]. Dabei sollten einerseits die Ergebnisse der Evaluation des IT-Benchmark 2011 [1] und andererseits folgenden spezifischen Anforderungen berücksichtigt werden: (a.) die Abbildungen den Teilnehmern in einer geeigneten Reihenfolge darbieten, (b.) neue Kennzahlen im Rahmen eines entwickelten Scoring-Modells integrieren, (c.) die Benchmarking-Ergebnisse eines individuellen Hauses im Kontext der jeweiligen Referenzgruppe geeignet präsentieren, (d.) bestehende und alternative Visualisierungsformen nutzen, (e.) die Erstellungszeit verkürzen und (f.) über eine Evaluation weiteren Verbesserungsbedarf aufzeigen.

Material und Methode: Ausgangsbasis für die Visualisierung waren die im IT-Benchmark 2013 eingesetzten Indikatoren, die daraus generierten Daten [2] und die Ergebnisse der Evaluation des Benchmarking-Verfahrens von 2011 [1]. Das IT-Benchmarking 2013 basierte auf Daten von 259 deutschen Krankenhäusern aus dem Jahr 2013 mit 199 Benchmarking-Teilnehmern insgesamt und 183 teilnehmenden Krankenhäusern mit OPs und Intensivstation. Die Visualisierung der Indikatoren sollte auf einem hierarchischen Prinzip von aggregierten Werten in Form von Meta- und Sub-Scores sowie von einzelnen Indikatoren aufbauen, die im Rahmen des Verfahren für 2013 entwickelt worden waren und einen Meta-Score für die Workflow-Unterstützung insgesamt, vier Sub-Scores für einzelne ausgewählte klinische Prozesse und 92 Einzelindikatoren aus den Bereichen der vier Workflow-Deskriptoren: Daten und Informationen, Funktionen, Integration und Distribuierbarkeit umfassten [2]. Um die entsprechenden Werte eines individuellen Hauses im Vergleich zu seinen Referenzgruppen präsentieren zu können, wurden verschiedene Referenzgruppen gebildet, die sich an den Merkmalen Krankenhausträgerschaft und Krankenhausgröße orientierten [6]. Die Meta-Scores sollten zusätzlich eine Segmentierung der Referenzgruppen nach dem Grad der Innovationsfähigkeit ermöglichen und erkennen lassen, welchem Segment das jeweilige einzelne Krankenhaus angehört. In Anlehnung an die Evaluation des ersten IT-Benchmarking [1] wurde die Visualisierung auf ihre Verständlichkeit hin erneut überprüft, um Ansatzpunkte für eine Weiterentwicklung und Optimierung zu ermitteln. Die Evaluation erfolgte mittels Online-Erhebung durch einen in zwölf Hauptfragen und drei weiteren Unterfragen gegliederten Fragebogen.

Ergebnisse: Die Darstellung der IT-Performance-Indikatoren wurde nach einem stufenweisen Prinzip [7] aufgebaut, das die Score-Bildung aus Einzelindikatoren, Sub-Scores und Meta-Score für den Anwender nachvollziehbar machte. Der Meta-Score bildete dabei die oberste Ebene, die Sub-Scores die zweite Ebene und einzelne bzw. zusammengefasste Indikatoren die dritte Ebene. Der Meta-Score eines einzelnen Hauses wurde in einem Diagramm abgebildet (Ebene 1), das die Verteilung der Meta-Scores innerhalb der Referenzgruppe nach dem „Diffusion of Innovations“-Modell von Rogers [8] in vier Innovationsklassen segmentierte: Innovatoren (2,5% der Krankenhäuser), frühzeitige Anwender (13,5%), fortschrittliche Mehrheit (34%), unprogressive Mehrheit (34%) und Nachzügler (16%). Ein Balken zeigte die Position des einzelnen Hauses an. Die Sub-Score Verteilung innerhalb der Referenzgruppen wurde nur in zwei Bereiche segmentiert, einen unterhalb und einen oberhalb des Median (Ebene 2). Ein Balken gab die Position des einzelnen Krankenhauses in der Verteilung wider. Zur Darstellung auf Ebene 3 wurden sogenannte „Single Indicator Views“ für einzelne Indikatoren und „Multiple Indicator Views“ für die zusammenfassende Darstellung mehrerer Indikatoren genutzt. Die Gruppe der „Single Indicator Views“ bestand aus Balkendiagrammen für ordinale Daten, Säulendiagramme für nominale Daten (Häufigkeits-Views) und adaptierten Performance-Bars [9]. Alle „Single Indicator Views“ konnten zum einen die Verteilung innerhalb der Referenzgruppen und zum anderen die individuellen Werte durch eine farbliche Markierung der Antwort des jeweiligen Teilnehmers aufzeigen. Als „Multiple Indicator Views” wurden „Multiple Distance Views“, „Multiple Innovation Views“ und „Multiple Performance-Bars“ eingesetzt. Der „Multiple Distance View“ zeigte in einem Netzdiagramm durch Zusammenfassung mehrerer Indikatoren das individuelle Ergebnis eines Teilnehmers bezogen auf den Gruppenbesten. Der „Multiple Innovation View“ bildete Indikatoren von Innovation, nämlich den Grad der Implementation im Vergleich zur Häufigkeit dieses Grades innerhalb der Referenzgruppen in einer 2x2 Felder-Matrix ab. Die 2x2 Felder lehnten sich an das „Diffusion of Innovations“-Modell an [8]. Die „Multiple Performance-Bars“ stellten als zusammengefasste Performance-Bars einen weiteren „Multiple Indicator View“ dar. Als Gestaltprinzip für alle Abbildungen wurde eine serifenlose Schrift [7], [9], [10] und gedeckte Farben (Harmonisierung über das Farbenrad) verwendet. Um die individuellen Ergebnisse eines Benchmark-Teilnehmers darzustellen sind Farben als Highlights genutzt worden [3,7,9-10]. Alle Scores wurden zudem in Kennzahlensteckbriefen [11] an einem Beispiel erläutert. Die Visualisierung wurde in Microsoft Excel 2010 halbautomatisiert umgesetzt, die Diagramme in ausgedruckter Form als Papierdokumente und pdf Dateien verteilt. Von insgesamt 199 am IT-Benchmark teilnehmenden IT-Verantwortlichen antworteten 67, was einer Rücklaufquote von 33,7% entsprach. Über alle Visualisierungsformen gemittelt gaben 90,9% der Evaluationsteilnehmer das Urteil „sehr verständlich“ oder „verständlich“ ab. Der Meta-Score konnte mit 82,1% (n=67) als „sehr verständlich“ bzw. „verständlich“ eingeordnet werden. Als „sehr verständlich“ wurden insbesondere Performance-Bars (37,9%;n=66) und Häufigkeits-Views in Form von Säulen- und Balkendiagrammen (35,4%;n=65) bewertet, wohingegen die „Multiple Innovation Views“ (22,7%;n=66) und „Multiple Distance Views“ (22,4%;n=67) weniger Nennungen im Bereich „sehr verständlich“ auf sich zogen.

Diskussion: Es konnte eine auf drei Ebenen präsentierte Darstellung von IT-Performance-Indikatoren in den unterschiedlichsten Visualisierungsformen den Benchmark-Teilnehmern angeboten werden. Die verschiedenen Sichten gewährten die Möglichkeit, die Ergebnisse in unterschiedlichen Zusammenstellungen und stufenweise, von aggregierten Scores bis zur Datenebene, zu betrachten. Alle diese Formen nahmen Bezug zur Verteilung innerhalb der jeweiligen Referenzgruppen. Die Darstellung des Meta-Scores und der „Multiple Innovation View“ erlaubten Aussagen über die Zugehörigkeit zu Innovationsklassen. In der Bewertung der Visualisierungsformen, die grundsätzlich sehr positiv ausfiel, schnitten die einfachen gegenüber den komplexen Darstellungen besser ab. Kritisch kann im Rahmen der Visualisierung weiterhin die Masse an Darstellungen angesehen werden, die eine Orientierung und Einschätzung erschweren könnte (164 Diagramme), gerade wenn die Diagramme in Druckform statisch vorliegen. Eine interaktive Bereitstellung in Form von Excel-Dateien war jedoch nicht möglich, da die Performanz von Excel durch die großen Datenmengen deutlich eingeschränkt war.


Literatur

1.
Liebe JD, Hübner U. Developing and Trialling an independent, scalable and repeatable IT-benchmarking procedure for healthcare organisations. Methods Inf Med. 2013;52(4):360-9. DOI: 10.3414/ME12-02-0016 External link
2.
Thye J, Straede MC, Liebe JD, Hübner U. IT-Benchmarking of Clinical Workflows: Concept, Implementation, and Evaluation. Akzeptierter Vortrag auf eHealth Wien 2014.
3.
Ware C. Information Visualization. Perception for Design. 3. Aufl. Waltham: Morgan Kaufmann (Elsevier Inc.); 2013.
4.
Meyer JA. Visualisierung von Informationen. Wiesbaden: Gabler Verlag; 1999.
5.
Reiterer H, Mann TM, Mußler G, und Bleimann U. Visualisierung von entscheidungsrelevanten Daten für das Management. HMD – Praxis der Wirtschaftsinformatik. 2000;212:71-83.
6.
Liebe JD, Egbert N und Hübner U. Krankenhäuser können IT Innovationen steuern – Validierte Ergebnisse einer Regressionsanalyse. Proceedings of the eHealth. 2012;289:69-75.
7.
Stapelkamp T. Informationsvisualisierung Web-Print-Signaletik. Berlin: Springer-Verlag; 2013.
8.
Rogers EM. Diffusion of Innovations. 3. Aufl. New York: The Free Press; 1983.
9.
Few S. Information Dashboard Design. The Effective Visual Communication of Data. Sebastopol: O’Reilly Media Inc.; 2006.
10.
Visocky O`Grady J, Visocky O`Grady K. The Information Design Handbook. Mies: RotoVision SA; 2008.
11.
Kütz M. Kennzahlen in der IT. Werkzeuge für Controlling und Management. 4., überarbeitete und erweiterte Aufl. Heidelberg: dpunkt.verlag; 2011.