gms | German Medical Science

GMS Medizinische Informatik, Biometrie und Epidemiologie

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V. (GMDS)

ISSN 1860-9171

Wie zufrieden sind Anwender mit der IT-Unterstützung im Krankenhaus? Pilotstudie zur empirischen Erhebung und Validierung der allgemeinen Zufriedenheit von IT-Anwendern im Krankenhaus

User satisfaction with hospital information services. Pilot study to measure and validate general user satisfaction

Originalarbeit

Search Medline for

  • corresponding author Anke Simon - Gesundheitswissenschaften & Management, Fakultät Wirtschaft, Duale Hochschule BW, Stuttgart, Deutschland

GMS Med Inform Biom Epidemiol 2017;13(1):Doc04

doi: 10.3205/mibe000171, urn:nbn:de:0183-mibe0001719

Published: October 4, 2017

© 2017 Simon.
This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. See license information at http://creativecommons.org/licenses/by/4.0/.


Zusammenfassung

Fragestellung: Derzeit liegen weder aussagekräftige Daten noch valide Instrumente zur Messung der Anwenderzufriedenheit mit der im klinischen Alltag genutzten Informationstechnologie sowie verbundenen Services vor (sowohl in Deutschland als auch anderswo). In den wenigen Krankenhäusern, die Anwenderzufriedenheit messen, werden überwiegend selbstentwickelte Fragebögen eingesetzt mit entsprechend eingeschränkter empirisch-statistischer Qualität. Das Ziel der vorliegenden Arbeit war daher (1) die Entwicklung und Prüfung eines generischen Messinstruments zur allgemeinen IT-Anwenderzufriedenheit im Krankenhaus und (2) die Ermittlung erster Referenzwerte.

Methode: Die Online-Erhebung adressierte IT-Anwender im klinischen Bereich (n=2.318 Mitarbeiter in 28 deutschen Krankenhäusern), insbesondere den Ärztlichen und Pflegedienst. Die psychometrischen Tests erfolgten über Reliabilitäts- und Faktorenanalysen.

Ergebnis: Im Allgemeinen erreicht die Anwenderzufriedenheit mit der IT-Unterstützung im Krankenhaus ein zufriedenstellendes Niveau, wobei die Fachkompetenz, das Engagement und die Freundlichkeit der IT-Mitarbeiter hervorgehoben werden. Deutliche Unterschiede zwischen den Krankenhäusern zeigen Entwicklungspotentiale auf. Pflegekräfte bewerten die IT-Unterstützung signifikant positiver als Ärzte. Die statistischen Tests belegen die Validität und Reliabilität des entwickelten generischen Messinstruments.

Schlussfolgerung: Im Rahmen der hier vorgestellten Pilotstudie konnte ein Messinstrument zur allgemeinen Zufriedenheit der IT-Anwender im Krankenhaus entwickelt und geprüft werden. Die Messskala kann als valide, reliabel und mit Blick auf die erhobenen ersten Referenzwerte als aussagekräftig eingeschätzt werden.

Schlüsselwörter: Anwenderzufriedenheit, Krankenhaus-IT, eHealth, Gesundheitsinformatik, empirische Studie

Abstract

Objectives: In the health informatics field little is known about the general user satisfaction with hospital information technology. According to our research, most of the hospital chief information officers (CIOs) do not measure user satisfaction. Amongst the small number of hospital CIOs with relevant data, the majority use self-developed hands-on questionnaires of poor empirical quality. Moreover, there are barely any national studies on user perception on hospital IT service quality available in Germany, or elsewhere. Hence the purpose of this study was to (1) develop and validate a scale and (2) measure the general user satisfaction with information technology and services in hospitals.

Methods: The online survey addressed health professionals (n=2,318 in 28 hospitals), i.e. physicians and nurses. Psychometric evaluation was conducted via reliability and exploratory factor analysis.

Results: Our investigation in 28 hospitals shows that the instrument is reliable, valid and suitable for assessing user satisfaction with hospital information services. The evaluated IT services meet the users’ expectations, i.e. with above average voting on IT staff competencies, commitment and friendliness. Nurses tend to rate significantly higher, and differences between high and low-performing hospital IT departments suggest starting points for further improvement.

Conclusions: The results of the first pilot study in the research field of user satisfaction with IT services in hospitals are presented. Our data analysis gives first reference values on general user satisfaction with hospital IT. The developed scale should be considered as reliable, valid and useful for further research.

Keywords: general user satisfaction, hospital IT, eHealth, health informatics, empirical study


Hintergrund

Der Gesundheitssektor gilt als informationsintensive Branche verbunden mit hohen Wachstumsraten im Markt der eHealth-Industrie sowie der IT-Service Anbieter (vgl. ein Überblick über Marktforschungsstudien in [1]). Informationstechnologie (IT) versorgt Mediziner, Pflegekräfte und andere an der Patientenbetreuung beteiligten Gesundheitsprofessionen mit zeitgerechten, richtigen und vollständigen Informationen zur Sicherstellung der Patientenversorgung auf möglichst hohem Qualitätsniveau [2], [3]. In gleicher Weiser erfährt das Management IT-Unterstützung, mit dem Ziel Effektivität und Effizienz der administrativen Krankenhausprozesse zu optimieren [4], [5]. Vor dem Hintergrund der schnellen Technologieakzeleration verzeichnen viele Krankenhäuser stark ansteigende IT-Kosten und Investitionsbedarfe. Heutzutage werden nicht selten mehr als einhundert unterschiedliche Informationssysteme (IS) bzw. IT-Applikationen in Krankenhäusern genutzt (von klinikweit eingesetzten Krankenausinformationssystemen mit digitaler Patientenakte und Leistungsanforderung sowie Befundrückübermittlung bis zu hoch spezialisierten Radiologieinformationssystemen, inklusive Spracherkennung, oder virtueller Simulationssoftware zur OP-Planung). Entsprechend hoch und weiter wachsend ist die Bedeutung und Verantwortung der IT-Abteilung eines Krankenhauses, deren Aufgabenbereiche und Zuständigkeiten im Anwendersupport, IT-Wartung, Applikationspflege, Rechenzentrumsbetrieb, Netzwerkmanagement, Beratung, Schulung, Projektmanagement, IT-Sicherheit u.v.a.m. liegen. Obwohl im Krankenhaus kaum ein Prozess ohne IT-Unterstützung denkbar wäre und der Nutzen durch Informationstechnology hinlänglich auf der Hand liegen dürfte, mehren sich im Gegensatz dazu Hinweise auf Defizite in der realen Krankenhauspraxis. Evidente Belege finden sich zahlreich in der Literatur zu Themen wie Systemunzulänglichkeiten, geringe Benutzerfreundlichkeit und ungenügende Serviceunterstützung im klinischen Alltag (Reviews in [6], [7]). Jüngste Untersuchungen zeigen, dass Anwenderakzeptanz, wahrgenommene Benutzerfreundlichkeit und Anwenderzufriedenheit Schlüsselfaktoren erfolgreicher Einführung und Nutzung (Adoption) von IT im Krankenhaus sind [6], [8], [9], [10], [11], [12], [13], [14]. Prinzipiell hängt die erfolgreiche Einführung, Integration und Nutzung von Informationstechnologie im Krankenhaus von der Qualität des Informationssystems bzw. der IT-Anwendung selbst sowie den diversen benutzerbezogenen IT-Services, in aller Regel bereitgestellt von der IT-Abteilung, ab (insbesondere IT-Hotline, Vor-Ort Service, Rufbereitschaft, Anwenderschulung, Projektmanagement).

Entgegen der anwachsenden Zahl von Problemberichten in der Literatur sind überraschender Weise nur wenige Publikationen zur empirischen Messung der IT-Anwenderzufriedenheit im Krankenhaus zu finden – die Datenlage insuffizient. Bisherige Publikationen zum Thema IT-Anwenderzufriedenheit im Krankenhaus adressieren mehrheitlich spezifische Einführungsprojekte und Informationssysteme im Krankenhaus (beispielsweise [10], [12], [13], [14], [15], [16], [17]), beziehen sich auf ausgewählte Anwendungskonstellationen (z.B. [11], [14], [18], [19], [20], [21], [22]), umfassen eher eine kleine Zahl an Befragungsteilnehmern oder inkludierten nur ein Zielgruppe (beispielsweise nur Ärzte oder Führungskräfte [6], [7], [13]). Wie die Literaturrecherche zeigt, liegen (wenig überraschend) keine Referenzwerte zur IT-Anwenderzufriedenheit in Krankenhäusern zu Vergleichszecken im Sinne des Benchmarking vor, weder in Deutschland noch in anderen Ländern. Ebenso berichten wenig wissenschaftliche Veröffentlichungen zum Ursprung und der Entwicklung der Fragebögen sowie zur Qualität der eingesetzten Messinstrumente, d.h. über die Validität, Reliabilität oder Stichprobe. Die Aussagekraft der Erhebungen ist daher nicht sichergestellt – die Gültigkeit und Interpretation der Ergebnisse muss in Frage gestellt werden.

Das Ziel der vorliegenden Arbeit war (1) die Entwicklung und Prüfung eines generischen Messinstruments zur allgemeinen IT-Anwenderzufriedenheit im Krankenhaus und (2) die Ermittlung erster Referenzwerte. Entsprechend der Zielsetzung verfolgt die Studie ein exploratorisches, Strukturen-entdeckendes Forschungsdesign. Eine Formulierung von Hypothesen ist daher nicht angezeigt [23].


Methoden

Die Entwicklung der Skala „Allgemeine IT-Anwenderzufriedenheit“ im Krankenhaus erfolgte anhand dreier Messzeitpunkte im Rahmen des Entwicklungsprojekts KH-IT Anwenderfragebogen [24]. Die Intention des Projekts KH-IT Anwenderfragebogen bestand darin, möglichst eindimensionale Skalen mit wenigen Items für die unterschiedlichen Konstrukte zur Messung der Anwenderzufriedenheit zu generieren. Der KH-IT Anwenderfragebogen umfasst neben dem hier vorgestellten Fragebogenmodul „Allgemeine IT-Anwenderzufriedenheit“ zwei weitere Module – „IT-Services“ und „Klinische Applikationen“ – mit mehreren spezifischen Skalen. Die Datenauswertungen sind hier noch nicht abgeschlossen, entsprechende Veröffentlichungen in Planung (siehe Anmerkungen).

Konzeptionalisierung und Vorstudien

Initiiert und unterstützt vom Bundesverband der Krankenhaus-IT LeiterInnen e.V. (kurz KH-IT, mehr als 400 Mitglieder) durchlief das Projekt einen Entwicklungszeitraum von drei Jahren. Aufbauend auf einer systematischen Literaturrecherche zur Identifikation von relevanten Studien, theoretischen Konzepten und validen Messinstrumenten erfolgte die konzeptionelle Fundierung auf Basis des Technology Akzeptanz Modells [25], Theorien der Kundenzufriedenheit [26], sowie dem Modell der multiattributiven Messung von Servicequalität [27].

Unter dem Begriff der Anwenderzufriedenheit soll in dieser Arbeit die subjektive Wahrnehmung der IT-Leistungen aus individueller Perspektive, hier aus Anwendersicht, verstanden werden (im Unterschied zu objektiven Indikatoren der IT-Unterstützung wie beispielsweise Qualifikation und Anzahl der Mitarbeiter in der IT-Hotline; oder Anzahl und Art von Störungen nach Prioritäten). Da die Anwenderzufriedenheit ein Outcome-Kriterium darstellt, kann hier ebenso von subjektiver Ergebnisqualität gesprochen werden. Die Bedeutung der Anwenderzufriedenheit für die Akzeptanz und Nutzung (neuer) Technologien gilt auf Basis des Technologie-Akzeptanz-Modells als hinlänglich beschrieben und untersucht [25]. Die neu entwickelte Skala zur Messung der allgemeinen IT-Anwenderzufriedenheit basiert auf der theoretischen Annahme, dass sich Zufriedenheit aus der wahrgenommenen Relation zwischen erbrachter und erwarteter Leistung ergibt [26]. Die globale Qualitätseinschätzung einer Leistung beruht dabei auf der Einschätzung einzelner Bewertungsmerkmale bzw. der Summe einer Vielzahl (multi)-bewerteter Attribute [27]. Die aus Anwendersicht relevanten Bewertungsitems wurden im Rahmen von Fokusgruppengesprächen und begleitenden Kommentierungen durch Experten (sechs Krankenhaus CIO/IT-Leitungen sowie zwei Medizininformatik Professoren) identifiziert, diskutiert und formuliert.

Der erste Entwurf des Fragebogens durchlief mehrere Runden von Fokusgruppen und einem Pretest mit IT-Anwendern. Die Vollständigkeit und verständliche Formulierung der Items konnten bestätigt werden. Im Anschluss daran wurden zwei Piloterhebungen durchgeführt (n=106 Klinikum Nürnberg, n=182 Klinikum Rüsselsheim) [28]. Die statistischen Tests ergaben eine gute Skaleneignung, kein Item musste entfernt werden.

Operationalisierung

Ziel der Operationalisierung war die Entwicklung eines generischen, eindimensionalen kurzen Instruments. Die Skala soll insbesondere dazu dienen, IT-Leitungen sowie der Krankenhausführung einen schnellen Überblick zur IT-Anwenderzufriedenheit, im Allgemeinen, übergreifend und unabhängig von spezifischen IT-Services, bereitzustellen (verbunden mit möglichst wenig Erhebungsaufwand). Aufbauen auf der Konzeptualisierung und den Vorstudien besteht die Skala aus vier Items. Die Bewertung erfolgt über eine fünfstufige Likert-Skala (1 – „trifft gar nicht zu“ bis zu 5 – „trifft völlig zu“), ergänzt um eine „opt out“-Option. Hinzu kommen drei offene Fragen zu Stärken und Schwächen der IT-Abteilung, angereichert um Kommentierungsmöglichkeiten zu gesetzten Rahmenbedingungen durch die Krankenhausleitung. Abschließend sind die Teilnehmer aufgefordert eine Gesamtbewertung zur IT-Unterstützung abzugeben (single-item Skala). Das abschließende Gesamturteil, einschlägig für Zufriedenheitserhebungen [29], soll darüber hinaus auch als Kriterium zur Überprüfung der Inhaltsvalidität herangezogen werden [30].

Der Fragebogen ist sowohl für papierbasierte (paper & pencil) als auch für Online-Erhebungen geeignet (siehe Anhang 1 [Anh. 1]). Die hier vorgestellte Studie wurde online durchgeführt, mit Hilfe der Software Questback Unipark, EFS Survey, Version 8.0.

Datenbasis

Die Querschnittsstudie sollte möglichst alle Krankenhaustypen und Größenklassen umfassen. Zur Gewinnung der Teilnehmer wurden die dualen Partnerkrankenhäuser des Studienzentrums Gesundheitswissenschaften & Management der Dualen Hochschule Baden-Württemberg, Stuttgart, angefragt. Insgesamt nahmen 28 Krankenhäusern (16 Krankenhausträger) an der Erhebung teil. Für die Teilnehmer der Befragung waren folgende Inklusionskriterien gesetzt: a) Mitarbeiter im klinischen Bereich, insbesondere Ärztlicher Dienst oder Pflegedienst; b) Betriebszugehörigkeit von mehr als drei Monaten; c) regelmäßige und aktive IT-Nutzung; und d) Bereitschaft an der Studie teilzunehmen.

Die anonyme Befragung wurde von Januar bis Juni 2015 durchgeführt. Die Einladung der Befragungsteilnehmer erfolgte per eMail sowie mit einem ergänzenden Schreiben, welches der monatlich, postalisch zugesendeten Gehaltsmitteilung beigefügt wurde. Die Informationen und der Link zur Erhebung waren ebenfalls über das Intranet der beteiligten Krankenhäuser zugänglich. Zwei Wochen nach der Erhebungsankündigung und Teilnehmereinladung erfolgte eine Erinnerungsaktion per eMail. Die Teilnehmer beantworteten die Fragen online. Rückschlüsse auf individuelle Personen waren von vorn herein ausgeschlossen (die Zustimmung der Betriebs- bzw. Personalräte wurde im Vorfeld eingeholt).

Analysen

Die exploratorische Datenanalyse erfolgte mit Hilfe der Statistik Software SPSS (IBM) in der Version 20. Die deskriptive Datenauswertung umfasst die Berechnung von Mittelwerten (M) auf der Basis der kodierten fünf-stufigen Likert-Skalen ((1) trifft gar nicht zu, (2) trifft wenig zu, (3) teils/teils, (4) trifft ziemlich zu, (5) trifft völlig zu) sowie entsprechende Standardabweichungen (SD) und zielgruppenspezifischen Differenzberechungen (Diff.). Neben den Darstellungen zur deskriptiven Statistik wurden Mittelwertunterschiede mit dem t-Test geprüft (Signifikanzniveau p<0.01). Zur Ermittlung der Krankenhäuser mit dem niedrigsten bzw. höchsten Zufriedenheitswerten (Min/Max-Werte) erfolgte eine Datenaggregation auf Hausebene. Die Kommentare der offenen Fragen wurden auf der Basis einer qualitativen Inhaltsanalyse ausgewertet und kategorisiert [31]. Die Prüfung des Erhebungsinstruments basiert auf Reliabilitätstests sowie einer exploratorischen Faktorenanalyse (EFA) zur Prüfung der Konstruktvalidität.

Ethical approval

Da es sich nicht um eine klinische Studie handelt, war keine Zustimmung durch eine Ethikkommission notwendig. Das Studienprotokoll sowie der Fragebogen wurden durch die Krankenhausleitungen (Ärztliche Direktion, Pflegedirektion, Geschäftsführung sowie IT-Leitung) der Träger genehmigt. Die Mitbestimmungsrechte des zuständigen Personal- bzw. Betriebsrates haben auf der Basis entsprechender Antrags- und Genehmigungsprozedere Berücksichtigung gefunden. Die IT-Anwender als „Probanden“ wurden über die Studienziele und Vorgehensweise umfassend informiert. Anonymität und Freiwilligkeit waren sichergestellt.


Ergebnisse

Stichprobe

Insgesamt haben 16 Krankenhausträger mit 28 Krankenhäusern/Standorten teilgenommen (Tabelle 1 [Tab. 1]). Über alle Häuser haben 2.944 Teilnehmer die Befragung geöffnet; 2.318 Anwender beantworteten zumindest einen Fragekomplex. Da Items z.T. nicht relevant für einzelne Teilnehmer waren bzw. die Beantwortung nicht verpflichtend war („op out“-Option), variiert die effektive Stichprobe (n) bei jeder Frage/Item. Die Responsequote wurde anhand der Mitarbeiterzahl der Krankenhäuser ermittelt (Grundgesamtheit 34.432 Mitarbeiter) und betrug 14,85 Prozent und kann für diese Art von Befragung als zufriedenstellend bewertet werden. Die Rücklaufquote der Hauptzielgruppen lag beim Ärztlichen Dienst bei 11,85 Prozent und beim Pflegedienst bei 3,71 Prozent. Neben den beiden Hauptzielgruppen der Befragung nahmen auch Mitarbeitende aus dem Funktionsdienst, Medizin-Technischem Dienst, Schreibdienst/Sekretariat und administrativem Bereich teil, welche im Folgenden jedoch nicht einzeln aufgeführt werden.

Wie Tabelle 2 [Tab. 2] zeigt, waren die Teilnehmer im Mittel 43 Jahre alt, verfügten über 19 Jahre Berufserfahrung, haben im Schnitt in drei Unternehmen der Gesundheitsbranche gearbeitet und sind seit 13 Jahren beim jetzigen Arbeitgeber tätig. Männer und Frauen sind in der Gesamtstichprobe nahezu gleich verteilt, wobei bezogen auf die Zielgruppen Ärztlicher Dienst der Männeranteil mit 66 Prozent überwiegt; im Pflegedienst kehrt sich das Verhältnis um.

Wie in Abbildung 1 [Abb. 1] zu sehen, nutzen Mediziner und Pflegekräfte oft bzw. sehr oft Computer bei ihrer Arbeit. Die Häufigkeit der Computernutzung ist bei den Ärzten noch höher ausgeprägt als bei den Pflegekräften. Ebenso wird die Sicherheit im Umgang mit dem Computer von beiden Berufsgruppen hoch eingeschätzt. Korrespondierend mit der Nutzungshäufigkeit votieren die Ärzte etwas stärker als die Pflegekräfte.

Psychometrische Validierung der Skala „Allgemeine IT-Anwenderzufriedenheit“

Die entwickelte Skala dient der Zufriedenheitsmessung bezogen auf die grundlegenden Leistungen einer IT-Abteilung – misst also die Zufriedenheit der IT-Anwender im Allgemeinen.

Die Ergebnisse der exploratorischen Faktorenanalyse sind in Tabelle 3 [Tab. 3] dargelegt. Die Hauptkomponentenanalyse bestätigt die konzeptualisierte eine Ein-Faktoren-Lösung, wobei der Faktor mit einem anfänglichen Eigenwert von 2,99 (74,72%) die Gesamtvarianz erklärt. Sowohl nach dem Kaiser-Kriterium als auch nach dem Scree-Plot ergab sich eine einfaktorielle Lösung.

Die endgültige Lösung wurde entsprechend der einschlägigen Gütekriterien geprüft (Kommunalität <0.3, MSA-Wert <0.6 (Measure of Sample Adequacy), maximale Faktorladung <0.3, Doppel- oder Mehrfachladungen >0.4) generiert [32], [33].

Der Kaiser-Meyer-Olkin-Koeffizient (KMO) als Maß für die Dateneignung betrug 0,827, was als guter Wert gilt (auch die einzelnen KMO-Werte der Items entsprechen diesem Ergebnis) [29], der Bartlett-Test war hoch signifikant (χ2=3554,880, df=6, p<,001). Keines der vier Items musste aufgrund geringer Kommunalitäten ausgeschlossen werden. Kein Item wies eine maximale Faktorenladung <0,3 auf.

Tabelle 4 [Tab. 4] zeigt neben den Skalenkennwerten (Mittelwert, Standardabweichung, Schiefe) die mittlere Trennschärfe der Faktoritems, das heißt wie gut die Einzelitems den Faktor abbilden, und den dazugehörigen Wertebereich sowie die interne Konsistenz der Skala. Die Skala weist eine moderat ausgeprägte linksschiefe Verteilung auf (das Histogramm zeigt die Mehrheit der Teilnehmer mit mittlerer bzw. überdurchschnittlicher Zufriedenheit und einige wenige Anwender mit sehr niedrigen Zufriedenheitswerten). Die Trennschärfe lässt darauf schließen, wie gut ein Einzelitem zwischen Befragten mit unterschiedlichen Merkmalsausprägungen differenziert. Die Trennschärfenanalyse ergab bis auf wenige Ausnahmen hohe Werte (Werte zwischen 0,3 und 0,5 gelten als mittelmäßig, Werte >0.5 als hoch) [33]. Die interne Konsistenz der Skala liegt im sehr guten Bereich (Cronbach’s alpha 0,89 sowie split-half-Reliabilität 0,89), was auf eine gute Skalentauglichkeit hinweist.

Neben der fundierten qualitativen Herleitung der Skalenitems zur Sicherstellung der Itemvalidität eines Konstrukts wird in der empirischen Forschung auch die quantitative Prüfung mit Hilfe eines direkt erhobenen Merkmals empfohlen [30]. Je höher die Korrelation zwischen dem entwickelten Konstrukt und dem direkt gemessenen Merkmal, umso positiver kann die Inhaltsvalidität gewertet werden. In dieser Studie wurde das Merkmal ,Mit der Gesamtleistung der IT- Abteilung bin ich zufrieden‘ herangezogen (single item, M 3,74). Die Korrelation der Werte zwischen dem Skalenscore des Konstrukts „Allgemeine IT-Anwenderzufriedenheit“ und dem direkt erhobenem Merkmal ergab eine statistisch signifikante starke Beziehung (r 0,830, p≤0,01).

Ergebnisse der Allgemeinen IT-Anwenderzufriedenheit

Wie die Itemkennwerte in Tabelle 5 [Tab. 5] zeigen, werden den IT-Mitarbeitern die höchsten Werte in Bezug auf Aufmerksamkeit, Freundlichkeit und Engagement attestiert (M 4,05). Ebenso zufrieden sind die Anwender mit der Fachkompetenz (M 3,96). Weniger gut fallen die Bearbeitungsgeschwindigkeit (M 3,36) sowie die Nachhaltigkeit der erbrachten Leistungen nach Meinung der Anwender aus (M 3,66). Die Sichtweisen von Ärztlichem Dienst und Pflegedienst weichen zum Teil deutlich voneinander ab (Differenzen zwischen –0,17 und –0,43 Notenpunkten). Der Pflegedienst ist mit den Leistungen der IT-Abteilung signifikant zufriedener als der Ärztliche Dienst. Mit Blick auf die einzelnen teilnehmenden Krankenhäuser kann festgestellt werden, dass große Unterschiede in der Anwenderzufriedenheit bestehen. Nach der Berechnung der Minimal- und Maximalwerte unterscheidet sich das Krankenhaus mit der niedrigsten allgemeinen Anwenderzufriedenheit (Minimalwerte zwischen 2,08 und 3,33) um deutlich mehr als einen Bewertungspunkt von den Werten des besten Krankenhauses (Maximalwerte zwischen 4,01 und 4,66).

Neben den geschlossenen Fragen hatten die Befragungsteilnehmer auch die Möglichkeit Kommentare abzugeben – zu besonders positiven Aspekten, Verbesserungsvorschlägen oder Unterstützungspotentialen durch die Krankenhausleitung. Diese Möglichkeit wurde von den Anwendern ausgesprochen rege genutzt (1.906 Einträge konnten über die drei Kommentarfelder ausgewertet werden, ein Eintrag beinhaltet einen oder mehrere Kommentare). Die qualitativen Auswertungen [33] bestätigen die aufgezeigten quantitativen Analyseergebnisse und stellen den beteiligten Krankenhäusern vielfältige Anregungen und Ansatzpunkte zur Optimierung der Leistungen zur Verfügung.

Eine große Zahl von 785 Anwendern loben die Krankenhaus-IT insbesondere für ihre Hilfsbereitschaft, Fachkompetenz, Engagement sowie die problemlose und flexible Unterstützung.

Kommentare wie „Am Telefon immer freundlich und stets prompte Hilfe“, „Können so gut wie alle Probleme lösen“, „Sie versuchen, trotz personeller Knappheit, ein hohes Maß an Leistung zu bringen“, „Ihr findet immer eine Lösung“, „Ausreichend Geduld mit unerfahrenen Mitarbeitern“, „Die Probleme werden immer sehr schnell erledigt und es ist immer tagsüber jemand erreichbar“, „Immer sehr freundlich, haben für die banalsten Probleme Verständnis, man kommt sich als Anrufer nicht blöd vor“ verdeutlichen exemplarisch das positive Feedback. 955 Teilnehmer nutzen die Befragung um einen oder mehrere Verbesserungsvorschläge anzugeben. Dabei wünscht sich der Mehrheit (299 Verbesserungsvorschläge) eine bessere Erreichbarkeit, insbesondere die Hotline (neben dem Ticketsystem) auch per Telefon zu erreichen, Unterstützung über 24 Stunden rund um die Uhr und IT-Personal direkt vor Ort, gefolgt von schnelleren Reaktions- und Bearbeitungszeiten (197 Verbesserungsvorschläge). 169 Kommentare betrafen die klinischen Anwendungssystem (geringe Benutzerfreundlichkeit, Updates, fehlende Funktionalitäten u.a.). Die Kundenorientierung der IT-Abteilung wurde mit 150 Anmerkungen thematisiert (hier insbesondere geringe Wertschätzung der Anwender, die Krankenhaus-IT als Dienstleister für die Kliniken und nicht umgekehrt, mangelnde Kenntnisse der klinischen Prozesse, suboptimale Kommunikation und Rückmeldungen u.a.).

Die Frage nach den Unterstützungsmöglichkeiten durch die Krankenhausleitung, beantworten 166 Teilnehmer. Von Anwenderseite wurden mehrheitlich mehr IT-Personal sowie ein höheres Budget für die IT-Abteilung gefordert.


Diskussion und Limitation

In der Mehrheit der Krankenhäuser werden keine Erhebungen zur Anwenderzufriedenheit mit der IT-Unterstützung (in aller Regel verantwortet durch die IT-Abteilung) durchgeführt. In den wenigen Krankenhäusern, die Anwenderzufriedenheit messen, sind überwiegend selbstentwickelte Fragebögen mit entsprechend eingeschränkter empirisch-statistischer Qualität eingesetzt. Sowohl in Deutschland als auch anderswo liegen daher bis dato keine entsprechenden Studien vor.

Was in der Medizin bzw. Pflege schon seit langen üblich ist, nämlich die Messung der klinischen Leistungsqualität anhand geeigneter objektiver Indikatoren (z.B. ungeplante Wiedereinweisungen, Komplikationsrate etc.) sowie subjektiver Qualitätsmerkmale (Patientenzufriedenheit, Lebensqualität etc.) muss auch für die Krankenhaus-IT gelten. Nicht nur mit Blick auf den wachsenden Investitionsbedarf und die hohen laufenden Aufwendungen für den IT-Betrieb, sondern vor allem auch vor dem Hintergrund der zunehmenden Abhängigkeit aller Krankenhausprozesse von Informationstechnologie. Einen großen Teil der objektiven Indikatoren können von der IT in den Krankenhäusern selbst erhoben werden (z.B. Anzahl von Störungen nach Prioritäten der Systeme, Erfüllungsgrade von Service Level Agreements etc.). Zu den subjektiven Qualitätsmerkmalen aus Anwendersicht fehlen sowohl aussagekräftige Daten als auch valide Messinstrumente zur Erhebung derselben.

Diese Arbeit zeigt die bisher erste Erhebung zur allgemeinen IT-Anwenderzufriedenheit im Krankenhaus. Die exploratorische Studie verfolgte insbesondere zwei Zielsetzungen: (1) die Entwicklung und Prüfung eines generischen Messinstruments zur allgemeinen IT-Anwenderzufriedenheit im Krankenhaus sowie (2) die Ermittlung des Ist-Standes in Form von ersten Referenzwerten.

Zur Verfolgung des ersten Ziels wurde ein kurzer Fragebogen zur allgemeinen IT-Anwenderzufriedenheit theoriebasiert entwickelt und in Vorstudien eingesetzt. Eine Validierung des Messinstruments auf Basis einer größeren Stichprobe stand bisher noch aus. Die a priori definierte Ein-Faktor-Struktur konnte empirisch bestätigt werden. Die Gütewerte der EFA zeigten gute bis sehr gute Ausprägungen. Die Skalenkennwerte, die Reliabilitätstests und die Trennschärfe belegen die gute bis sehr gute Skaleneignung.

Die breit angelegte Erhebung in 28 Krankenhäusern über 16 Krankenhausträger ermöglichte einen ersten Einblick in den Ist-Stand der Anwenderzufriedenheit im Allgemeinen über alle IT-Services eines Krankenhauses hinweg. Wie die Ergebnisse zeigen, sind die klinischen Anwender überdurchschnittlich zufrieden mit der IT, wobei die Fachkompetenz, das Engagement und die Freundlichkeit der IT-Mitarbeiter hervorgehoben werden. Bei Bearbeitungsgeschwindigkeit und Nachhaltigkeit gibt es Optimierungspotentiale. Die große Stichprobe erlaubte die Kalkulation von entsprechenden Referenzwerten, die unter Beachtung der unten aufgeführten Limitationen von anderen Krankenhäusern als Vergleichsmaßstab genutzt werden können.

Darüber hinaus war als zusätzlicher exploratorischer Erkenntnisgewinn die Ermittlung signifikanter Zufriedenheitsunterschiede möglich. Mit Blick auf die aggregierten Werte auf Hausebene fallen deutliche Abweichungen auf. Einzelne Krankenhäuser zeigen hier eine hohe Performance, die mit höheren Zufriedenheitswerten belohnt wird (im Schnitt mehr als einem Bewertungspunkt). Für Häuser mit niedriger Anwenderzufriedenheit bestehen dazu korrespondierend entsprechende Entwicklungspotentiale. Die Referenzwerte der performanten Krankenhäuser können als erste Benchmarks, im Sinne des Messens an den Besten, interpretiert werden und zur Einleitung von Optimierungsmaßnahmen ermutigen.

Deutliche Unterschiede bestehen auch zwischen den beiden Hauptberufsgruppen im klinischen Bereich – generell sind die Pflegekräfte signifikant zufriedener als die Ärzte. Mangels bisheriger Befunde aus der Literatur können hier lediglich Hypothesen aufgestellt werden. Erste Anhaltspunkte liefern die reichhaltigen Kommentare der Studienteilnehmer. Besonders häufig nutzten die Pflegekräfte das Kommentarfeld für Lob und positives Feedback an die IT-Abteilung (470 Einträge), insbesondere die Freundlichkeit, Hilfsbereitschaft, Kompetenz und das Engagement der IT-Mitarbeiter wurden von der Pflege hervorgehoben. Ärzte waren hier etwas zurückhaltender (315 Einträge). Hypothetisch wäre denkbar, dass die Pflegekräfte die Krankenhaus-IT im direkten Kontakt positiver wahrnehmen (ob dies an einer geringeren Erwartungshaltung der Pflege oder an einer besseren Kommunikation zu den IT-Mitarbeitern liegt, kann nur spekuliert werden). Zu vermuten wäre ebenfalls, dass die Ärzte ein kritischeres Meinungsbild aufweisen, weil sie wesentlich häufiger mit den klinischen IT-Systemen arbeiten und deutlich mehr Funktionen im Stationsalltag nutzen als das Pflegepersonal. Die Verbesserungsvorschläge der Ärzte liefern hier erste Indizien. So wurden Kritikpunkte zu den klinischen Anwendungssystemen vom Ärztlichen Dienst viermal häufiger angebracht (118 Nennungen) als von den Pflegekräften (27 Nennungen). Besonders kritisiert wurden die Benutzerfreundlichkeit der klinischen IT-Systemen, Performance, Mangel an Funktionalität, veraltetet bzw. umständliche Abläufe. Die große Abhängigkeit nahezu aller klinischen Prozesse von der IT wurde dabei ebenfalls problematisiert. Ebenso könnten Schulungsdefizite eine Rolle bei den Zufriedenheitsunterschieden spielen, da insbesondere von Seiten der Mediziner Schulungsbedarfe im Rahmen der Verbesserungsvorschläge aufgeführt wurden. Zur Erklärung der Unterschiede zwischen den Zufriedenheitsurteilen des Ärztlichen und Pflegedienstes ist weiterführender Forschungsbedarf festzustellen. Für zukünftige Anwenderzufriedenheitserhebungen empfiehlt sich als weitere Implikation aus der vorliegenden Studie eine differenzierte Ergebnisauswertung, um die potentiell unterschiedlichen Sichtweisen von Medizin und Pflegedienst korrekt zu erfassen und entsprechend aufgreifen zu können.

Wie bei allen empirischen Erhebungen sind auch bei dieser Untersuchung Limitationen zu verzeichnen. Die Fallzahl ist zwar beeindruckend hoch, je teilnehmendem Haus fällt der Rücklauf jedoch sehr unterschiedlich aus. Die Responsequote des Pflegedienstes ließ sich in einzelnen Krankenhäusern aufgrund der noch vorhandenen so genannten „Sammelaccounts“ nicht ganz exakt bestimmen. Die tatsächliche Teilnehmerzahl aus dem Pflegedienst dürfte daher höher liegen als die kalkulierte Responsequote von 3,71 Prozent. Wie bei vielen Onlineerhebungen, sind die Ergebnisse nicht repräsentativ. Obwohl die Erhebung anonym durchgeführt wurde und Rückschlüsse auf einzelne Mitarbeiter ausgeschlossen sind, haben viele Teilnehmer Fragen im Statistikmodul ausgelassen, insbesondere keine Berufsgruppe angekreuzt (von n=2.318 haben 731 Teilnehmer die Frage zur Berufsgruppe ausgelassen).

Der Rücklauf fiel insbesondere bei den Krankenhäusern hoch aus, bei denen ein großes Engagement und Unterstützung der Krankenhausleitung und der IT-Leitung zu verzeichnen war. Bei der Auswertung des Rücklaufs über den Zeitraum der Befragung hinweg, konnte festgestellt werden, dass viele Anwender nach der Erinnerung die Gelegenheit zur Teilnahme wahrnahmen. Daher sollte bei zukünftigen Befragungen der Zeitraum auf 3-4 Wochen erweitert werden. Ebenso könnte eine zweite Erinnerung förderlich wirken.

Als abschließendes Fazit kann festgehalten werden, dass im Rahmen der hier vorgestellten Studie ein Messinstrument zur allgemeinen Zufriedenheit der IT-Anwender im Krankenhaus entwickelt und geprüft werden konnte. Die Messskala kann als valide, reliabel und aussagekräftig eingeschätzt werden. Zurückzukommen auf den Titel dieses Beitrages und der Frage nach der Zufriedenheit der Anwender mit der IT-Unterstützung im Krankenhaus liefern die Studienergebnisse erste Befunde und erlauben die Kalkulation entsprechender Referenzwerte. Der Bundesverband der KH-IT LeiterInnen lädt alle Mitglieder und Interessenten zur aktiven Beteiligung an dem weiterführenden Entwicklungsprojekt ein (siehe Anmerkungen).


Anmerkungen

Weiterführende Informationen

Weiterführende Informationen zum Projekt KH-IT Anwenderfragebogen sowie den aktuellen Aktivitäten der Arbeitsgruppe können über den Autor sowie den KH-IT Bundesverband (http://www.kh-it.de/) bezogen werden.

Interessenkonflikte

AS erhielt eine Aufwandsentschädigung für Reisekosten vom Bundesverband der Krankenhaus IT-LeiterInnen e.V. Die Aufwandsentschädigung hat in keiner Weise die Studienergebnisse sowie die Implikationen beeinflusst. Die Studie folgt dem International Code for Market and Social Research (ICC/ESOMAR).

Danksagung

Wir bedanken uns ganz herzlich bei den teilnehmenden Krankenhäusern und insbesondere bei den Krankenhausleitungen und IT-Leitungen für die Unterstützung unseres Vorhabens. Ebenso geht ein Dank an die Studierenden Jahrgangs 2012 im Studienzentrum Gesundheitswissenschaften & Management der Dualen Hochschule Stuttgart, welche an der Datensammlung und Studienkoordination in den Krankenhäusern vor Ort mitgewirkt haben.


Literatur

1.
Sievers U. Apps machen aus Smartphone und Tablet medizinische Geräte. VDI-Nachrichten. 17.07.2015;29:19.
2.
Haux R, Winter A, Ammenwerth E, Birgl B. Strategic information management in hospitals: An introduction to hospital information systems. New York: Springer; 2004. DOI: 10.1007/978-1-4757-4298-5 External link
3.
Haas P. Gesundheitstelematik. Grundlagen, Anwendungen, Potentiale. Springer: Berlin, Heidelberg; 2006. DOI: 10.1007/3-540-36724-1 External link
4.
Brand CA, Barker AL, Morello RT, Vitale MR, Evans SM, Scott IA, Stoelwinder JU, Cameron PA. A review of hospital characteristics associated with improved performance. Int J Qual Health Care. 2012 Oct;24(5):483-94. DOI: 10.1093/intqhc/mzs044 External link
5.
Simon A. Die betriebswirtschaftliche Bewertung der IT-Performance im Krankenhaus. In: Schlegel H, Hrsg. Steuerung der IT im Klinikmanagement. Methoden und Verfahren. Wiesbaden: Vieweg+Teubner; 2010. S. 73-88. DOI: 10.1007/978-3-8348-9393-2_5 External link
6.
Viitanen J, Hyppönen H, Lääveri T, Vänskä J, Reponen J, Winblad I. National questionnaire study on clinical ICT systems proofs: physicians suffer from poor usability. Int J Med Inform. 2011 Oct;80(10):708-25. DOI: 10.1016/j.ijmedinf.2011.06.010 External link
7.
Hübner U, Liebe JD, Hüsers J, Thye J, Egbert N, Hackl W, Ammenwerth E. IT-Report Gesundheitswesen – Schwerpunkt Pflege im Informationszeitalter. Hochschule Osnabrück; 2015. (Schriftenreihe der Hochschule Osnabrück).
8.
Chen RF, Hsiao JL. An empirical study of physicians' acceptance of hospital information systems in Taiwan. Telemed J E Health. 2012 Mar;18(2):120-5. DOI: 10.1089/tmj.2011.0081 External link
9.
Bundschuh BB, Majeed RW, Bürkle T, Kuhn K, Sax U, Seggewies C, Vosseler C, Röhrig R. Quality of human-computer interaction--results of a national usability survey of hospital-IT in Germany. BMC Med Inform Decis Mak. 2011 Nov;11:69. DOI: 10.1186/1472-6947-11-69 External link
10.
Smelcer JB, Miller-Jacobs H, Kantrovich L. Usability of Electronic Medical Records. J Usability Stud. 2009;4(2):70-84.
11.
Ash JS, Berg M, Coiera E. Some unintended consequences of information technology in health care: the nature of patient care information system-related errors. J Am Med Inform Assoc. 2004 Mar-Apr;11(2):104-12. DOI: 10.1197/jamia.M1471 External link
12.
Stürzlinger H, Hiebinger C, Pertl D, Traurig P. Computerized Physician Order Entry - Wirksamkeit und Effizienz elektronischer Arzneimittelverordnung mit Entscheidungsunterstützungssystemen. GMS Health Technol Assess. 2009;5:Doc07. Verfügbar unter: http://www.egms.de/en/journals/hta/2009-5/hta000069.shtml External link
13.
Bleich HL, Slack WV. Reflections on electronic medical records: when doctors will use them and when they will not. Int J Med Inform. 2010 Jan;79(1):1-4. DOI: 10.1016/j.ijmedinf.2009.10.002 External link
14.
Ludwick DA, Doucette J. Adopting electronic medical records in primary care: lessons learned from health information systems implementation experience in seven countries. Int J Med Inform. 2009 Jan;78(1):22-31. DOI: 10.1016/j.ijmedinf.2008.06.005 External link
15.
Bürkle T, Ammenwerth E, Prokosch HU, Dudeck J. Evaluation of clinical information systems. What can be evaluated and what cannot? J Eval Clin Pract. 2001 Nov;7(4):373-85. DOI: 10.1046/j.1365-2753.2001.00291.x External link
16.
Khajouei R, de Jongh D, Jaspers MW. Usability evaluation of a computerized physician order entry for medication ordering. Stud Health Technol Inform. 2009;150:532-6.
17.
McKinlay A, McVittie C, Reiter E, Freer Y, Sykes C, Logie R. Design issues for socially intelligent user interfaces. A discourse analysis of a data-to-text system for summarizing clinical data. Methods Inf Med. 2010;49(4):379-87. DOI: 10.3414/ME0613 External link
18.
Röhrig R, Beuteführ H, Hartmann B, Niczko E, Quinzio B, Junger A, Hempelmann G. Summative software evaluation of a therapeutic guideline assistance system for empiric antimicrobial therapy in ICU. J Clin Monit Comput. 2007 Aug;21(4):203-10. DOI: 10.1007/s10877-007-9073-0 External link
19.
Kuosmanen L, Jakobsson T, Hyttinen J, Koivunen M, Välimäki M. Usability evaluation of a web-based patient information system for individuals with severe mental health problems. J Adv Nurs. 2010 Dec;66(12):2701-10. DOI: 10.1111/j.1365-2648.2010.05411.x External link
20.
Ammenwerth E, Ehlers F, Kutscha A, Kutscha U, Eichstadter R, Resch F. Supporting Patient Care by Using Innovative Information Technology. A case Study from Clinical Psychiatry. Manage Health Outcomes. 2002;10(8):479-87. DOI: 10.2165/00115677-200210080-00004 External link
21.
Oroviogoicoechea C, Watson R. A quantitative analysis of the impact of a computerised information system on nurses' clinical practice using a realistic evaluation framework. Int J Med Inform. 2009 Dec;78(12):839-49. DOI: 10.1016/j.ijmedinf.2009.08.008 External link
22.
Sánchez A. A chronic wound healing information technology system: design, testing and evaluation in clinic. Electron J Inf Syst Eval. 2004;7(1):57-66.
23.
Backhaus K, Erichson B, Plinke W, Weiber R. Multivariate Analysemethoden. Eine anwendungsorientierte Einführung. Berlin: Springer; 2003.
24.
Simon A. KH-IT Anwenderfragebogen. Zentrale Ergebnisse und Referenzwerte zur Erhebung der IT-Anwenderzufriedenheit in 28 Krankenhäusern. Landau: Bundesverband der KH-IT LeiterInnen e.V.; 2016. Verfügbar unter: https://www.kh-it.de/anwenderfrageboegen.html?file=files/data/content/arbeitskreise/benchmarking-anwenderzufriedenheit/KH-IT%20Fragebogen%20Anwenderzufriedenheit_Bericht_Referenzwerte_22_09_2016_Inhaltsverzeichnis.pdf External link
25.
King WR. A meta-analysis of the technology acceptance model. Inf Manag. 2006;43(6):740–55. DOI: 10.1016/j.im.2006.05.003 External link
26.
Homburg C, Hrsg. Kundenzufriedenheit. Konzepte, Methoden, Erfahrungen. Wiesbaden: Gabler; 2012.
27.
Bruhn M, Strauss B. Dienstleistungsqualität. Konzepte – Methoden – Erfahrungen. Wiesbaden: Gabler; 2013.
28.
Simon A, Schlegel H. IT-Anwenderzufriedenheit. Erste Ergebnisse einer Pilotstudie. KH-IT Herbsttagung; 12./13.09.2012; Berlin.
29.
Pfaff H, Steffen P, Brinkmann A, Lütticke J, Nitzsche A, Scheibler F. Der Kölner Patientenfragebogen (KPF). Kennzahlenhandbuch. Köln: Klinikum der Universität zu Köln, Institut und Poliklinik für Arbeitsmedizin, Sozialmedizin und Sozialhygiene,Abteilung Medizinische Soziologie; 2004. (Forschungsbericht; 5/2004).
30.
Homburg C, Giering A. Konzeptualisierung und Operationalisierung komplexer Konstrukte. Marketing ZFP. 1996;18(1):5-24.
31.
Mayring P. Qualitative Inhaltsanalyse. Grundlagen und Techniken. Weinheim: Beltz; 2015.
32.
Bortz J. Statistik für Sozialwissenschaftler. Berlin: Springer; 1999.
33.
Bühner M. Einführung in die Test- und Fragebogenkonstruktion. München: Pearson Studium; 2007.