gms | German Medical Science

GMDS 2015: 60. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e. V. (GMDS)

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie

06.09. - 09.09.2015, Krefeld

Faktoranalytische Untersuchung latenter Konstrukte der Informationslogistik – Ein Bottom-up Ansatz zur Validierung und Weiterentwicklung eines IT Benchmarking Tools im Krankenhaus

Meeting Abstract

Search Medline for

  • Moritz Esdar - Hochschule Osnabrück - University of Applied Sciences, Osnabrück, Deutschland
  • Ursula Hübner - Hochschule Osnabrück - University of Applied Sciences, Osnabrück, Deutschland
  • Jan-David Liebe - Hochschule Osnabrück - University of Applied Sciences, Osnabrück, Deutschland
  • Johannes Thye - Hochschule Osnabrück - University of Applied Sciences, Osnabrück, Deutschland

GMDS 2015. 60. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V. (GMDS). Krefeld, 06.-09.09.2015. Düsseldorf: German Medical Science GMS Publishing House; 2015. DocAbstr. 177

doi: 10.3205/15gmds105, urn:nbn:de:0183-15gmds1054

Published: August 27, 2015

© 2015 Esdar et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. See license information at http://creativecommons.org/licenses/by/4.0/.


Outline

Text

Einleitung: Das Prinzip der Informationslogistik, die richtigen Personen mit den richtigen Informationen zur richtigen Zeit zu versorgen, kann als maßgebende Erfolgsdeterminante für die IT-Unterstützung der medizinisch-pflegerischen Versorgung aufgefasst werden [1], [2]. Auf Basis einer theoretisch hergeleiteten Untergliederung dieses Prinzips in die Deskriptoren „Daten und Informationen“, „Funktionen“, „Integration“ und „Distribuierbarkeit“ (Verteilung und Mobilität), wurde im Rahmen der konzeptionellen Entwicklung ein auf den klinische Kernprozesse Visite, OP Vorbereitung, OP Nachbereitung und Entlassung abzielender „Workflow Composite Score (WCS)“ entwickelt und als zentrale Vergleichsgröße in ein IT-Benchmark Prozedere für Krankenhäuser integriert [3].

Jedoch ermangelte es bis dato einer empirischen Fundierung des in seiner Natur abstrakten informationslogistischen Prinzips, der konzeptionellen Grundlage des Benchmarks [4]. Genauer bedarf es einer Überprüfung der konvergenten und diskriminanten Validität des holistischen Konzepts und damit der statistischen Nachweisbarkeit der vier Deskriptoren. Sollte der Nachweis nicht erbracht werden können, bedarf es einer explorativen Analyse der latenten Strukturen. Ferner wurde in der bisherigen Entwicklung des WCS ein mehrschichtiges Indikatorengerüst konzipiert, in dem die zugrundeliegenden Variablen anhand ihrer hierarchischen Position gewichtet wurden. Im Rahmen der Weiterentwicklung empfiehlt sich daher die Entwicklung einer differenzierteren Indikatorengewichtung auf Basis multivariater Analyseverfahren [5].

Aus Studien mit ähnlichen Fragestellungen geht hervor, dass insbesondere faktoranalytische Verfahren im Rahmen der Konzeptualisierung und Messungen von IT-Adoption [6], [7], [8], zur Bildung von Composite Scores [9], [10], sowie zur Überprüfung der Konstruktvalidität abstrakter Phänomene [1], [11] erfolgreich angewandt wurden. Jedoch existieren unseres Wissens nach keine Studien, die das Konstrukt „klinische Informationslogistik" explizit untersuchen.

Die Forschungsfragen lauteten deshalb, ob sich (1.) die Deskriptoren der Informationslogistik als Faktoren bestätigen lassen und (2.), wenn nein, welche Faktoren die Informationslogistik stattdessen beschreiben können.

Material und Methode: Als Datengrundlage wurden die Indikatoren des IT-Benchmark 2013 [3] herangezogen, welcher auf der Erhebung des IT Report Gesundheitswesen 2013 basierte [12]. Im Rahmen der Entwicklungen des WCS wurden die erhobenen Indikatoren den vier verschiedenen klinischen Prozessen, jeweils gegliedert nach den vier Deskriptoren zugeordnet [3]. Entsprechend wurde bei den hier vorgenommenen Analysen jeder Prozess separat untersucht. Im Sinne einer prozessübergreifenden Perspektive wurde zudem ein kombiniertes Indikatorenset, bestehend aus den Variablen der einzelnen klinischen Prozesse, zusammengestellt und als fünftes Modell analysiert.

Von insgesamt 259 teilgenommenen deutschen Krankenhäusern wurden die Datensätze der 183 Benchmarking-Teilnehmer, die über einen OP und eine Intensivstation verfügen, herangezogen. Um die Analysen sinnvoll in das Entwicklungsprozedere des WCS einzubetten, wurde das von der OECD entwickelte Handbuch zur Erstellung von Composite Indices [5] als konzeptioneller Leitfaden genutzt.

Da Faktorenanalysen mehrere Teilschritte beinhalten, die jeweils methodische Alternativen eröffnen [13], [14], wurde zur Sicherstellung einer stringenten Methodik auf die Erkenntnisse der methodologischen Forschung, insbesondere aus der Psychometrie zurückgegriffen [15], [16], [17]. Um die Konstruktvalidität zu prüfen und latente Strukturen herauszuarbeiten, legten diese nahe, zunächst eine konfirmatorische Faktorenanalyse (KFA) auf Basis von polychorisch- bzw. tetrachorischen Korrelationskoeffizienten durchzuführen, in der die vier Deskriptoren als statistische Faktoren der ihr zugeordneten Indikatoren getestet wurden [18]. Die Umsetzung dessen erfolgte in LISREL (Version 9.1) von SSI Inc. In einem nächsten Schritt wurde im Rahmen einer explorativen Faktorenanalyse (EFA) eine abweichende Faktorstruktur mit Hilfe von IBM SPSS (Version 21) herausgearbeitet, die die Varianz in den Daten bestmöglich beschreibt, was der Festigung des theoretischen Verständnisses über latente Strukturen der Informationslogistik diente [19]. In beiden Verfahren wurden Interkorrelationen – in der KFA durch entsprechende Modellspezifikationen, in der EFA durch schiefwinklige Rotation – zwischen den Faktoren zugelassen. Zur Einschätzung der Modellgüte wurden bei der KFA verschiedene Gütemaße geprüft. Bei der EFA wurden Faktoren vorbehaltlich akzeptabler Werte der Stichprobenbeurteilung nach Kaiser-Meyer-Olkin und des Bartlett Tests auf Sphärizität mit Eigenwerten größer eins extrahiert [20]. Weiterhin wurden basierend auf den aus der EFA gewonnen Faktorladungen ein zweistufiges Gewichtungsmodell entwickelt, das zum einen überlappende Informationen korrigiert und zum anderen die extrahierten Faktoren stärker betont [5], [9], [21]. Der neu gewichtete WCS wurde mit dem ursprünglichen anhand von deskriptiven Statistiken und einem t-Test abgeglichen.

Ergebnisse: Die KFA aller Prozessmodelle ergaben Gütemaße außerhalb der Akzeptanzbereiche. Auch geringe Faktorladungen sowie hohe Korrelationen zwischen den Faktoren widersprechen insbesondere den Anforderungen der diskriminanten Validität. Dies gab nachweislich Anlass dazu, explorative Faktoranalysen anzuwenden.

Das Maß der Stichprobeneignung nach Kaiser-Meyer-Olkin betrug in der prozessübergreifenden EFA 0,67. Zudem fiel der Bartlett Test auf Sphärizität signifikant aus (P<0,001). Die 20 analysierten Indikatoren ließen sich am besten in einer 5-Faktor-Lösung abbilden, die 64% der Varianz in den Daten erklärte. Die Variablen konnten hier in den Faktoren „Prozessintegration“, „Entscheidungsunterstützung/innovative Funktionen“, „Mobilität“, „Integration“ und „Allgemeine Datenverfügbarkeit“ zusammengefasst werden. Ähnliche Eignungsmaße und Faktorstrukturen ergaben sich auch in den jeweiligen Prozessen.

Die faktoranalytisch hergeleitete Gewichtung führte zu einer deutlichen Akzentuierung einzelner Variablen, z.B. „Entscheidungsunterstützungssysteme“ im Prozess Visite wird ca. 3,5-mal stärker gewichtet als in der ursprünglichen Fassung. Der neu gewichtete WCS (x̅=22,89 ±σ=5,55) unterscheidet sich im Mittel signifikant (p<0,05), jedoch zahlenmäßig eher geringfügig vom Vorgängermodell (x̅=23,38 ±σ=5,57) bei einem Wertebereich von 0 bis 40.

Diskussion: Der statistische bottom-up Nachweis, dass die Deskriptoren „Daten und Informationen“, „Funktionen“, „Integration“ und „Distribuierbarkeit“ im Sinne latenter Konstrukte der Informationslogistik zu interpretieren sind, konnte nicht erbracht werden. Während die Deskriptoren Literatur geleitet entstanden sind und sich inhaltlich zum Teil überlappen, sind Faktoren datengetrieben und überlappungsfrei. Deskriptoren dienen daher einer inhaltlichen Systematisierung des vielschichtigen Konstruktes Informationslogistik. Allerdings ergaben sich in der explorativen Faktorenanalyse Faktoren, die inhaltlich durchaus Ähnlichkeit zu den Deskriptoren besitzen beziehungsweise, diese stärker konkretisieren. So ist dem Deskriptor „Integration“ der Faktor „Prozessintegration“ sehr ähnlich, „Distribuierbarkeit“ dem Faktor „Mobilität“, „Funktionen“ dem Faktor „Entscheidungsunterstützung/innovative Funktionen“ und „Daten und Informationen“ dem Faktor „Datenverfügbarkeit“. Insbesondere die Faktoren „Mobilität“, „Prozessintegration“ und „Entscheidungsunterstützung/innovative Funktionen“ können die IT-Unterstützung klinischer Prozesse in großen Teilen erklären, da sie in allen Modellen extrahiert werden konnten. Letzterer Faktor entspricht den Ergebnissen zur IT-Adoption [7], [8] und zur Informationslogistik [1].

Die vorgenommenen Indikatorengewichtungen im WCS führen durch die Unterdrückung redundanter Informationen zwar zu einer etwas verbesserten Balance des WCS, der Vergleich mit dem Ursprungsmodell weist jedoch auf keine gravierenden Unterschiede im Ergebnis hin. Daraus lässt sich zum einen schließen, dass die Inhalte eines Composite Scores für das Ergebnis ausschlaggebender als die Gewichtung der Inhalte sind und zum anderen bereits in der ursprünglichen Fassung des WCS valide Ergebnisse gewonnen werden konnten.


Literatur

1.
Bucher T, Dinter B. Process Orientation of Information Logistics - An Empirical Analysis to Assess Benefits, Design Factors, and Realization Approaches. In: Hawaii International Conference on System Sciences, Proceedings of the 41st Annual 2008 IEEE:392.
2.
Liebe J, Straede M, Thye J, Hübner U. Konzeption, Erfassung und Validierung eines Workflow-Composite-Scores. In: Tagungsband der 59. GMDS Jahrestagung Göttingen 2014. http://www.egms.de/static/de/meetings/gmds2014/14gmds050.shtml External link
3.
Thye J, Straede M, Liebe J, Hübner U. IT-benchmarking of clinical workflows: concept, implementation, and evaluation. Stud Health Technol Inform. 2014;198:116–24.
4.
Haftor D, Kajtazi M, Mirijamdotter A. A Review of Information Logistics Research Publications. In: Abramowicz W, Maciaszek L, Węcel K, editors. Business Information Systems Workshops. Berlin Heidelberg: Springer; 2011. p. 244-255.
5.
Nardo M, Saisana M, Saltelli A, Tarantola S, Hoffmann A, Giovannini E. Handbook on constructing composite indicators: Methodology and user guide. Paris: OECD; 2008.
6.
Blavin FE, Buntin, Melinda J Beeuwkes, Friedman CP. Alternative measures of electronic health record adoption among hospitals. Am J Manag Care. 2010;16:e293-301.
7.
Lee J, Park Y. Measure of clinical information technology adoption. Healthc Inform Res. 2013;19:56–62.
8.
Everson J, Lee SD, Friedman CP. Reliability and validity of the American Hospital Association's national longitudinal survey of health information technology adoption. J Am Med Inform Assoc. 2014;21:e257-63.
9.
Sabes-Figuera R, Maghiros I. European Hospital Survey: Benchmarking Deployment of e-Health Services (2012-2013): Composite Indicators on eHealth Deployment and on Availability and Use of eHealth Functionalities. European Commission; 2013.
10.
Otieno GO, Hinako T, Motohiro A, Daisuke K, Keiko N. Measuring effectiveness of electronic medical records systems: towards building a composite index for benchmarking hospitals. Int J Med Inform. 2008;77:657–69.
11.
Yen P, Sousa KH, Bakken S. Examining construct and predictive validity of the Health-IT Usability Evaluation Scale: confirmatory factor analysis and structural equation modeling results. J Am Med Inform Assoc. 2014;21:e241-8.
12.
Hübner U, Liebe J, Straede M, Thye J. IT Report Gesundheitswesen: Schwerpunkt IT-Unterstützung klinischer Prozesse. Schriftenreihe des Niedersächsischen Ministeriums für Wirtschaft, Arbeit und Verkehr; 2014.
13.
Henson RK, Roberts JK. Use of Exploratory Factor Analysis in Published Research: Common Errors and Some Comment on Improved Practice. Educational and Psychological Measurement. 2006;66:393–416.
14.
Fabrigar LR, Wegener DT. Exploratory Factor Analysis. USA: OUP; 2012.
15.
Fabrigar LR, Wegener DT, MacCallum RC, Strahan EJ. Evaluating the use of exploratory factor analysis in psychological research. Psychological Methods. 1999;4:272–99.
16.
Jackson DL, Gillaspy JA, Purc-Stephenson R. Reporting practices in confirmatory factor analysis: an overview and some recommendations. Psychol Methods. 2009;14:6–23.
17.
Flora DB, Curran PJ. An empirical evaluation of alternative methods of estimation for confirmatory factor analysis with ordinal data. Psychol Methods. 2004;9:466–91.
18.
Brown TA. Confirmatory Factor Analysis for Applied Research. 2nd ed. New York, N.Y.: The Guilford Press; 2015. (Methodology in the social sciences).
19.
Matsunga M. How to Factor-Analyze Your Data Right: Do’s, Don’ts, and How-To’s. International Journal of Psychological Research. 2010;3:97–110.
20.
Thompson B. Exploratory and confirmatory factor analysis: Understanding concepts and applications. 1st ed. Washington, DC: American Psychological Association; 2004.
21.
Nicoletti G, Scarpetta S, Boylaud O. Summary Indicators of Product Market Regulation with an Extension to Employment Protection Legislation. SSRN Journal. 2000.