gms | German Medical Science

50. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie (gmds)
12. Jahrestagung der Deutschen Arbeitsgemeinschaft für Epidemiologie (dae)

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie
Deutsche Arbeitsgemeinschaft für Epidemiologie

12. bis 15.09.2005, Freiburg im Breisgau

Evaluation des 3LGM² und des 3LGM²-Baukastens

Meeting Abstract

  • Ulrike Müller - IMISE, Universität Leipzig, Leipzig
  • B. Brigl - IMISE, Universität Leipzig, Leipzig
  • O. Heller - IMISE, Universität Leipzig, Leipzig
  • A. Strübing - IMISE, Universität Leipzig, Leipzig
  • T. Wendt - IMISE, Universität Leipzig, Leipzig
  • A. Winter - IMISE, Universität Leipzig, Leipzig

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie. Deutsche Arbeitsgemeinschaft für Epidemiologie. 50. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie (gmds), 12. Jahrestagung der Deutschen Arbeitsgemeinschaft für Epidemiologie. Freiburg im Breisgau, 12.-15.09.2005. Düsseldorf, Köln: German Medical Science; 2005. Doc05gmds238

Die elektronische Version dieses Artikels ist vollständig und ist verfügbar unter: http://www.egms.de/de/meetings/gmds2005/05gmds352.shtml

Veröffentlicht: 8. September 2005

© 2005 Müller et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielfältigt, verbreitet und öffentlich zugänglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Gliederung

Text

Einleitung und Fragestellung

Mit dem Drei-Ebenen-Metamodell (3LGM²) [1] steht eine ontologische Basis für die Beschreibung von Informationssystemen im Gesundheitswesen zur Verfügung, die insbesondere Anforderungen aus der Sicht des Informationsmanagements erfüllen soll. Um 3LGM²-konforme Modelle erstellen zu können, wurde der 3LGM²-Baukasten [2] entwickelt. Er ermöglicht neben der grafischen Darstellung auch Analysen der Modelle hinsichtlich typischer Fragestellungen des Informationsmanagements.

Da der Einsatz des 3LGM² und des 3LGM²-Baukastens bisher maßgeblich im Umfeld der Forschungsgruppe erfolgte, die an der Entwicklung des Meta-Modells beteiligt war, lassen sich über den Aufwand bei der Modellierung und den Nutzen der Modelle keine objektive Aussagen machen.

Daher sollte in Evaluationsstudien ermittelt werden, inwiefern 3LGM²-Modelle zur adäquaten Darstellung von Informationssystemen und damit zur Unterstützung des Managements dieser Informationssysteme geeignet sind und ob der Nutzen den Aufwand der Modellierung rechtfertigt.

Im Einzelnen sollten folgende Fragen beantwortet werden:

  • Kann der Ist-Zustand des modellierten Informationssystems adäquat abgebildet werden?
  • Wie wird die Visualisierung der Modelle bewertet?
  • Kann man auf Basis des Modells Aussagen über die Qualität des Informationssystems ableiten?
  • Unterstützen 3LGM²-Modelle die Planung und Fortentwicklung des Informationssystems?
  • Wie verständlich ist das 3LGM² für „Außenstehende“?
  • Wie wird die Anwendbarkeit des 3LGM² durch „Außenstehende“ eingeschätzt?
  • Wie werden Aufwand und Nutzen der Modellierung eingeschätzt?
  • Wie werden Funktionalität und Benutzerfreundlichkeit des 3LGM²-Baukastens bewertet?

Material und Methoden

Um alle Evaluationsziele zu erreichen, wurde das Evaluationsprojekt in vier Evaluationsschwerpunkte gegliedert:

  • Interessengetriebene Evaluation
  • Vorschlagsgetriebene Evaluation
  • Evaluation des Baukastens

Bei den Teilstudien handelte es sich um summative Studien [3], die im Folgenden näher beschrieben werden.

Interessengetriebene Evaluation: Im Rahmen von interaktiven Workshops wurde Interessierten das 3LGM² und der 3LGM²-Baukasten erklärt und sie erarbeiteten gemeinsam ein Modell eines Informationssystems. Des Weiteren wurde ihnen an praktischen Beispielen gezeigt, welchen Beitrag 'gute' Modelle für das Management von Informationssystemen leisten können. An Hand strukturierter Fragebögen konnten die Teilnehmer abschließend das 3LGM² und den 3LGM²-Baukasten bewerten.

Vorschlagsgetriebenen Evaluation: Im Rahmen dieses Evaluationsschwerpunkts wurden am Institut für Medizinische Informatik, Statistik und Epidemiologie (IMISE) der Universität Leipzig Modelle von Informationssystemen anderer Einrichtungen bzw. einem Informationssystem einer ganzen Region erstellt, die anschließend den zuständigen Personen vorgestellt wurden. Dabei wurde das Modell zunächst erläutert. Anschließend wurde gezeigt, wie das Modell zur Bewertung der Qualität des Informationssystems herangezogen werden kann, und weitere Möglichkeiten der Nutzung des Modells präsentiert, beispielsweise im Rahmen der strategischen Planung oder bei der Einführung neuer Anwendungssysteme. Anhand von semi-strukturierten Fragebögen konnten die beteiligten Personen sowohl das 3LGM² und den 3LGM² Baukasten bewerten, als auch die Eignung zur Bewertung der Qualität des Informationssystems und der weiteren Nutzung.

Evaluation des Baukastens: Im Rahmen eines Praktikums für Studierende der Medizinischen Informatik wurde nach einer umfassenden Systemanalyse eines Teils des Informationssystems des Universitätsklinikums Leipzig ein 3LGM²-Modell erstellt. Anschließend wurde die Benutzerfreundlichkeit und die Funktionalität des 3LGM²-Baukastens mittels standardisierter Fragebögen bewertet.

Ergebnisse

Zum jetzigen Zeitpunkt sind zwei Projekte zur Interessengetriebenen Evaluation und zwei Projekte zur Vorschlagsgetriebenen Evaluation abgeschlossen, ein weiteres Projekt zur Vorschlagsgetriebenen Evaluation ist in Bearbeitung.

Im Rahmen der Interessengetriebenen Evaluation liegen insgesamt 19 ausgefüllte Fragebögen vor. Das 3LGM² und der 3LGM² Baukasten wurden insgesamt eher positiv bewertet. So antworteten mit 'Stimmt völlig' oder 'Stimmt eher' 17 von 19 der Teilnehmer auf die Aussage 'Das 3LGM² ist ein geeigneter Ansatz zur Darstellung von Informationssystemen im Gesundheitswesen' und 16 von 19 Teilnehmer auf die Aussage 'Mit Hilfe des 3LGM² Baukastens lassen sich auch komplexe Informationssysteme übersichtlich darstellen'. Insbesondere die Aussage 'Durch die Nutzung von 3LGM² könnte ich die Qualität meines Krankenhausinformationssystems besser beurteilen' wurde differenzierter beantwortet (Stimmt völlig: 3; Stimmt eher: 6; Stimmt teils / teils: 3; Stimmt eher nicht: 1; Keine Angabe: 6).

Im Rahmen der Vorschlagsgetriebenen Evaluation wurden bisher insgesamt drei Personen befragt. Die Auswertungen ergaben, dass die Befragten grundsätzlich einen Nutzen aus dem Gebrauch von 3LGM²-Modellen ziehen können. Sie waren der Meinung, dass ein 3LGM²-Modell gut dazu geeignet ist, Fragen zur Qualität des modellierten Informationssystems zu beantworten, wie z.B. nach Medienbrüchen oder dem Grad der Rechnerunterstützung. Den Nutzen eines Modells als Wissensquelle, Dokumentation eines Informationssystems und Hilfe bei der Erstellung von Berichten und Präsentationen sahen sie ebenfalls. Durchweg positiv waren auch die Meinungen zur Visualisierung und Übersichtlichkeit des Modells. Dass ein 3LGM²-Modell allerdings bei der Einführung neuer Anwendungssysteme behilflich sein kann, konnten sich die Befragten nicht vorstellen. Auch empfanden sie den Aufwand der Erstellung solcher Modelle im Gegensatz zum Nutzen als zu hoch.

Für den Evaluationsschwerpunkt Evaluation des Baukastens liegen erste Ergebnisse bis September 2005 vor.

Diskussion

Die überwiegend positiven Ergebnisse der Interessengetriebenen Evaluation sind insofern kritisch zu betrachten, als sie den ersten Eindruck der Teilnehmer widerspiegeln, ohne realen Erfahrungshintergrund. Wesentlich differenziertere Aussagen liefert daher die Vorschlagsgetriebene Evaluation. Hier konnte gezeigt werden, dass der Nutzen von 3LGM²-Modellen erkannt wurde, jedoch vor dem Aufwand, Modelle zu erstellen und zu pflegen zurückgeschreckt wird. Die Evaluationsergebnisse bieten sowohl in Bezug auf das Metamodell 3LGM² als auch auf den 3LGM²-Baukasten wichtige Hinweise, die es bei der Weiterentwicklung zu beachten gilt. Gerade in Hinblick auf die Modellierung müssen Wege gefunden werden, die Modellierer bei ihrer Arbeit zu unterstützen. In einem parallel laufenden Projekt werden daher bereits Referenzmodelle entwickelt, die die Modellierung erleichtern sollen [4].

Danksagung

Diese Arbeit wird gefördert durch die Deutsche Forschungsgemeinschaft (DFG) unter WI 1605/2-1.


Literatur

1.
Winter A, Brigl B, Wendt T. Modeling Hospital Information Systems (Part 1): The Revised Three-Layer Graph-Based Meta Model 3LGM2. Methods Inf Med. 2003;42(5):544-51.
2.
Wendt T, Häber A, Brigl B, and Winter A. Modeling Hospital Information Systems (Part 2): Hospital Information Systems (Part 2): Using the 3LGM2 Tool for Modeling Patient Record Management. Methods Inf Med 2004: 43 (3) 256-67
3.
Scriven M. Evaluation Thesaurus (4th ed). Newbury Park, CA: Sage; 1991
4.
Hübner-Bloder G, Ammenwerth E, Brigl B, Winter A: Specification of a Reference Model for the Domain Layer of a Hospital Information System. Eingereicht zur MIE 2005