gms | German Medical Science

50. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie (gmds)
12. Jahrestagung der Deutschen Arbeitsgemeinschaft für Epidemiologie (dae)

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie
Deutsche Arbeitsgemeinschaft für Epidemiologie

12. bis 15.09.2005, Freiburg im Breisgau

Ansätze für die modell- und simulationsbasierte Evaluation von Anwendungssystemen am Beispiel von MOSAIK-M

Meeting Abstract

  • Nathalie Gusew - Technische Universität Braunschweig, Braunschweig
  • I. Hoffmann - Technische Universität Braunschweig, Braunschweig
  • O.J. Bott - Technische Universität Braunschweig, Braunschweig
  • J. Bergmann - Technische Universität Braunschweig, Braunschweig
  • D.P. Pretschner - Technische Universität Braunschweig, Braunschweig

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie. Deutsche Arbeitsgemeinschaft für Epidemiologie. 50. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie (gmds), 12. Jahrestagung der Deutschen Arbeitsgemeinschaft für Epidemiologie. Freiburg im Breisgau, 12.-15.09.2005. Düsseldorf, Köln: German Medical Science; 2005. Doc05gmds484

The electronic version of this article is the complete one and can be found online at: http://www.egms.de/en/meetings/gmds2005/05gmds376.shtml

Published: September 8, 2005

© 2005 Gusew et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Outline

Text

Einleitung und Fragestellung

Medizinische Anwendungssysteme, definiert als Teilsysteme Medizinischer Infor-mationssysteme, die informationsverarbeitende Aufgaben durch Software unterstützen, finden breite Verwendung. Optimal in die Arbeitsabläufe integrierte und qualitativ hochwertige Anwendungssysteme können prinzipiell helfen, Kosten im Gesundheitswesen zu senken und die Qualität der Patientenversorgung zu steigern. Um den tatsächlichen Beitrag eines Anwendungssystems hierzu zu prüfen, ist dessen Evaluation Methode der Wahl. Wird die Evaluation aber als summative Evaluation erst a posteriori, d.h. nach Einführung eines Anwendungssystems im laufenden Betrieb durchgeführt, haben Schwachstellen dieser Systeme gegebenenfalls bereits größeren Schaden (wirtschaftlich oder bzgl. der Akzeptanz der Benutzer) verursacht. Wird die Evaluation aber a priori, d.h. im Sinne einer formativen Evaluation bereits vor Einführung neuer oder veränderter Anwendungssysteme durchgeführt, kann noch in dessen Entwicklungs- bzw. Anpassungsprozess eingegriffen werden. Hieraus ergibt sich die Fragestellung, wie und mittels welcher rechnerbasierten oder konventionellen Werkzeuge eine Evaluation bereits vor Einführung eines Anwendungssystems effizient durchgeführt werden kann.

Material und Methoden

Die Vorgehensweise für diese Arbeit umfasst eine Literaturrecherche zu Zielen, Kriterien und Methoden in der Evaluation medizinischer Anwendungssysteme (z. B. [1], [2]), Einführung in Standards und Normen der Softwaregestaltung und Softwareergonomie (z. B. [3], [4]) und die Analyse bisheriger, insbesondere rechnerbasierter Evaluationsansätze. Als Basis für die Entwicklung einer geeigneten Evaluationsmethode mit Werkzeugunterstützung wurde MOSAIK-M gewählt, ein am Institut entwickelter Ansatz zur Modellierung, Simulation und Animation von Informations- und Kommunikationssystemen in der Medizin [5]. Er beinhaltet ein generisches Vorgehensmodell, das aus den Phasen Problemdefinition, Analyse, Modellierung und Evaluation besteht. Die Evaluation ist als Phase bereits obligatorischer Bestandteil des Vorgehensmodells. Verlangt ist allerdings bislang nur die prinzipielle Prüfung der Qualität von MOSAIK-M Modellen vor ihrer Verwendung. MOSAIK-M bietet Möglichkeiten zur Simulation der Prozesse, zur Definition von Anwendungsszenarien, zur Visualisierung des Simulationsgeschehens, zur Integration von Benutzungsschnittstellen-Prototypen in die Simulation und kann ferner bedarfsorientiert erweitert werden. Aufgrund dieser Eigenschaften stellt MOSAIK-M eine geeignete Plattform für simulationsgestützte Evaluationen dar.

Ergebnisse

Ergebnis der Arbeit ist ein Vorgehensmodell für die simulationsgestützte Durchführung von Evaluationen und eine Werkzeugerweiterung der MOSAIK-M Umgebung. Das Vorgehensmodell ermöglicht eine systematische Evaluation unter Berücksichtigung von Evaluationskriterien, verschiedenen Evaluationsmethoden, Integrationsansätzen und gültigen Standards und Normen. Es beinhaltet die Evaluationsphasen Planung, Durchführung und Analyse. Die in MOSAIK-M zur Verfügung stehenden Werkzeuge der Simulation und Animation werden in dieses Modell einbezogen. Grundprinzip ist die Simulation evaluationsrelevanter Prozessabläufe, die in verschiedenen Szenarien für die jeweiligen Zielgruppen zu definieren sind. In den Prozessabläufen verwendete Softwareanwendungen, die für die Erfüllung der benutzerspezifischen Aufgaben benötigt werden, sind mit ihren Benutzungsschnittstellen-Prototypen in die Simulation eingebunden.

Evaluationsplanung
1.
Definition der Fragestellungen: Die evaluationsrelevanten Fragestellungen werden möglichst genau abgegrenzt, z.B. „was soll bewertet werden?“ (Benutzungsoberflächen, Funktionalität, Abläufe, Benutzerzufriedenheit).
2.
Definition der Kriterien: Anwendungsspezifische Kriterien für die Auswahl der Teilnehmer (Ärzte, medizinisches Personal, Verwaltungspersonal, Patienten). Bewertungskriterien abhängig von der Fragestellung: z.B. Kriterien der Dialoggestaltung (Aufgabenangemessenheit, Steuerbarkeit, Lesbarkeit, Selbsterklärungsfähigkeit, Erwartungskonformität, Fehlertoleranz), Kriterien der Gebrauchstauglichkeit (Effektivität, Effizienz, Zufriedenstellung) etc.
3.
Definition der Methoden: Evaluationssitzungen finden auf der Basis von simulierten Arbeitsprozessen statt. In deren Ausführung werden nach Bedarf Fragebögen und Prototypen eingebunden. Die definierten Kriterien aus (2) geben Aufschluss über die Methoden (Fragebögen, Beobachtung, Aufzeichnung).
4.
Definition der Szenarien: Basierend auf den Kriterien werden für die zu bewertenden anwendungsspezifischen Prozesse in MOSAIK-M Evaluationsszenarien angelegt. Es wird z. B. ein Tagesablauf eines Patienten oder eine bestimmte Prozessabfolge für Arzt oder Patient simuliert. Mit diesen Szenarien werden die in Schritt 3 gewählten Evaluationsmethoden (Prototypen, Fragebögen, Beobachtungen, Aufzeichnungen) verknüpft.
5.
Definition der Aufgaben für die Benutzer-Tests: Die Benutzer sollen ausgewählte Prozesse praktisch nachvollziehen können und die Softwareanwendungen testen. Dazu werden den Testpersonen anwendungsspezifische Aufgaben gestellt. Die Aufgaben können je nach Erfahrung der Testperson handlungs-, oder problemorientiert beschrieben werden.
6.
Definition des Zeitlimits: Jede Aufgabe muss innerhalb eines definierten Zeit-rahmens bearbeitet und beendet werden.
7.
Definition der Rolle des Evaluators: Die Evaluationen werden von Medizinischen Informatikern durchgeführt. Je nach der eingesetzten Methode hat der Evaluator eine passive (Beobachtung) oder eine aktive, leitende (Befragung) Rolle.
Evaluationsdurchführung
1.
Begrüßung der Teilnehmer und Erläutern des Vorgehens: Der Evaluator erklärt die Aufgaben und Hilfsmittel.
2.
Ausführen der Aufgaben: Je nach Szenario führen die Testpersonen die gestellten Aufgaben aus.
3.
Erhebung der Bewertungen: Die Erhebung der Daten erfolgt entweder kontinuierlich während der Aufgabenbearbeitung (Beobachtung, Aufzeichnung) oder in einem Block nach jeder Aufgabe (Fragebögen, Interviews).
Evaluationsanalyse
1.
Definition der Analysekriterien: Die rechnerbasierte Auswertung kann für alle Probanden, Aufgaben, Prototypen, Szenarien etc. erfolgen. Die Analyse ausgefüllter Fragebögen wird durch statistische Maßzahlen, wie Median, Mittelwert, Standardabweichung und Varianz sowie Koeffizienten für Reliabilität (Cronbach’s Alpha) und Validität (Korrelationskoeffizienten) unterstützt.
2.
Darstellung der Ergebnisse: Die ausgewerteten Ergebnisse können in der Statistikkomponente von MOSAIK-M direkt visualisiert oder exportiert werden.

Für Evaluationsvorhaben nach diesem Vorgehensmodell ist die MOSAIK-M Umgebung um ein Evaluationswerkzeug erweitert worden, das die Verwaltung von Probanden, Szenarien, Aufgaben, Fragebögen und Auswertungen ermöglicht. Die Überprüfung des Konzepts in einer frühen Form erfolgte im EU-Projekt INCA (http://www.ist-inca.org/, [6]). Hierbei konnte ein Anwendungssystem zur telemedizinischen Überwachung von Diabetes-Patienten bei Closed-Loop-Therapie von 7 Diabetikern und 2 Diabetologen effektiv a priori evaluiert werden.

Diskussion und Ausblick

Mit dem Vorgehensmodell wird ein allgemeines Konzept für die modell- und simulationsbasierte Evaluation von Anwendungssystemen bereitgestellt und am Beispiel von MOSAIK-M instanziiert. Anwendungsspezifische Prozesse, Szenarien und die damit zusammenhängenden Aufgaben für Testpersonen können allerdings erst aufbauend auf einem detaillierten Modell des Informationssystems spezifiziert werden. Die Definition der Szenarien erfordert Kenntnisse der Modellierungsumgebung und des Informationssystemmodells, so dass die Evaluationsplanung eine Einarbeitungsphase für die Evaluatoren enthalten sollte. Zu prüfen bleibt, in wieweit Testpersonen direkt mit MOSAIK-M interagieren können, oder ob die Führung der Testperson durch einen Evaluator vorzuziehen ist. Im Vergleich zur summativen Evaluation erst nach Einführung eines Anwendungssystems erlaubt der vorgestellte Ansatz eine realitätsnahe Evaluation schon im Vorfeld einer Systemeinführung. Fehlentwicklungen und Akzeptanzproblemen kann so schon früh begegnet werden.


Literatur

1.
Friedman CP, Wyatt JC: Evaluation methods in medical informatics. Springer-Verlag, 1997
2.
Hegner M: Methoden zur Evaluation von Software. GESIS, IZ-Arbeitsbericht Nr. 29, Mai 2003
3.
DIN-Taschenbuch 354, Software-Ergonomie. Empfehlungen für die Programmierung und Auswahl von Software, Berlin: Beuth Verlag 2004-05
4.
Deutsche Gesellschaft für Evaluation e.V.: Standards für Evaluation, Köln, 2002
5.
Hoffmann I, Bergmann J, Bott OJ, Pretschner DP: Einsatz einer rechnergestützten Modellierungs- und Simulationsumgebung für den Entwurf telemedizinischer Systeme am Beispiel von MOSAIK-M. In: Steyer G (Hrsg): Tagungsband Telemed 2005, Berlin: Aka-Verlag, 2005, 309-20
6.
Bott OJ, Bergmann J, Hoffmann I, Schnell O‚ Pretschner DP: Das INCA-Projekt: Zur Entwicklung eines Systems zur telemedizinischen Betreuung von Diabetikern bei Closed-Loop-Therapie. In: Steyer G (Hrsg): Tagungsband Telemed 2005, Berlin: Aka-Verlag, 2005, 198-211