gms | German Medical Science

50. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie (gmds)
12. Jahrestagung der Deutschen Arbeitsgemeinschaft für Epidemiologie (dae)

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie
Deutsche Arbeitsgemeinschaft für Epidemiologie

12. bis 15.09.2005, Freiburg im Breisgau

Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train

Meeting Abstract

Suche in Medline nach

  • Alexander Hörnlein - Universität Würzburg, Würzburg
  • Frank Puppe - Universität Würzburg, Würzburg

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie. Deutsche Arbeitsgemeinschaft für Epidemiologie. 50. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie (gmds), 12. Jahrestagung der Deutschen Arbeitsgemeinschaft für Epidemiologie. Freiburg im Breisgau, 12.-15.09.2005. Düsseldorf, Köln: German Medical Science; 2005. Doc05gmds639

Die elektronische Version dieses Artikels ist vollständig und ist verfügbar unter: http://www.egms.de/de/meetings/gmds2005/05gmds422.shtml

Veröffentlicht: 8. September 2005

© 2005 Hörnlein et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielf&aauml;ltigt, verbreitet und &oauml;ffentlich zug&aauml;nglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Gliederung

Text

Einleitung und Fragestellung

d3web.Train [1], [2] ist ein intelligentes fallbasiertes Trainingssystem im WWW, das es den Lernenden ermöglicht, wie ein Arzt zu handeln, der Patienten über deren elektronische Patientenakte (EPA) ferndiagnostizieren. Die Funktionalität, die das System dabei bietet, resultiert auch in einer komplexeren Oberfläche, deren Bedienung nicht einfach zu erlernen ist. Um den Lernenden den Einstieg in das System zu erleichtern, wurde eine adaptive Hilfekomponente implementiert und deren Effektivität in einem curricularen Einsatz des Systems evaluiert.

Material und Methoden

Umfang und Art der Aufgaben, die die Lernenden in d3web.Train bearbeiten müssen, und die Qualität der Bewertung, die das System den Lernenden zurückliefert, sind abhängig vom Aufwand, den der Fallautor bei der Fallerstellung betreibt. Um den Autoren die Fallerstellung zu erleichtern, haben wir es ihnen ermöglicht, Fälle aus modifizierten Arztbriefen generieren zu lassen [3]. Die Lernenden erhalten bei solchen Fällen zuerst nur einen Teil der Untersuchungsergebnisse, und fordern im Verlauf des Falles weitere (vom Autor vordefinierte) Blöcke von Untersuchungsergebnissen an. Nach jedem solchen Block müssen sie die Ergebnisse zuerst auswerten, auf deren Basis dann Zwischen- bzw. Verdachtsdiagnosen stellen, Fragen dazu beantworten, Notfallmaßnahmen bzw. Behandlungsplan wählen müssen, usw.. Das Hilfesystem [4], das dem Benutzer zur Seite stehen soll, beruht auf einem Overlay-Modell, mit dem die Fähigkeiten der Benutzer bezüglich der Konzepte die zur korrekten Bedienung der Oberfläche bekannt sein müssen, abgebildet werden. Jede Aktion der Benutzer wird dabei erfasst und auf Basis von Regeln wird entschieden, ob die Aktion im aktuellen Kontext richtig, irrelevant oder falsch war. Will der Benutzer z.B. den nächsten Block von Untersuchungsergebnissen anfordern ohne vorher Diagnosen einzugeben, dann wird diese Aktion als falsch erkannt und das Konzept „Nach jedem Untersuchungsblock müssen Diagnosen gestellt werden“ als schlechter bekannt eingestuft. Aufgrund dieser Einstufung entscheidet das Hilfesystem, ob es intervenieren muss. Vor einer gültigen Intervention wird aber noch geprüft, wann der Benutzer zuletzt unterbrochen wurde, ob er also schon wieder unterbrochen werden darf, und welche der vorgefertigten Meldungen ausgegeben werden soll. Erfolgt schließlich eine Intervention, dann wird die Aktion des Benutzers nicht ausgeführt und stattdessen die errechnete Meldung vom Feedback-Agenten angezeigt.

d3web.Train wird seit mehreren Semestern erfolgreich in Kursen der Medizinischen Poliklinik der Universität Würzburg eingesetzt [5], [6]. Die Evaluation des Hilfesystems wurde im Wintersemester 2004/2005 im Kurs „Rheumatologie, Allergologie und Immunologie“ durchgeführt, der von 62 Studierenden im überwiegend 6. Semester besucht wurde. Den Studierenden wurden 30 Fälle angeboten, von denen sie mindestens 20 erfolgreich bearbeiten mussten. Es konnten dabei verschiedene Hilfen in Anspruch genommen und Fälle wiederholt bearbeitet werden. Alle Fälle basierten auf Arztbriefen und unterstützten die Aufgabenstellungen „Ergebnisse auswerten“ und „Diagnosen stellen“. Um den Effekt des Hilfesystems zu ermitteln wurden die Studierenden hälftig in eine Studiengruppe mit aktivem Hilfesystem und eine Kontrollgruppe mit passivem (nur protokollierendem) Hilfesystem. Es wurden alle Aktionen der Benutzer erfasst, Ergebnisse und Dauer jeder Fallbearbeitung. Zusätzlich sollten die Studierenden einen kurzen Fragebogen zu Beginn des Semesters und einen umfangreicheren am Ende des Kurses ausfüllen.

Ergebnisse

Von den 2991 registrierten Fallbearbeitungen waren 2784 vollständige Fallbearbeitungen, bei 1383 davon wurde ein Fall von einem Studierenden zum ersten Mal bearbeitet, die anderen 1401 waren Wiederholungen. Die Rücklaufquote bei den Fragebögen war beim ersten Fragebogen 76%, beim zweiten 100%, allerdings konnten 8% davon nicht zugeordnet werden. Es wurden 4091 Bedienfehler (~ 1,4/Fall) registriert, hauptsächlich waren das Fehler gemäß dem obigen Beispiel. Bei der Frage nach der subjektiven Einarbeitungszeit fühlten sich die Teilnehmer aus der Studiengruppe sich nach ~14 min. eingearbeitet, die Teilnehmer aus der Kontrollgruppe nach ~20 min.. Bei der Anzahl der protokollierten Fehler machten die Teilnehmer der Kontrollgruppe durchschnittlich 3,00 Fehler pro Fall, die der Studiengruppe 0,60. Bei der Bewertung des Hilfesystems war die Studiengruppe geteilter Meinung ( 0,5 ± 0,33, 0 ≈ „Das Hilfesystem ist sinnvoll“, 1 ≈ „Das Hilfesystem ist störend“), 55% der Teilnehmer der Studiengruppe waren der Meinung, man sollte das System zusätzlich auch bei Bedarf abschalten können, nur 3% waren aber der Meinung, dass es ganz abgeschaltet werden sollte. 47% waren der Meinung, dass das Hilfesystem Aktionen unpassend verhindert hat. 27% wünschten sich, dass das Hilfesystem seltener einen Fehler wiederholt meldet. 20% wollten das System in der eingesetzten Konfiguration.

Diskussion

Es hat sich gezeigt, dass die signifikant bessere subjektive Meinung der Teilnehmer der Studiengruppe über die Einarbeitungsdauer durch das objektive Ergebnis der Fehlermessung deutlich bestätigt wird: Studierende aus der Kontrollgruppe machten fünfmal so viele Fehler wie diejenigen aus der Studiengruppe. Wie zu erwarten war, ist es für das Erlernen der Bedienung anscheinend besonders hilfreich, wenn das System Fehler sofort korrigiert. Ein solches Hilfesystem ist damit auch den klassischen Bedienhilfen wie Handbüchern (auch wenn sie medial angereichert sind) überlegen – zumal diese von den Studierenden kaum genutzt wurden. Es hat sich in einer anschließenden Diskussion gezeigt, dass ein Teil der negativen Bewertungen, der Meldungen über unpassendes Verhindern der Benutzeraktionen und der Wunsch nach Abschaltbarkeit vor allem daher rührt, dass die Studierenden das System nicht nur für die Fallbearbeitung nutzten: Das vom Autor hinterlegte Hintergrundwissen (z.B. Diagnosekriterien, Fallzusammenfassung, weiterführende Literatur) war nur über die Fallbearbeitung zugänglich – bei mehrfachen Bearbeitungen eines Falles dienten die Wiederholungen den Studierenden dann oftmals nur zum schnellen Zugriff auf diese Informationen. Eine korrekte Fallbearbeitung – wie sie vom Hilfesystem eigentlich erzwungen wird – kostet dabei nur Zeit und das Hilfesystem wird dann als störend empfunden.

Eine erweiterte Version von d3web.Train, bei der die Lernenden das Hilfesystem bzw. einzelne Meldungen unterdrücken können, wird im Sommersemester 2005 evaluiert.


Literatur

1.
Hörnlein, A.; Betz, C.; Puppe, F.: Redesign eines generativen, fallbasierten Trainingssystems für das WWW im d3web.Trainer, in: Bernauer, J.; Fischer, M. R.; Leven, J.; Puppe, F. and Weber, M. (eds.): Rechnergestützte Lehr- und Lernsysteme in der Medizin - Proceedings zum 6. Workshop der GMDS AG Computergestützte Lehr- und Lernsysteme in der Medizin, Fachhochschule Ulm, 11.-12. April 2002, ISBN 3-8322-0611-6, Shaker Verlag, Aachen, 2002
2.
Fallbasierte intelligente Trainingssysteme für die Diagnostik, http://www.d3webtrain.de (29.05.2005)
3.
Betz, C., Buscher, H.-P., Hörnlein, A., Puppe, F., Schuhmann, M.: Generierung diagnostischer Trainingsfälle aus Arztbriefen, in [4], pp. 25-36, 2004
4.
Hörnlein, A., Puppe, F.: Applying learner modelling for user interface assistance in simulative training systems, Proceedings of the workshop "Teaching and Learning Systems: The Role of AI" at the 27th German Conference on Artificial Intelligence (KI2004) in Ulm, 2004
5.
Reimer, S., Kneitz, C., Tony, H.-P., Schewe, S., Hörnlein, A., Puppe, F.: d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklink der Universität Würzburg, in: [4], pp. 155-164, 2004.
6.
Reimer, S., Hörnlein, A., Tony, H.-P., Kraemer, D., Betz, C., Puppe, F., Kneitz, C.: Evaluation of a Case-Based Training System (d3web.Train) in Rheumatology, eingereicht für CBT2005
7.
Pöppl, S., Bernauer, J., Fischer, M., Handels, H., Klar, R., Leven, J., Puppe, F., Spitzer, K. (eds.): Rechnergestützte Lehr- und Lernsysteme in der Medizin: Proc. 8. Workshop der GMDS AG Computergestützte Lehr- und Lernsysteme in der Medizin, Shaker, Aachen, 2004