gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

Online-Prüfungstool: "Der Weg ist das Ziel": Bewertung des ärztlichen Handels anhand virtueller Patienten

Projekt Humanmedizin

  • corresponding author Uta-Maria Waldmann - Universität Ulm, Abteilung Allgemeinmedizin, Ulm, Deutschland
  • author Petra Ritschi - Universität Ulm, Abteilung Allgemeinmedizin, Ulm, Deutschland
  • author Markus Gulich - Universität Ulm, Abteilung Allgemeinmedizin, Ulm, Deutschland
  • author Harald C. Traue - Universität Ulm, Abteilung Psychosomatische Medizin und Psychotherapie, Ulm, Deutschland
  • author Hans-Peter Zeitler - Universität Ulm, Abteilung Allgemeinmedizin, Ulm, Deutschland

GMS Z Med Ausbild 2006;23(1):Doc01

Die elektronische Version dieses Artikels ist vollständig und ist verfügbar unter: http://www.egms.de/de/journals/zma/2006-23/zma000220.shtml

Eingereicht: 31. Oktober 2005
Veröffentlicht: 17. Februar 2006

© 2006 Waldmann et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielfältigt, verbreitet und öffentlich zugänglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Zusammenfassung

Hintergrund: Ziel dieses Projektes ist es, die für das ärztliche Handeln typischen komplexen Entscheidungssituationen und -wege in Diagnostik und Therapie in elektronischer Form darzustellen und Lösungswege bewertbar zu machen.

Methode: Basierend auf dem Ulmer e-learning-Programm "Docs 'n Drugs" wurde ein Prüfungstool entwickelt, in dem der Prüfling in der Rolle des Arztes einen virtuellen Patienten untersuchen und behandeln muss. Mit dem Bewertungseditor kategorisiert der Prüfende die möglichen Handlungsschritte, wobei auch alternative Lösungswege berücksichtigt werden. Die Evaluation dieses Prüfungstool erfolgt in einer Studie mit 140 Studierenden anhand von drei allgemeinmedizinischen Fällen.

Bisherige Ergebnisse: Es zeichnet sich ab, dass der diagnostische Lösungsweg mit dieser Methode bewertet und eine solche Prüfungsform von Studenten akzeptiert werden kann.

Ausblick: Ein solches Prüfungstool scheint die ärztliche Denk- und Vorgehensweise bewertbar zu machen.

Abstract

Background: The aim of this project is to simulate the complexity of typical medical situations in a computer programme and to base assessment scores on the chosen diagnostic and therapeutic approach.

Methods: This online assessment tool is based on the virtual poly clinic "docs 'n drugs", a web-based training programme developed in Ulm. A clinical scenario is described and the student - in the role of the doctor - has to diagnose and treat a virtual patient. By the use of a rating editor the examiner categorizes possible actions whereby alternative and more complex pathways may also be considered. In this study the assessment tool is evaluated on 140 students solving three typical General Practice scenarios.

Results so far: There is emerging evidence that it is possible to translate the chosen diagnostic approach into valid assessment scores and that this examination format is accepted by students.

Outlook: This assessment tool seems to make medical thinking, i.e. the approach to a clinical problem, appraisable.


Projektbeschreibung

1. Prinzip des Prüfungstools

Das computerbasierte Trainingssystem Docs 'n Drugs ermöglicht, sehr realitätsnah Patientenfälle abzubilden: Durch Erheben der Anamnese, Durchführen der körperlichen Untersuchungen an einem Modell sowie Anordnen und selbständiges Befunden von technischen Untersuchungen und verschiedenen Labortests muss der Lernende sich - wie im "wirklichen Arztleben" - ein Bild von den Beschwerden des Patienten machen, auf die relevanten Differentialdiagnosen kommen und diese durch adäquate Diagnostik bestätigen oder ausschließen. Anschließend muss er die notwendigen therapeutischen Maßnahmen einleiten.

Vom Studenten wird dabei ein hohes Maß an ärztlichem Denken und Integrieren von Wissen verlangt, nicht nur ein Wiedererkennen von ausformulierten Sachverhalten - genau dieses möchten wir auch in der Prüfungssituation erreichen:

Daher wurde "Docs 'n Drugs" so ergänzt und modifiziert, dass es als Prüfungstool eingesetzt werden kann, in dem der Prüfling in der Rolle des Arztes einen virtuellen Patienten untersucht und behandelt. Die Darstellung und Protokollierung der Handlungsschritte erfolgt im Soon-Player*.

Innovativ ist dabei der Ansatz, neben Wissensfragen und konkreten Entscheidungen in MCQ und anderen Frageformen auch den Lösungsweg zu bewerten, den ein Student wählt, um ans Ziel zu kommen. Es kann bewertet werden,

1. welche Anamnesefragen bzw. Untersuchungen überhaupt durchgeführt werden (adäquate und notwendige Fragen/Untersuchungen werden positiv bewertet, sinnlose oder gar schädliche negativ).

2. in welcher Reihenfolge die Untersuchungen stattfinden (z.B. eine für den Patienten belastende oder teure Untersuchung soll erst dann durchgeführt werden, wenn durch körperliche Untersuchung und einfachere Verfahren ein Verdacht nicht ausreichend bestätigt oder ausgeschlossen werden kann).

3. welche alternativen Lösungswege zum gleichen Ziel führen.

Insgesamt kann so durch den gewählten Lösungsweg und durch Antworten auf verschiedenartige Fragen eine umfassendere und realitätsnähere Beurteilung des Studenten erfolgen.

2. Auswertungs-Prinzip

Um aus den möglichen Handlungsschritten, d.h. den Anamnesefragen, Untersuchungen etc., bewertbare Schritte zu machen, müssen sie zunächst vom Prüfenden - wie oben beschrieben - bewertet und wie folgt kategorisiert werden (siehe Tabelle 1 [Tab. 1]).

Daraus ergibt sich eine bestimmte Menge an möglichen und erreichten A-, B-, C-, D- und X-Bewertungen, die dann zu einem Gesamtergebnis verrechnet werden. Die bisherige Arbeitsformel lautet:

GA * A/|A| * (1 - X/|X|) + GC * (1 - C/|C|) + GD * (1 - D/|D|) = [Dezimalzahl zwischen 0 und 1] (siehe Tabelle 2 [Tab. 2]).

Anhand der Evaluationsstudie, die mit 140 Studierenden im Kurssemester Allgemeinmedizin durchgeführt wurde, soll diese theoretisch entstandene Formel auf ihre Praxisrelevanz hin untersucht und evtl. modifiziert werden. Der Auswertungsalgorithmus muss an die Eigenheiten verschiedener Prüfungsfälle anpassbar gemacht werden, indem die Bedeutung und Konsequenzen der verschiedenen Kategorisierungen und Gewichtungen herausgearbeitet und beschrieben werden.

3. Erste Ergebnisse

Es zeichnet sich ab, dass diese Bewertung des Lösungswegs durch die o.g. Formel plausible Ergebnisse liefert. In den Feedback-Bögen der Studenten finden sich einige Anregungen zur Verbesserung der Programmführung. Positive Rückmeldungen gab es zur Praxisrealität der Fälle und der vernetzten Wissensanwendung. Insgesamt scheint die Akzeptanz einer solchen Prüfungsform hoch, auch wenn Bedenken wegen der unterschiedlichen "Computer-Routine" der Prüflinge und der (un)möglichen Auswertung des Prüfungsweges geäußert wurden - aber Letzteres zu zeigen ist ja Gegenstand dieses Projektes. Und dies ist nach bisherigen Ergebnissen auch gelungen!


Anmerkung

*:Soon-Systems GbR, Eberhard-Finckh-Straße 1, 89075 Ulm.


Literatur

1.
Ritschi P. Konzeption, Entwicklung und Evaluation eines Online-Prüfungssystems auf der Basis von Docs 'n Drugs - Die virtuelle Poliklinik. Ulm: Universität Ulm; 2004.
2.
Pietzcker T, Weber M, Reuter S, Marre R. Docs 'n Drugs - Die virtuelle Poliklinik. Ein fallorientiertes, webbasiertes Ausbildungssystem für Mediziner. In: Bichler KH, Mattauch W (Hrsg). Multimediales Lernen in der medizinischen Ausbildung. Hamburg: Springer-Verlag. 2001:99-108.