gms | German Medical Science

51. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e. V. (gmds)

10. - 14.09.2006, Leipzig

Rechnerunterstütztes formatives Prüfen am Beispiel des CAMPUS Lehr- und Lernsystems

Meeting Abstract

  • Thomas Sütterlin - Universität Heidelberg, Heidelberg
  • Jörn Heid - Universität Heidelberg, Heidelberg
  • Matthias Bauch - Universität Heidelberg, Heidelberg
  • Sören Huwendiek - Universitätsklinikum Heidelberg, Heidelberg
  • Franz Ruderich - Universitätsklinikum Erlangen, Erlangen
  • Martin Haag - Universität Heidelberg, Heidelberg
  • Franz-Josef Leven - Universität Heidelberg, Heidelberg

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V. (gmds). 51. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie. Leipzig, 10.-14.09.2006. Düsseldorf, Köln: German Medical Science; 2006. Doc06gmds063

Die elektronische Version dieses Artikels ist vollständig und ist verfügbar unter: http://www.egms.de/de/meetings/gmds2006/06gmds216.shtml

Veröffentlicht: 1. September 2006

© 2006 Sütterlin et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielf&aauml;ltigt, verbreitet und &oauml;ffentlich zug&aauml;nglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Gliederung

Text

Einleitung und Fragestellung

Seit November 2004 werden an der Medizinischen Fakultät der Universität Heidelberg rechnerunterstützte summative Prüfungen mit der CAMPUS-Prüfungssoftware erfolgreich durchgeführt. Aktuelle Bestrebungen zielen darauf ab formative Prüfungen, bei denen das Feedback an die Studierenden zur Steigerung des Lernerfolgs einen integralen Bestandteil darstellt [1], rechnerunterstützt durchzuführen und zu bewerten. Die ärztliche Approbationsordnung in Deutschland sieht vor, dass medizinische Curricula und Unterrichtsveranstaltungen problemorientiert und fallbasiert zu gestalten sind [2], was die Notwendigkeit von problemorientierten, fallbasierten Prüfungen zur Folge hat. Zur Durchführung von solchen Prüfungen bieten sich nach [3] fallbasierte Computer-based Training Systeme(CBT) an.

Material und Methoden

Die Auswertung von rechnerunterstützten, formativen Prüfungen wird anhand des von [4] erstellten Konzeptes vorgestellt und erläutert. Hierbei wird sowohl auf Prüfungen in der medizinischen Aus- als auch in der medizinischen Weiterbildung eingegangen. Die Kategorisierung medizinischen Handelns spielt bei der Auswertung eine zentrale Rolle, wobei die vorhandenen Kategorien von der Art der Handlung abhängig sind. Bei der Anamnese findet beispielsweise eine Einteilung der Anamnesefragen in die Kategorien indiziert und nicht relevant statt, wobei nur die für eine fokussierte Anamnese notwendigen Fragen in die Kategorie indiziert eingeteilt werden. Anhand der Einteilung der Diagnosen in die Kategorien indiziert, Alternativdiagnose, Alternativdiagnose mit geringerer Bewertung und nicht indiziert lässt sich eine weitere Problematik der rechnerunterstützten Auswertung verdeutlichen. In die Kategorie Alternativdiagnose sind all jene Diagnosen einzuteilen, die zwar nicht in der Musterlösung vorgesehen sind, aber als gleichwertiger Lösungsvorschlag betrachtet werden können. Hierbei kann der Fall eintreten, dass in der Menge der alternativen Diagnosen inhaltliche Äquivalente vorhanden sind, die von Seiten des Rechners nicht als solche erkannt werden können. Daher sieht die Konzeption des Systems im Fall, dass mehrere Alternativdiagnosen gewählt wurden, eine manuelle Bewertung durch den Bewertenden vor. Der Detaillierungsgrad einer Musterlösung wird bei der Bewertung in der Form berücksichtigt, dass beispielsweise alle einer Therapie in der hierarchischen Einteilung untergeordneten Therapien automatisch der gleichen Kategorie zugeteilt werden. Aufbauend auf dem oben beschriebenen Konzept wurde nach dem Prinzip des horizontalen Prototypings [5] ein Oberflächenprototyp erstellt, um das Applikationsrisiko zu minimieren. Die Eignung des Konzepts für formative Prüfungen wurde in der Diskussion des Prototyps mit den späteren Anwendern bestätigt. Als Ergänzung wurde von Anwenderseite vorgeschlagen, dem Bewertenden die Möglichkeit zu geben medizinische Handlungen zu kommentieren und damit ein direktes Feedback an den Geprüften zu geben. Vorgestellt wird der aus dem Oberflächenprototyp hervorgegangene Softwareprototyp, der die Umsetzung des Konzeptes am Beispiel der Auswertung einer CAMPUS-Fallbearbeitung demonstriert. Die Beurteilung derselben geschieht nach zeitlichen und inhaltlichen Gesichtspunkten. Die Komplexität medizinischen Handelns hat zur Folge, dass nicht alle bei einem speziellen Fall denkbaren medizinischen Handlungen im Vorhinein kategorisiert werden können. Aus diesem Grund ist das System in der Lage zu lernen, um den zeitlichen Aufwand für die Bewertung einer Fallbearbeitung sukzessive zu minimieren. Neben der Bewertung einer einzelnen Fallbearbeitung ermöglicht das System auch die Bewertung eines Kollektivs von Fallbearbeitungen, was im Falle eines veranstaltungsbegleitenden Einsatzes dem Lehrenden die Gelegenheit gibt, allgemein vorhandenen Schwächen frühzeitig entgegenzuwirken.

Diskussion

Zunächst ist der Einsatz des rechnerunterstützten Prüfens als Zulassungsvoraussetzung für Praktika oder ähnliches angedacht, wobei die Praktikabilität des Systems in diesem Zusammenhang noch evaluiert werden muss. Bisher mangelt es noch an Metriken zur qualitativen Bewertung medizinischen Handelns, die auf den Rechner übertragen werden können. Obwohl ein erster Schritt in die Ermittlung solcher Metriken getan ist, sind formative Prüfungen, denen eine größere Bedeutung als die oben beschriebene zukommt, noch nicht denkbar. Dazu bedarf es noch weiterer Forschung auf diesem Gebiet, die auf dem vorgestellten System aufbauend weitergeführt werden wird.


Literatur

1.
Rushton A. Formative Assessment: a key to deep learning?. Medical Teacher 2005; 06: 509-513.
2.
Ärztliche Approbationsordnung. Bundesgesetzblatt Jahrgang 2002 Teil 1 Nr. 44. Bonn 2002. [3]
3.
Leven FJ, Bauch M. E-learning in medical education in Germany: Status and perspectives. proc. Abschluss-Symposium Meducase. Berlin, 07.05.2004.
4.
Waldner R. Rechnerunterstützte Prüfungen mit einem simulativen computergestützten Lehr- und Lernsystem in der medizinischen Aus- und Fortbildung: Bewertungskriterien für eine Fallbearbeitung. Masterarbeit, Universität Heidelberg - Fachhochschule Heilbronn, Studiengang Informationsmanagement in der Medizin. Oktober 2004.
5.
Prototyping (Softwareentwicklung): http://de.wikipedia.org/wiki/Prototyping_%28Softwareentwicklung%29 (Stand: 17.03.06)