gms | German Medical Science

50. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie (gmds)
12. Jahrestagung der Deutschen Arbeitsgemeinschaft für Epidemiologie (dae)

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie
Deutsche Arbeitsgemeinschaft für Epidemiologie

12. bis 15.09.2005, Freiburg im Breisgau

Erfahrungen bei Entwicklung und Einsatz eines Prüfungsplayers für computerunterstütztes, sicheres Prüfen

Meeting Abstract

  • Jörn Heid - Universität Heidelberg/Heilbronn, Heidelberg
  • M. Bauch - Universität Heidelberg/Heilbronn, Heidelberg
  • K. Brass - Universitätsklinik Heidelberg, Heidelberg
  • M. Haag - Universität Heidelberg/Heilbronn, Heidelberg
  • J. Jünger - Universtitätsklinik Heidelberg, Heidelberg
  • F.-J. Leven - Universität Heidelberg/Heilbronn, Heidelberg

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie. Deutsche Arbeitsgemeinschaft für Epidemiologie. 50. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie (gmds), 12. Jahrestagung der Deutschen Arbeitsgemeinschaft für Epidemiologie. Freiburg im Breisgau, 12.-15.09.2005. Düsseldorf, Köln: German Medical Science; 2005. Doc05gmds641

Die elektronische Version dieses Artikels ist vollständig und ist verfügbar unter: http://www.egms.de/de/meetings/gmds2005/05gmds419.shtml

Veröffentlicht: 8. September 2005

© 2005 Heid et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielf&aauml;ltigt, verbreitet und &oauml;ffentlich zug&aauml;nglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Zusammenfassung

Durch die neue Approbationsordnung für Ärzte [1] ist die Notwendigkeit für computerunterstütztes Prüfen stark gestiegen. Die meist übliche Verwendung von browserbasierter Prüfungssoftware bietet allerdings hier oft unterschätzte technische und rechtliche Risiken. Um die Probleme in den Griff zu bekommen, wurde eine neue Prüfungssoftware entwickelt, die neben verschiedenen Arten der Ausfallsicherung redundante Speicherung der Prüfungsergebnisse bietet. Erfahrungen bei an der Universität Heidelberg durchgeführten Prüfungen zeigen allerdings auch, dass neben der Prüfungssoftware inhaltliche und organisatorische Probleme bei der Durchführung von Prüfungen von erheblicher Bedeutung sind.


Text

Probleme von browserbasierter Prüfungssoftware

Die Verwendung von browserbasierter Prüfungssoftware birgt das Risiko, dass bei Problemen mit der Netzverbindung eine Prüfung komplett abgebrochen werden muss oder dass Prüfungsdaten bei der Kommunikation zum Server verloren gehen, da keine Sicherung der Daten auf dem Client möglich ist.

Die Vielfalt an Browser-Varianten, sowohl durch die unterschiedlichen Hersteller als auch Versionsnummern, macht es zudem schwierig, Probleme mit der Handhabung auszuschließen.

Täuschungsmanöver, beispielsweise durch parallel laufende Chat-Anwendungen sind dabei ebenfalls schwer zu verhindern, da man hierzu einen entsprechend modifizierten Browser benutzen müsste.

Aufbau der Prüfungssoftware

Als Grundlage für die Prüfungssoftware dient eine Client-Server-Architektur, wobei sowohl beim Client als auch beim Server Logging-Daten gespeichert werden. Auf dem Server laufen alle Daten in einer Datenbank zusammen. Vor Beginn der Prüfung werden alle benötigten Daten (Prüfungsfragen, Login-Daten) zum Client gespielt, wodurch dieser danach in der Lage ist, die Prüfung auch ohne Netzverbindung komplett durchzuführen. Der Client sendet in diesem Fall alle nicht übertragenen Logging-Daten an den Server, sobald die Verbindung wieder hergestellt ist.

Bei einem Ausfall des Rechners während der Prüfung kann diese an der Stelle fortgeführt werden, an der die letzten Daten erhoben wurden.

Die Anwendung auf dem Client muss dabei verhindern, dass der Benutzer weitere Applikationen benutzen kann. Dies wird dadurch erreicht, dass bei dem Computer die bekannten Tastenkürzel deaktiviert werden, das Programm nicht ohne weiteres geschlossen werden kann und das Fenster im Vollbildmodus angezeigt wird.

Die Anbindung an den Lieferanten der Prüfungsfragen und das Zurückspeichern der Prüfungsergebnisse läuft über eine definierte Schnittstelle, so dass unterschiedliche Programme angebunden werden können. Das Austauschformat ist dabei XML.

Das Programm besteht neben der Client-Anwendung, die in Java geschrieben ist, aus einer webbasierten Management-Konsole, von der aus die Prüfung überwacht und verwaltet werden kann. Als Backend, welches die Datenbank und einen graphischen Editor für die Prüfungsfragen zur Verfügung stellt, wurde das CAMPUS-System [2] gewählt. Die Anbindung anderer Systeme ist dabei durch offene Schnittstellen gewährleistet.

Client

Der Client stellt die Prüfungsfragen (Multiple-Choice, Longemenu, Hotspot, Lückentext u.a.) innerhalb eines KeyFeature-Falles [3] in einem Vollbildmodus dar.

Um die Diskrepanz zwischen papier- und computer-basierten Prüfen zu verkleinern, unterstützt das Programm eine Vorschauleiste, in der man die noch kommenden Fragen in einem verkleinerten Screen ansehen kann. Hier kann der Studierende in etwa abschätzen, ob die kommenden Fragen eine hohe oder geringe Komplexität haben. Ein zusätzlicher Fortschrittsbalken und die optional einstellbare Restzeit ermöglichen zudem, die Zeit der Prüfung individuell einzuteilen.

Während der Prüfung werden alle Eingaben lokal zwischengespeichert, um notfalls aus den Orginaldaten eine Prüfung nachbilden zu können. Zusätzlich wird nach jeder Interaktion ein Screenshot gemacht, der als animiertes GIF zum Video kombiniert wird. Dieses Video kann der Prüfer zum einen über die Management-Konsole von alle Studierenden zentral anfordern, zum anderen kann sich der Prüfling das Video selbst per Email zuschicken. Dabei wird das Video allerdings mit einem Passwort versehen, welches nur der Prüfer kennt. Hierdurch wird verhindert, dass die Prüfungsfragen von den Studierenden weitergegeben werden können.

Der Prüfling kann jedoch zur Überprüfung seiner Leistungen das selbst zugeschickte Video dem Prüfer vorlegen und zusammen die Ergebnisse überprüfen. Hierdurch ist sichergestellt, dass das Video auch wirklich vom Studierenden und von der entsprechenden Prüfung stammt.

Management-Konsole

Über die Management-Konsole kann der Prüfer alle Clients einsehen. Zu den dargestellten Informationen gehören die Systemkonfigurationen der angemeldeten Computer, die Historie der Clients und die vorhandenen Prüfungen und Prüfungsergebnisse. Die Ergebnisse können schon während der Prüfung in HTML oder Excel ausgegeben werden.

Die Auswertung in Excel hat hierbei allerdings nur deskriptiven Charakter - eine Auswertung, die zu einer Gesamtpunktzahl bzw. Bewertung führt, wird hier nicht geboten. Der Prüfer kann durch das Excel-Sheet die Punktzahlen, Multiplikatoren und Bewertungsgrundlagen selbst festlegen.

Erfahrungen aus dem Einsatz an der Universität Heidelberg

In Heidelberg wurde die Software mit Hilfe des Kompetenzzentrums für Prüfungen (KomP Med [4]) bei mehreren Prüfungen eingesetzt.

Die Prüfungen fanden teilweise aufgeteilt auf mehrere Räume statt, wobei sich keine technischen, wohl aber inhaltliche und organisatorische Probleme ergaben.

Neben der Problematik bei der Verwendung von Longmenu-Listen, bei denen die Studierenden bestimmte Antwortmöglichkeiten nicht fanden, war die Qualität der Betreuer von entscheidender Bedeutung, besonders, wenn die Prüfung auf mehrere Räume aufgeteilt werden musste. So waren die durchschnittlichen Noten in dem Raum besser, in dem der Prüfer Aufsicht führte, während in dem Raum, in dem sein Vertreter Aufsicht führte, die Ergebnisse schlechter ausfielen. Dies ist daraus zu erklären, dass der Prüfer größere Zugeständnisse geben kann, während eine Vertretung hier restriktiver sein muss. Ebenso konnte der Prüfer, der ja auch Autor der Prüfung war, Hilfestellungen zu seinen selbst formulierten Fragen besser geben.

Ein weiteres Problem bestand darin, dass die Vorbereitung und die Überprüfung der Prüfung im Vorfeld Lücken aufwiesen. Hier sollten ein entsprechender adäquater Workflow und Deadlines Abhilfe schaffen.

Diskussion und Ausblick

Die computerbasierte Prüfung bietet durch das Einsparpotenzial und die neuen Möglichkeiten der Prüfungsfragen ein enormes Potenzial für die medizinische Ausbildung.

Allerdings bestehen neben technischen auch rechtliche Risiken. Diese können durch entsprechende Software teilweise gemildert werden, wobei hier der Ansatz verfolgt wird, die Diskrepanz zwischen papier- und computerbasierten Prüfen zu minimieren.

Die computerbasierte Prüfung kann allerdings das Problem der organisatorischen und inhaltlichen Inkonsistenzen nicht lösen. Prüfer sollten sensibilisiert werden, dass das Einsparpotential bei der Auswertung und Verteilung der Prüfungsfragen zu suchen ist, nicht bei der Vorbereitung und Durchführung.


Literatur

1.
Approbationsordnung für Ärzte. Bundesgesetzblatt 2002 Teil I Nr. 44 vom 03.07.2002http://www.bmgs.bund.de/download/gesetze/gesundheitsberufe/approbation.pdf
2.
CAMPUS Lehr-/Lernsystem: http://www.medicase.de/
3.
Page G, Bordage G, Allen T. Developing Key-Feature Problems and Examinations to Assess Clinical Decissionmaking Skills. Acad Med 1995; 70: 194-201.
4.
Kompetenzzentrum für Prüfungen in der Medizin / Baden-Württemberg - KomP Med http://www.klinikum.uni-heidelberg.de/index.php?id=3080