gms | German Medical Science

Die Verwendung von browserbasierter Prüfungssoftware birgt das Risiko, dass bei Problemen mit der Netzverbindung eine Prüfung komplett abgebrochen werden muss oder dass Prüfungsdaten bei der Kommunikation zum Server verloren gehen, da keine Sicherung der Daten auf dem Client möglich ist.

Die Vielfalt an Browser-Varianten, sowohl durch die unterschiedlichen Hersteller als auch Versionsnummern, macht es zudem schwierig, Probleme mit der Handhabung auszuschließen.

Täuschungsmanöver, beispielsweise durch parallel laufende Chat-Anwendungen sind dabei ebenfalls schwer zu verhindern, da man hierzu einen entsprechend modifizierten Browser benutzen müsste.

Als Grundlage für die Prüfungssoftware dient eine Client-Server-Architektur, wobei sowohl beim Client als auch beim Server Logging-Daten gespeichert werden. Auf dem Server laufen alle Daten in einer Datenbank zusammen. Vor Beginn der Prüfung werden alle benötigten Daten (Prüfungsfragen, Login-Daten) zum Client gespielt, wodurch dieser danach in der Lage ist, die Prüfung auch ohne Netzverbindung komplett durchzuführen. Der Client sendet in diesem Fall alle nicht übertragenen Logging-Daten an den Server, sobald die Verbindung wieder hergestellt ist.

Bei einem Ausfall des Rechners während der Prüfung kann diese an der Stelle fortgeführt werden, an der die letzten Daten erhoben wurden.

Die Anwendung auf dem Client muss dabei verhindern, dass der Benutzer weitere Applikationen benutzen kann. Dies wird dadurch erreicht, dass bei dem Computer die bekannten Tastenkürzel deaktiviert werden, das Programm nicht ohne weiteres geschlossen werden kann und das Fenster im Vollbildmodus angezeigt wird.

Die Anbindung an den Lieferanten der Prüfungsfragen und das Zurückspeichern der Prüfungsergebnisse läuft über eine definierte Schnittstelle, so dass unterschiedliche Programme angebunden werden können. Das Austauschformat ist dabei XML.

Das Programm besteht neben der Client-Anwendung, die in Java geschrieben ist, aus einer webbasierten Management-Konsole, von der aus die Prüfung überwacht und verwaltet werden kann. Als Backend, welches die Datenbank und einen graphischen Editor für die Prüfungsfragen zur Verfügung stellt, wurde das CAMPUS-System [Ref. 2] gewählt. Die Anbindung anderer Systeme ist dabei durch offene Schnittstellen gewährleistet.

Der Client stellt die Prüfungsfragen (Multiple-Choice, Longemenu, Hotspot, Lückentext u.a.) innerhalb eines KeyFeature-Falles [Ref. 3] in einem Vollbildmodus dar.

Um die Diskrepanz zwischen papier- und computer-basierten Prüfen zu verkleinern, unterstützt das Programm eine Vorschauleiste, in der man die noch kommenden Fragen in einem verkleinerten Screen ansehen kann. Hier kann der Studierende in etwa abschätzen, ob die kommenden Fragen eine hohe oder geringe Komplexität haben. Ein zusätzlicher Fortschrittsbalken und die optional einstellbare Restzeit ermöglichen zudem, die Zeit der Prüfung individuell einzuteilen.

Während der Prüfung werden alle Eingaben lokal zwischengespeichert, um notfalls aus den Orginaldaten eine Prüfung nachbilden zu können. Zusätzlich wird nach jeder Interaktion ein Screenshot gemacht, der als animiertes GIF zum Video kombiniert wird. Dieses Video kann der Prüfer zum einen über die Management-Konsole von alle Studierenden zentral anfordern, zum anderen kann sich der Prüfling das Video selbst per Email zuschicken. Dabei wird das Video allerdings mit einem Passwort versehen, welches nur der Prüfer kennt. Hierdurch wird verhindert, dass die Prüfungsfragen von den Studierenden weitergegeben werden können.

Der Prüfling kann jedoch zur Überprüfung seiner Leistungen das selbst zugeschickte Video dem Prüfer vorlegen und zusammen die Ergebnisse überprüfen. Hierdurch ist sichergestellt, dass das Video auch wirklich vom Studierenden und von der entsprechenden Prüfung stammt.

Über die Management-Konsole kann der Prüfer alle Clients einsehen. Zu den dargestellten Informationen gehören die Systemkonfigurationen der angemeldeten Computer, die Historie der Clients und die vorhandenen Prüfungen und Prüfungsergebnisse. Die Ergebnisse können schon während der Prüfung in HTML oder Excel ausgegeben werden.

Die Auswertung in Excel hat hierbei allerdings nur deskriptiven Charakter - eine Auswertung, die zu einer Gesamtpunktzahl bzw. Bewertung führt, wird hier nicht geboten. Der Prüfer kann durch das Excel-Sheet die Punktzahlen, Multiplikatoren und Bewertungsgrundlagen selbst festlegen.

In Heidelberg wurde die Software mit Hilfe des Kompetenzzentrums für Prüfungen (KomP Med [Ref. 4]) bei mehreren Prüfungen eingesetzt.

Die Prüfungen fanden teilweise aufgeteilt auf mehrere Räume statt, wobei sich keine technischen, wohl aber inhaltliche und organisatorische Probleme ergaben.

Neben der Problematik bei der Verwendung von Longmenu-Listen, bei denen die Studierenden bestimmte Antwortmöglichkeiten nicht fanden, war die Qualität der Betreuer von entscheidender Bedeutung, besonders, wenn die Prüfung auf mehrere Räume aufgeteilt werden musste. So waren die durchschnittlichen Noten in dem Raum besser, in dem der Prüfer Aufsicht führte, während in dem Raum, in dem sein Vertreter Aufsicht führte, die Ergebnisse schlechter ausfielen. Dies ist daraus zu erklären, dass der Prüfer größere Zugeständnisse geben kann, während eine Vertretung hier restriktiver sein muss. Ebenso konnte der Prüfer, der ja auch Autor der Prüfung war, Hilfestellungen zu seinen selbst formulierten Fragen besser geben.

Ein weiteres Problem bestand darin, dass die Vorbereitung und die Überprüfung der Prüfung im Vorfeld Lücken aufwiesen. Hier sollten ein entsprechender adäquater Workflow und Deadlines Abhilfe schaffen.

Die computerbasierte Prüfung bietet durch das Einsparpotenzial und die neuen Möglichkeiten der Prüfungsfragen ein enormes Potenzial für die medizinische Ausbildung.

Allerdings bestehen neben technischen auch rechtliche Risiken. Diese können durch entsprechende Software teilweise gemildert werden, wobei hier der Ansatz verfolgt wird, die Diskrepanz zwischen papier- und computerbasierten Prüfen zu minimieren.

Die computerbasierte Prüfung kann allerdings das Problem der organisatorischen und inhaltlichen Inkonsistenzen nicht lösen. Prüfer sollten sensibilisiert werden, dass das Einsparpotential bei der Auswertung und Verteilung der Prüfungsfragen zu suchen ist, nicht bei der Vorbereitung und Durchführung.