gms | German Medical Science

Die Verwendung von Internetbrowsern basiert auf dem Client-Server-Konzept, bei dem von einzelnen Arbeitsstationen (Clients) auf angebotene Ressourcen eines zentralen Servers zugegriffen wird. Der Server spielt hier die entscheidende Rolle, da er sämtliche Daten für die Clients liefert. Bei den Clients hingegen handelt es sich nicht um eine gleichberechtigte, sondern lediglich um eine Abspielkomponente. Aus diesem Grund können lokal keine Daten, wie z.B. Protokolle abgespeichert werden. Ein Ausfall des Netzwerks oder des Servers bzw. Fehler in den Anwendungen kann dadurch zum kompletten Verlust der Prüfungsdaten führen. Das Auftreten eines solchen Problems während einer benoteten Prüfung bedeutet einen erheblichen organisatorischen Mehraufwand, der unter Umständen auch rechtliche Auseinandersetzungen zur Folge haben kann.

Der wesentliche Vorteil von browserbasierten Systemen liegt in der hohen Verbreitung der Browsertechnologie, die heutzutage quasi auf jedem Rechner anzutreffen ist. Die Verwendung eines solchen Systems erspart somit aufwändige Installations- und Wartungsarbeiten des Prüfungssystems auf den Clients. Der normale Browser ist jedoch sehr anfällig gegenüber Betrugsversuchen. So können sich Studierende ohne großen Aufwand und bereits mit geringen Grundkenntnissen z.B. über einen Chat austauschen. Angesichts dieser Problematik bieten einige der verfügbaren Prüfungssysteme einen speziellen Browser (beispielsweise der Questionmark Secure Browser [2]) an, wodurch die Vorteile der Browsertechnologie in diesem Bereich wieder aufgehoben werden.

Einen weiteren Vorteil der browserbasierten Prüfung bietet die große Anzahl an Web-Technologien, die eingesetzt werden können, um Prüfungsinhalte zu visualisieren. Dies ermöglicht, die den Studierenden bereits bekannte Oberfläche eines web-basierten Lehr-/Lernsystemes auch für Prüfungen zu verwenden. Beispiele für diesen Ansatz stellen die Prüfungkomponenten in der Lernplattform ILIAS [3] oder .LRN [4] dar. Jedoch bedeutet die Vielzahl an verwendenden Technologien wie HTML, DHTML, JavaScript, Flash, u.a. in Verbindung mit der Vielzahl an möglichen Browserkonfigurationen (verschiedene Hersteller, Versionen, Plattformen und Plugins) ein zusätzliches Risiko für das Auftreten von Applikationsfehlern.

Bei der Entwicklung der sicheren Prüfungssoftware standen folgende Anforderungen im Vordergrund:

• Transparente Behandlung von Netzwerkausfällen: Die Prüfung darf durch den Ausfall des Netzwerks nicht gestört werden
• Möglichkeit der sofortigen Fortführung der Prüfung durch den Prüfling auf einem anderen Rechner nach einem Rechnerausfall
• Mehrstufige Protokollierung, so dass der Verlust an einzelnen Stellen nicht den Verlust von Prüfungsdaten zur Folge haben kann
• Einfach zu bedienende Benutzeroberfläche, die sich an konventionellen schriftlichen Prüfungen orientiert
• Unterstützung des Key Feature-Ansatzes nach Page und Bordage [5]
• Erreichen justiziabler Ergebnisse mit der Möglichkeit zur Überprüfung durch den Prüfungsteilnehmer
• Bidirektionale Kommunikationsmöglichkeit bei vorhandener Netzwerkverbindung zwischen Prüfling und Prüfer
• Bereitstellung von Auswertungen in HTML und in mit adaptierbaren Formeln ausgestatteten Excel-Tabellen

Um eine mehrstufige Protokollierung und Transparenz gegenüber Netzwerkausfällen zu erreichen, wird eine erweiterte Client-Server-Architektur benutzt. Der Client steht hierbei dem Server gleichberechtigt gegenüber: Nach dem einmaligen Übertragen der Prüfungsdaten zu Beginn der Prüfung vom Server zum Client, arbeitet dieser autonom. Fällt während der Prüfung das Netzwerk aus, werden die Protokollierungsdaten für den Server lokal zwischengespeichert. Besteht die Verbindung wieder, werden die aufgelaufenen Daten am Stück zum Server übertragen, um in dessen Datenbank gespeichert zu werden. In der Datenbank des Servers können dann globale Auswertungen durchgeführt werden. Führen schwere Fehler dazu, dass eine Netzwerkverbindung nicht mehr hergestellt werden kann, können die auf den Clients erstellten Protokollierungsdateien manuell in die Serverdatenbank importiert werden.

Um eine weitere anwendungsfehlertolerante Protokollierung zu ermöglichen, dienen Screenshots dazu, eine Videodatei aus Einzelbildern für die Prüfung zu erstellen. Diese Screenshots bieten die einzige Möglichkeit, auch bei Fehlern in der Anwendung selbst (beispielsweise bei fehlerhafter Protokollierung) die Prüfungsergebnisse später justiziabel zu belegen. Durch die Verwendung von Signatur- und Verschlüsselungstechnologien in Verbindung mit einer geleisteten Unterschrift des Prüflings bietet die Prüfungssoftware Justiziabilität ohne großen zeitlichen Aufwand. Eine alternative Lösung des Problems zeigt der Artikel "Online-Prüfen mit Ilias" [6] auf, bei der jeder Student nach der Prüfung die Ergebnisse als Ausdruck unterschreiben muss. Der zeitliche Aufwand ist bei der Durchsicht allerdings enorm und die Frage des Vorgehens für den Fall, dass ein Prüfling den Ausdruck nicht anerkennt (weil er beispielsweise beim Durchsehen seine eigenen Fehler bemerkt hat), ist nicht geklärt.

Für die Erstellung einer Prüfung kann das Autorensystem (Abbildung 1 [Abb. 1]) des CAMPUS Lehr-/Lernsystems [7] verwendet werden. Neben den üblichen Multiple Choice Fragen werden Long Menu- [8], Hotspot- (Markierung einer bestimmten Region innerhalb einer Abbildung) und Lückentext-Fragen unterstützt, die in Verbindung mit der zeitnahen Auswertung die Vorteile der computerbasierten Prüfung aufzeigen. Die Prüfungsfragen können optional als Key Feature Fall miteinander verbunden werden.

Eine QTI-Schnittstelle [9] bietet zudem die Möglichkeit, Prüfungen aus anderen Systemen zu importieren bzw. zu exportieren.

Während der Prüfung steht dem Prüfer eine webbasierte Management-Konsole (Abbildung 2 [Abb. 2]) zur Verfügung, über die er jederzeit den Fortschritt der Prüfung überwachen kann. Neben der Kommunikation mit einzelnen Prüfungsteilnehmern ist es weiterhin möglich, Informationen über einzelne Clients anzuzeigen. Dies erlaubt das frühzeitige Erkennen technischer Probleme.

Während oder nach der Durchführung der Prüfung kann sich der Prüfer Auswertungen im HTML-Format oder als Excel-Tabellen (Abbildung 3 [Abb. 3]) ausgeben lassen. Der Excel-Export baut hierbei auf adaptierbaren Formeln auf: Ein XSLT-Stylesheet wandelt die Prüfungsergebnisse in eine tabellarische Excel-Ansicht um, welche für die Ermittlung der Punktzahl entsprechende Formeln verwendet. Der Prüfer kann damit die Bewertungsmaßstäbe dynamisch anpassen und sieht die Veränderungen sofort im Überblick.

Nach dem Start der Prüfungssoftware auf dem Client präsentiert sich diese im Exklusivmodus (Abbildung 4 [Abb. 4]): Eine Interaktion mit dem Betriebssystem oder anderen Programmen ist nicht mehr möglich. Nach dem Anmelden hat der Prüfling die Möglichkeit, die Anzahl der zu beantwortenden Fragen anhand einer Thumbnailvorschau am unteren Bildschirmrand abzuschätzen, um die ihm zur Verfügung stehende Zeit besser planen zu können. Wie bei den schriftlichen Prüfungen helfen Markierungen bestimmter Fragen oder Textabschnitte, die persönliche Herangehensweise abzubilden.

Am Ende der Prüfung hat der Prüfling die Möglichkeit, sich das Video aus den Screenshots seiner Bearbeitung als Beleg per E-Mail zuzuschicken. Das Video wird zusammen mit einer Signaturdatei in einem passwortgeschützten Archiv verschickt. Hierdurch wird dem Problem der möglichen Veröffentlichung der exakten Prüfungsfragen entgegengewirkt. Der Studierende kann aber auf Wunsch gemeinsam mit dem Prüfer das Video anschauen und die Ergebnisse kontrollieren, da dem Prüfer das Passwort bekannt ist. Die Signaturdatei beweist hierbei zusätzlich die Authentizität des Videos.

Das Prüfungssystem wird seit 2004 in Routine eingesetzt. Die Durchführung wird dabei vom Kompetenzzentrum für Prüfungen in der Medizin (KomP Med [10]) koordiniert.

In diesem Jahr werden ca. 15 Prozent aller Heidelberger Medizinstudierenden im klinischen Bereich mit diesem System geprüft. Die große Anzahl an Studierenden stellt die Hochschule trotz eines vorhandenen großen Pools mit 80 Rechnern vor das Problem, eine ausreichende Zahl von Rechnern gleichzeitig zur Verfügung zu stellen. Aus diesem Grund werden Prüfungen in mehreren Schichten bzw. zeitgleich verteilt auf mehrere Räume durchgeführt.

Bedingt durch die Umstellung von konventionellen auf rechnergestützte Prüfungsformen traten bisher hauptsächlich organisatorische Probleme auf. Während der Einführung der Software wurde diese durch das KomP Med mit den Prüfungsfragen der Dozenten gefüllt. Diese Koordinierungsinstanz war insbesondere durch das Vorhandenensein von kombinierten Prüfungen mit mehreren Prüfern sinnvoll. Zu Problemen kam es, wenn einzelne Prüfer ihre Prüfungsfragen erst am Vortag abgaben, was eine finale, inhaltliche Überprüfung teilweise verhinderte. Es ist davon auszugeben, dass auch in Zukunft ein Teil der Prüfer das System nicht direkt benutzen will. Dies und die zwingende, technische Qualitätssicherung der Prüfung bedingte die Einrichtung einer halben, festen Stelle in Heidelberg.

Ein weiterer Aspekt bei der Organisation der Prüfung stellt die Wartung und Pflege der Rechnerpools dar. Vor jeder Prüfung müssen sämtliche Rechner hinsichtlich ihrer Funktionstüchtigkeit getestet werden, was in Heidelberg de facto durch das Einloggen (die vorinstallierte Software ist nur über eine bestimmten Account startbar) am Computer und das Starten des Prüfungsclients erreicht werden kann, da man an der Management-Konsole die erfolgreich konnektierten Rechner sehen kann. Die Erfahrungen haben gezeigt, dass bis zu 10 Prozent der Rechner ausfallen, meist durch ein Hardware-Problem am Rechner oder Bildschirm. Um ein Abschreiben zu verhindern, werden an der Universität Heidelberg vor jeder Prüfung Sichtschutzwände zwischen den Computern aufgestellt und nach der Prüfung wieder abgebaut, da der Pool auch anderweitig eingesetzt wird. Der Aufwand für die Vorbereitungen für eine Person betragen ca. 20 Minuten in dem Heidelberger Pool mit den 80 Rechnern.

Die Nachbereitung einer Prüfung dauert im Idealfall nur wenige Minuten. Längere zeitliche Aufwendungen entstehen meist durch das Nachbessern der Bewertungskriterien (bspw. durch die nachträgliche Korrektur der korrekten Antwortmöglichkeiten), was jedoch im Excel-Sheet sehr schnell durchzuführen ist.

Die Notwendigkeit gesteigerter Sicherheit bei der Durchführung von rechnergestützten Prüfungen wird zurzeit oftmals vernachlässigt. Dies begründet sich hauptsächlich dadurch, dass es bis jetzt noch nicht zu rechtlichen Anfechtungen dieser Prüfungsform in Deutschland gekommen ist. In Anbetracht dessen, dass auch die Staatsprüfungen in Zukunft computerbasiert durchgeführt werden sollen, ist es nur eine Frage der Zeit, bis die Studierenden versuchen werden, rechtliche Mittel anzuwenden. Ist die Prüfungssoftware dann jedoch in Hinblick auf Sicherheit und Justiziabilität nicht adäquat abgesichert, wird der Schaden umso größer ausfallen. Da es bekanntermaßen keine fehlerfreie Software gibt, ist der verfolgte Ansatz der Beweisvideos des vorgestellten Prüfungssystems die nach unserer Meinung zurzeit beste Methode, dieses Problem anzugehen.

Die Verwendung von sicheren Systemen bedeutet einen höheren Aufwand bei der Installation und Wartung. Dieser ist bei einfachen Leistungsnachweisen, wie beispielsweise bei Scheinklausuren, nicht unbedingt zu rechtfertigen. Hier sind gegebenenfalls Prüfungen in der verwendeten Lernumgebung besser durchzuführen.

Aufgrund des bisherigen erfolgreichen Einsatzes der Software soll diese nun auch hochschulübergreifend angeboten werden. Bei der Erstellung der Prüfungsinhalte steht dann auch ein System zur Onlinepflege von Medizin-Prüfungsfragen [11] zur Verfügung, welches in Kooperation zwischen dem KomP Med und den medizinischen Fakultäten der Humboldt-Universität (Charité, Berlin) und der Universität München entwickelt wird.