gms | German Medical Science

Im Rahmen der Approbationsordnung sind benotete Leistungsnachweise in den Fächern zu erbringen. Die Betriebseinheit Informationstechnologie (BE IT) wurde im Kontext der etablierten Belegerkennungsverfahren der Lehrevaluation beauftragt, zu prüfen, ob eine IT-gestützte Auswertung von Multiple-Choice Klausuren zur Unterstützung der Abteilungen bereitgestellt werden kann und ein wirtschaftlicher Betrieb möglich ist.

Im Auswahlprozess wurden kommerzielle Systeme, der Ausbau der eigenentwickelten Software zur Lehrevaluation und die Inanspruchnahme externer Dienstleistung betrachtet. Im ersten Schritt wurde der Prozess von der Auswertung eines Antwortbogens bis zu tabellarischen Ergebnislisten und Ergebnismitteilungen für die Studierenden betrachtet. Im zweiten Schritt auch die Schnittstellenaspekte und Archivierung. Aus den Abteilungen war ein ermittelter durchschnittlicher Arbeitsaufwand von 6,5 Minuten pro Klausur für die manuelle Auswertung bekannt. Die Auswertung wurde vorwiegend von Assistenzärzten durchgeführt. Die Ergebnisse lagen in der Regel ein bis zwei Wochen nach Klausur vor. Ziele der IT-Unterstützung waren: Prozessoptimierung mit Verkürzung der Bearbeitungsdauer und Entlastung der Abteilungen, Aufbau eines wirtschaftlichen Auswerteverfahrens, Aufbau einer Schnittstelle zu einem zentralen, im Aufbau befindlichen Lehrmanagementsystem und Möglichkeit der elektronischen Klausurarchivierung.

Die Eigenentwicklung wurde nicht in Betracht gezogen, da das vorhandene System auf Markierungsbelegen mit einem optischem Belegleser basiert, der künftig durch ein Scanverfahren im Bereich der Evaluation abgelöst werden sollte. Für die Inanspruchnahme externer Dienstleistung lagen die Angebote bei 1,5-2,5 Euro pro auszuwertender Klausur. Im Auswahlverfahren fiel die Entscheidung für das System Evaexam des Anbieters Electricpaper, das auf Verity Teleform basiert. Das Customizing beinhaltete auch die Abbildung der Göttinger Lehrstruktur mit Punkte- und Fächermatrix in einer angebundenen Datenbank. Für die Abteilungen wurden Antwortbögen mit 60, 80 und 100 Antwortmöglichkeiten und eine Tabelle zur elektronischen Übermittlung der Lösungen erstellt. Die Auswertung beinhalt Tabellen zum Aushang, Vorlagen zur automatischen Scheinerstellung und für jeden Studierenden einen individuellen Klausurergebnisbogen. Ergänzend werden fächerbezogene Punkteverteilungen und eine einfache Itemanalyse erstellt.

Der Pilotbetrieb startete im Sommersemester 2004. Es wurden 19 Klausuren mit insgesamt 2230 Ergebnisbögen ausgewertet. Im Wintersemester 2004/2005 nutzten bereits über 70 % der klinischen Lehrveranstaltungen in der modularen Lehre das Angebot der BE IT. Es wurden 46 Klausuren mit 8420 Bögen und insgesamt 11,7 Millionen Einzelantworten ausgewertet.

Am Ende des jeweiligen Semesters erfolgte die Prüfung der Projektziele. In der Wirtschaftlichkeitsbetrachtung wurde der in den Abteilungen erfragte Aufwand von 6,5 Minuten Auswertebedarf pro Klausur zugrunde gelegt. Hochgerechnet auf die ausgewerteten Klausuren bei einem mittleren BAT IIa Stundensatz von 30 € ergeben sich pro Semester Personalkosten von 27600€ für 920 Arbeitsstunden. Für das IT-System erfolgte eine Investition von 22300€ (Hardware, Software, Customizing). Die Betriebskosten pro Semester liegen bei 6980€. Diese Kosten beinhalten einen Arbeitsaufwand von 2 Stunden pro Klausur in der BE IT und weitere 2 Stunden in der Abteilung sowie Kosten für Wartungsverträge und Hardwareinstandhaltung. Die Kosten pro ausgewerteter Klausur liegen bei der manuellen Auswertung konstant bei 3,27 €. Beim IT-gestützten Verfahren im ersten Jahr bei 2,15 €, im zweiten Jahr bei 1,49 € und im dritten Jahr bei 1,27 Euro. Die Ergebnisse liegen den Abteilungen nach zwei Werktagen im Mittel vor. Eine weitere Prozessverbesserung ergibt sich durch die automatische Weiterverarbeitung der Ergebnisse, die in einheitlichem Format in das Lehrmanagementsystem übertragen werden. Weiterhin ist an das System ein Dokumentenmanagementsystem angebunden, in dem die Klausuren und Ergebnisbögen automatisch archiviert werden.

Die Einführung eines Systems zur Klausurauswertung wird von den Beteiligten als erfolgreich betrachtet. Neben der erheblichen Einsparung von Arbeitszeit in den Abteilungen erfolgt die Klausurauswertung wesentlich kostengünstiger. Bei der Berechnung wurden Kosten für Papier sowie Vor- und Nachbereitung nicht gerechnet, da sie bei beiden Auswerteverfahren anfallen. Durch die Anbindung des Systems an das Lehrmanagementsystem und die zentrale Datenhaltung incl. Dokumentenverwaltung kommt es zu einer weiteren Qualitätsverbesserung. Eine weitere Kostensenkung der Klausurauswertung ist durch die Steigerung der ausgewerteten Klausuren pro Semester bereits absehbar. Die Unterstützung weiterer Prüfungsformen ist bereits für OSCE-Prüfungen realisiert und in Betrieb sowie für Prüfungen mit Freitextaufgaben in Vorbereitung. Aktuell werden Klausurerstellung, Onlineprüfungen und die Ergebnisbereitstellung über ein Onlineportal als nächste Projektschritte analysiert.