gms | German Medical Science

Einleitung: Im Zuge von Haushaltskonsoliderungsmaßnahmen kommt es zunehmend zur Streichung von Haushaltsstellen an den öffentlichen Universitäten. Durch die resultierende Verknappung von Lehrressourcen gewinnt der Einsatz technischer Hilfsmittel eine immer größere Bedeutung. Auch für den Ausbildungsabschnitt zum Querschnittsbereich I (QS I) entsteht die Frage, ob die Leistungsbewertung mittels E-Klausuren realisiert werden kann, um den Korrekturaufwand zu reduzieren.

Der Beitrag stellt einen Vergleich zwischen herkömmlichen Papierklausuren und den Softwareplattformen MOODLE und IMS (Item Management System) im Hinblick auf die Anforderungen im QS I an. Ergänzt wird unsere Bewertung durch eine Studentenbefragung.

Inhalt und Durchführung der E-Klausuren: An der Medizinischen Fakultät Magdeburg (FME) wird das Lernmanagementsystem MOODLE für den Informationsaustausch zwischen den Lehrgebieten und den Studenten genutzt und bis zum Sommersemester 2012 auch für E-Klausuren verwendet. Unter Berücksichtigung rechtlicher Aspekte bezüglich Nachverfolgbarkeit und Archivierung der geschriebenen Arbeiten, hat sich die FME entschieden, auf das Heidelberger System IMS umzustellen. MOODLE wird weiterhin für den interaktiven Austausch von Lehrinhalten und Informationen genutzt, während IMS zur Erstellung, Durchführung und Auswertung der Klausuren dient.

Im Wintersemester 2013/2014 wurde die erste IMS-basierte E-Klausur für den QS I geschrieben. Dabei wurde darauf orientiert, über MC-Fragen hinausgehende Aufgabentypen einzubinden. In Moodle waren das MC-Fragen, Lückentext, mehrere ja-nein-Antworten zu einem Inhalt und die Berechnung von Kenngrößen.

Die E-Klausur wurde simultan in zwei Räumen mit insgesamt 220 Thin-Clients in einem Durchgang für das komplette 4.Studienjahr durchgeführt. In beiden Systemen – Moodle und IMS – können die Aufgaben in zufälliger Reihenfolge präsentiert und auch die Antwortmöglichkeiten der MC-Fragen permutiert werden. Neben unserer persönlichen Einschätzung haben wir mehrere Umfragen unter den Studenten zur Vorliebe der Klausurart geschalten. Zuletzt hatten sich 50% des Jahrgangs daran beteiligt.

Ergebnisse – Systemvergleich: Bei der technischen Aufbereitung der Klausuren bietet Moodle im Vergleich mit IMS wesentlich flexiblere Möglichkeiten. So können Formeln und Sonderzeichen als LaTeX-Code implementiert, Text vielseitig und viele verschieden Grafikformate eingebunden werden. Das IMS zeigt hier in der aktuellen Version deutliche Defizite. Bei genauerer Betrachtung wird deutlich, dass IMS im Wesentlichen auf MC-Fragen ausgerichtet ist. Insbesondere Freitextaufgaben oder Berechnungsaufgaben mit variierenden Werten respektive unterschiedlichen Antwortmöglichkeiten (z.B. Prozent oder Dezimal, Genauigkeit des Ergebnisses) lassen sich nur kompliziert oder gar nicht realisieren. Formelzeichen und Tabellen können nur als Grafiken eingebunden werden. Dabei werden lediglich JPEG-Dateien unterstützt. Für das IMS spricht andererseits, dass es sich um einen Verbund von Nutzern handelt und Fachkollegen über einen öffentlichen Bereich getestete Aufgaben untereinander austauschen und direkt verwenden können.

Der größte Vorteil von E-Klausuren besteht in der schnellen und objektiven, automatisierten Bewertung der Klausuren. Hier zeigt Moodle für uns noch deutliche Vorteile. Wir konnten entscheiden, ob und welche Rückinformation die Studenten sofort nach Abschluss der Klausur erhalten. Es besteht die Möglichkeit einer Nachkorrektur, um auch Teillösungen anzuerkennen und die Punktvergabe kann entsprechend dem Schwierigkeitsgrad zwischen den Aufgaben variiert werden. Bei Abfragen numerischer Größen besteht die Möglichkeit, einen Werte- bzw. Genauigkeitsbereich vorzugeben und die Anerkennung der Ergebnisse hängt bei Dezimalstellen nicht von der Schreibweise (Punkt oder Komma) ab. Kritische Fälle z.B. bei Freitextfragen können unkompliziert von Hand korrigiert werden.

IMS steckt in diesem Belangen noch im Entwicklungsstadium. Im System lassen sich zwar vergleichbare Fragetypen realisieren, aber das Auswertesystem hat den dazu erforderlichen Stand noch nicht erreicht. Berechnungen müssen als Freitextfrage formuliert werden, so dass jede Abweichung bei Rundungen oder von einer vorgegebenen Stellenanzahl unweigerlich zu einer Fehlbewertung führt. Es wird auch nur eine einzige Antwort als richtig akzeptiert. Eine flexible Punktbewertung wird zwar suggeriert, aber vom System nicht realisiert.

Diskussion: Der Umgang mit softwarebasierten Klausurverfahren muss selbstverständlich durch die Lehrenden und die Studenten trainiert werden. Das Einpflegen neuer Aufgaben erfordert im Vergleich zu Papierklausuren einen vergrößerten Initialaufwand, insbesondere durch den höheren Anteil an MC-Fragen, da mehrere sinnvolle bzw. scheinbar sinnvolle Antworten erforderlich sind. Vorteilhaft ist dagegen prinzipiell die zeitnahe und im Idealfall automatisierte Bewertung.

Wir nutzen Moodle weiter, um den Studenten Testklausuren für die Prüfungsvorbereitung zur Verfügung zu stellen. Hier bieten uns die Einstellungen verschiedene Steuermodalitäten. In Vorbereitung der letzten E-Klausur wurde davon rege Gebrauch gemacht. Im Durchschnitt hat jeder Student die Testklausur 2x aufgerufen. Beim ersten Einsatz des IMS-Systems, der sich nicht auf MC-Fragen beschränkt, haben wir einige Schwachstellen und Defizite von IMS aufgedeckt. Das betrifft sowohl technische als auch inhaltliche Aspekte. Wir sehen einen klaren Nachteil darin, dass die Korrektur zentral erfolgt. Dadurch ist jede Rückfrage oder objektive Korrektur sehr umständlich. Die numerischen Ausgaben waren für eine elektronische Auswertung nicht aufbereitet. Um dann noch die Punktbewertung anzupassen, haben wir letzten Endes ein eigenes SAS-Programm für die Auswertung erstellt. Welches andere medizinische Fach könnte das aber realisieren? Auch der ursprüngliche Entscheidungsgrund von Moodle auf IMs umzusteigen, die vermeintliche „Rechtssicherheit“ kann das System bisher nicht leisten. Es ist nicht klar, ob angegebene Ergebnisse ohne zusätzliche Betätigung des „Abgabe“-Buttons bei Ablauf der Prüfungszeit richtig gewertet werden.

Während wir für Moodle einen sinnvollen Einsatz gefunden haben, können wir das IMS-System in der aktuellen Version noch nicht für die elektronischen Klausuren in unserem Lehrabschnitt empfehlen. Unter den Studenten halten sich die Befürworter und Gegner einer E-Klausur in unserem Fach in etwa die Waage. Die Studenten verbanden mit einer E-Klausur die Hoffnung, bei MC-Fragen in einigen Fällen mit Gefühl und Ausschlussverfahren zur richtigen Antwort zu gelangen. Andererseits mussten Sie die Nachteile bei aktiv abgefragten Ergebnissen erkennen – Rechenfehler führen zum Totalverlust der Punkte und es gibt keine Teillösungen mehr. Die rechtlich angestrebte, starre Standardisierung des Bewertungsverfahrens führt somit auch zu Nachteilen für die Studenten, die sonst z.B. von der Berücksichtigung von Folgefehlern profitierten.

Die Notenverteilung der E-Klausuren stimmt in unserem Fach gut mit denen früherer Papierklausuren überein. Da wir nicht nur auf MC-Fragen setzen und durch Änderungen in Zahlen bzw. Fragetexten pures Auswendiglernen der Aufgaben erschweren, kamm es nicht zur Inflation guter Ergebnisse wie in anderen Fächern. Wir beurteilen die elektronische Leistungsüberprüfung in unsrem Fach nach wie vor sehr kritisch. Ein ungelöstes Problem ist u.a. die Kommunikation der Studenten untereinander. Die Computer stehen bei uns so eng, dass ein Abschreiben vom Nachbar kaum auszuschließen ist. Wir werden uns dem objektiven Druck der Rationalisierung nicht entziehen können, sehen im Gegenzug aber das Risiko der inhaltlichen Beschränkung.