gms | German Medical Science

Fragestellung: Seit 2006 werden MC-Prüfungen an der Medizinischen Hochschule Hannover (MHH) regelhaft elektronisch durchgeführt. Zur Anwendung kommt das mobile Prüfungssystem Q[kju:] der Firma Codiplan [1]. Mit mehr als 55.000 geschriebenen Klausuren hat sich das Verfahren etabliert. Durch die Neustrukturierung der Prüfungsorganisation konnte ein Regelkreis etabliert werden, in dem formale Prozesse einer Kontrolle über die Plattform Q[kju:]-Online unterzogen werden [2]. Nach der Prüfung steht den Lehrverantwortlichen eine umfangreiche Auswertung zur Verfügung. Diese automatisierte Auswertung stellt einen Mehrwert elektronischer Klausuren gegenüber manueller Auswertung dar. Doch stellt sich die Frage nach der sinnhaften Vermittlung und Nutzung solcher Analysen, um defizitäre Klausuren zu identifizieren und Anhaltspunkte zur Verbesserung zu liefern. Der Beitrag soll aufzeigen, in welchen Fällen der Prüfungsauswertung eine automatische Rückmeldung an die Lehrverantwortlichen sinnvoll erscheint, wie diese aufbereitet und welche Konsequenzen gezogen werden können.

Methodik: Zunächst wird die Definition einer "guten" Prüfung diskutiert. Zur Anwendung kommt dafür die Analyse von Kriterien wie die Noten- bzw. Punktzahlverteilung im Gesamtergebnis der Prüfung, die Analyse der Aufgabenschwierigkeit, der Trennschärfen sowie der Reliabilität [3]. Analysiert werden beispielhaft zwei Prüfungsauswertungen, von denen eine den genannten Kriterien positiv entspricht, die zweite dagegen Auswertungsergebnisse enthält, die eine genauere Betrachtung nahelegen, bzw. notwendig machen. Per Itemanalyse sollen in beiden Prüfungen kritische Fragestellungen identifiziert werden.

Ergebnisse: Beispielhaft werden zwei Ergebnisrichtungen von Prüfungsauswertungen präsentiert, die für das Feedback an die Lehrverantwortlichen relevant sind. So kann eine Klausur mit guten Analysen ein Potential zur Verbesserung einzelner Fragen und Antworten bergen. Im Falle von insgesamt kritischen Klausuren ist dagegen der unbedingte Handlungsbedarf aufzuzeigen, um rechtlichen Schritten (Ergebnisanfechtungen) seitens Studierender begegnen zu können.

Schlussfolgerungen: Um eine größtmögliche Akzeptanz der automatisierten Auswertung elektronischer Klausuren bei den Lehrenden zu erzielen, ist bei der Vermittlung der Ergebnisse auf eine verständliche Darstellung zu achten (Statistikbroschüre). Die Qualitätsprüfung nach einer Klausur wird im ersten Schritt durch ein festgelegtes Schema in der Fragendatenbank durchgeführt. Werden dabei Auffälligkeiten festgestellt, so soll die Frage den Lehrverantwortlichen und einem Review-Komitee über die Systemplattform automatisch zur manuellen Prüfung zur Verfügung gestellt werden.