gms | German Medical Science

Fragestellung: Bei der Evaluation von Lehrveranstaltungen trifft man immer wieder auf zwei Befürchtungen:

1.

Sie seien nicht repräsentativ, wenn der Rücklauf deutlich unter 80% liegen würde.

2.

Sie könnten durch hohe Anforderungen in der Lehrveranstaltung negativ beeinflusst werden.

Eine besondere Variante dieses Vorurteils ist die Vermutung, nach einer schweren Klausur wäre mit einem schlechteren Evaluationsergebnis zu rechnen. Im Vorgriff auf eine Umstellung des Evaluationsverfahrens an der MHH sollte eine mögliche Berechtigung dieser beiden Befürchtungen mit Hilfe von zwei parallel eingesetzten elektronischen Evaluationswerkzeugen überprüft werden.

Methodik: Eingesetzt wurde hierzu in allen Modulen des Studiengangs Medizin eine Online-Evaluation mit dem Programm Evasys. Alle für das Modul eingeteilten Studenten werden zur Teilnahme an der Evaluation per E-Mail aufgefordert und können sich dann per TAN am Evasys-Server anmelden. Die Eingabe erfolgt an einem beliebigen PC. Die Aufforderung wird am Tag vor der Prüfung verschickt, drei Tage nach der Prüfung wird der Zugang gesperrt. Zusätzlich wurde in allen Modulen mit einer elektronischen Prüfung mit dem Programm Q-Exam unmittelbar nach der Prüfung die Möglichkeit zur Evaluation eingerichtet. Die Eingabe über Q-Exam erfolgt an Tablett-PCs per Stift. Die Fragensätze sind bei beiden Vorgehensweisen weitgehend identisch, wenn man davon absieht, dass in Q-Exam aktuell keine Eingabe von Freitextkommentaren vorgesehen ist.

Ergebnisse: Der Rücklauf in den mit Evasys durchgeführten Befragungen schwankte zwischen 10 und 51%, der Rücklauf bei den Q-Exam-Befragungen schwankte zwischen 60 und 97% der Prüfungsteilnehmer. Abgesehen von einzelnen Modulen, bei denen es Unterschiede in der mittleren Bewertung zwischen den beiden Befragungsmethoden gab, lassen sich keine methodenbedingten Mittelwertsunterschiede nachweisen. Die Anzahl der aufgetretenen Unterschiede ist statistisch nicht signifikant. Dagegen schwanken die Bewertungen sehr wohl statistisch bedeutsam zwischen den Modulen und über die Zeit hinweg.

Schlussfolgerungen: Die durchgeführten Online-Evaluationen sind, bezogen auf die unmittelbar nach Prüfungen erhobenen Q-Exam-Evaluationen, nicht verzerrt und deshalb repräsentativ, auch wenn der Rücklauf deutlich geringer ausgefallen ist. Es finden sich lediglich Unterschiede in der Steilheit der Verteilung der Bewertungen. Auf der anderen Seite konnte auch die Befürchtung, schwierige Prüfungen könnten unmittelbar anschließend durchgeführte Evaluationen negativ verzerren, nicht bestätigt werden. Damit zeichnet sich das Q-Exam-Evaluationsmodell als das überlegene bei schriftlichen Prüfungen ab, weil der hohe Rücklauf auch Fragen an Subgruppen erfolgversprechend erscheinen lässt.

Derzeit noch ungeklärt ist, ob Online- und Q-Exam-Evaluationen auch in Modulen mit mündlichen Prüfungen identische Ergebnisse erbringen, wenn die Studierenden für die Q-Exam-Evaluation einen Extratermin im Hörsaal haben.