gms | German Medical Science

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)

02.10. - 05.10.2008, Greifswald

Vergleich eines Onlineevaluationssystems und eines ortsgebundenen Systems hinsichtlich möglicher Ergebnisverzerrungen.

Poster

  • corresponding author Volkhard Fischer - Medizinische Hochschule Hannover, Referat Studium und Lehre, Hannover, Deutschland
  • Volker Paulmann - Medizinische Hochschule Hannover, Referat Studium und Lehre, Hannover, Deutschland
  • Nina Seibicke - Medizinische Hochschule Hannover, Referat Studium und Lehre, Hannover, Deutschland
  • Hermann Haller - Medizinische Hochschule Hannover, Studiendekan, Hannover, Deutschland

Jahrestagung der Gesellschaft für Medizinische Ausbildung - GMA. Greifswald, 02.-05.10.2008. Düsseldorf: German Medical Science GMS Publishing House; 2008. Doc08gma81

Die elektronische Version dieses Artikels ist vollständig und ist verfügbar unter: http://www.egms.de/de/meetings/gma2008/08gma081.shtml

Eingereicht: 15. Juni 2008
Überarbeitet: 6. August 2008
Angenommen: 6. August 2008
Veröffentlicht: 19. August 2008

© 2008 Fischer et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielfältigt, verbreitet und öffentlich zugänglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Gliederung

Text

Fragestellung: Bei der Evaluation von Lehrveranstaltungen trifft man immer wieder auf zwei Befürchtungen:

1.
Sie seien nicht repräsentativ, wenn der Rücklauf deutlich unter 80% liegen würde.
2.
Sie könnten durch hohe Anforderungen in der Lehrveranstaltung negativ beeinflusst werden.

Eine besondere Variante dieses Vorurteils ist die Vermutung, nach einer schweren Klausur wäre mit einem schlechteren Evaluationsergebnis zu rechnen. Im Vorgriff auf eine Umstellung des Evaluationsverfahrens an der MHH sollte eine mögliche Berechtigung dieser beiden Befürchtungen mit Hilfe von zwei parallel eingesetzten elektronischen Evaluationswerkzeugen überprüft werden.

Methodik: Eingesetzt wurde hierzu in allen Modulen des Studiengangs Medizin eine Online-Evaluation mit dem Programm Evasys. Alle für das Modul eingeteilten Studenten werden zur Teilnahme an der Evaluation per E-Mail aufgefordert und können sich dann per TAN am Evasys-Server anmelden. Die Eingabe erfolgt an einem beliebigen PC. Die Aufforderung wird am Tag vor der Prüfung verschickt, drei Tage nach der Prüfung wird der Zugang gesperrt. Zusätzlich wurde in allen Modulen mit einer elektronischen Prüfung mit dem Programm Q-Exam unmittelbar nach der Prüfung die Möglichkeit zur Evaluation eingerichtet. Die Eingabe über Q-Exam erfolgt an Tablett-PCs per Stift. Die Fragensätze sind bei beiden Vorgehensweisen weitgehend identisch, wenn man davon absieht, dass in Q-Exam aktuell keine Eingabe von Freitextkommentaren vorgesehen ist.

Ergebnisse: Der Rücklauf in den mit Evasys durchgeführten Befragungen schwankte zwischen 10 und 51%, der Rücklauf bei den Q-Exam-Befragungen schwankte zwischen 60 und 97% der Prüfungsteilnehmer. Abgesehen von einzelnen Modulen, bei denen es Unterschiede in der mittleren Bewertung zwischen den beiden Befragungsmethoden gab, lassen sich keine methodenbedingten Mittelwertsunterschiede nachweisen. Die Anzahl der aufgetretenen Unterschiede ist statistisch nicht signifikant. Dagegen schwanken die Bewertungen sehr wohl statistisch bedeutsam zwischen den Modulen und über die Zeit hinweg.

Schlussfolgerungen: Die durchgeführten Online-Evaluationen sind, bezogen auf die unmittelbar nach Prüfungen erhobenen Q-Exam-Evaluationen, nicht verzerrt und deshalb repräsentativ, auch wenn der Rücklauf deutlich geringer ausgefallen ist. Es finden sich lediglich Unterschiede in der Steilheit der Verteilung der Bewertungen. Auf der anderen Seite konnte auch die Befürchtung, schwierige Prüfungen könnten unmittelbar anschließend durchgeführte Evaluationen negativ verzerren, nicht bestätigt werden. Damit zeichnet sich das Q-Exam-Evaluationsmodell als das überlegene bei schriftlichen Prüfungen ab, weil der hohe Rücklauf auch Fragen an Subgruppen erfolgversprechend erscheinen lässt.

Derzeit noch ungeklärt ist, ob Online- und Q-Exam-Evaluationen auch in Modulen mit mündlichen Prüfungen identische Ergebnisse erbringen, wenn die Studierenden für die Q-Exam-Evaluation einen Extratermin im Hörsaal haben.