gms | German Medical Science

Fragestellung/Zielsetzung: Mit CaseTrain werden die Prüfungen in der Humanmedizin an der Julius-Maximilians-Universität Würzburg mittels iPads durchgeführt [1]. Zur Datensicherheit werden alle Aktionen der Prüflinge protokolliert. Eine zeitliche Analyse dieser Daten kann Einblicke in das Antwortverhalten der Prüflinge im Hinblick auf unterschiedliche Fragentypen bzw. bezüglich der individuellen Prüfungsleistung geben.

Methoden: Im Fach Innere Medizin wurden im Wintersemester 2021/22 185 Prüflinge im 7. Fachsemester in 115 min mit 60 Fragen geprüft (davon 5xEMQ [engl.: extended matching question], 7xKprim, 8xPickS, 40xTypA). Protokolliert wurden die Zeitpunkte von Markierungen zu Fragen oder einzelnen Antworten, Eingaben/Änderungen von Antworten sowie die Navigation zwischen Fragen. Diese Daten wurden mit der Statistiksoftware R (Version 4.1.1) ausgewertet. Signifikanztests wurden mittels ANOVA mit einem Signifikanzniveau von 5 % durchgeführt.

Die Einteilung der Prüflinge in verschiedene Leistungsgruppen erfolgte laut [2] entsprechend der erzielten Gesamtpunktzahl (je Aufgabe max. 1 Punkt bei richtiger Beantwortung, bei mehr als 50% noch 0,5, sonst 0 Punkte): oberes 27er-Perzentil: gut, unteres 27er-Perzentil: schlecht; sonst: mittlere Leistung.

Ergebnisse: Im Mittel wurden 45 Punkte erzielt. Als Grenzwert für die Einteilung in gute Ergebnisse ergab sich eine Punktzahl von 48 (n=57), für schlechte 42,5 (n=53), und n=75 mittlere Ergebnisse.

Es wurden 52.226 Ereignisse bzgl. Antworten bzw. deren Änderungen/Markierungen verzeichnet und 37.340 Navigations-Ereignisse. Im Schnitt bearbeiteten ¾ der Prüflinge die Fragen nur ein einziges Mal. Von den anderen Prüflingen wurde bis zu sechsmal die Eingabe bzw. Markierungen geändert, wobei der Fragentyp und die Leistungsfähigkeit der Studierenden eine signifikante Rolle spielten (siehe Abbildung 1 [Abb. 1]). Gute Prüflinge schließen mit geringerer Wahrscheinlichkeit nach dem ersten Besuch die Frage ab. Zudem sind bei TypA-Fragen durchschnittlich weniger wiederholte Besuche der Frage zu verzeichnen, als bei den anderen Fragentypen.

Signifikante Unterschiede fanden sich zwischen den Leistungsgruppen auch hinsichtlich der Anzahl von Markierungen, die zu einzelnen Fragen bzw. Antwortoptionen gemacht wurden: am häufigsten nutzten Prüflinge mit mittlerer Gesamtleistung diese Funktion (7720 Ereignisse), gefolgt von denjenigen mit hoher Leistung (6618 Ereignisse). Die Prüflinge mit schlechter Gesamtleistung nutzten dies am wenigsten (4562 Ereignisse).

Diskussion: Der Prüfungsverlauf lässt sich bei elektronischen Prüfungen bis ins Detail verfolgen und erfordert tiefergehende Analysen. Der geringere Wechsel zwischen Fragen bei Prüflingen mit schlechtem Ergebnis könnte auf die zusätzlich benötigte Zeit zum Verstehen und Durchdenken zurückzuführen sein.

Take Home Messages:

• ¾ der Prüflinge schließen Fragen bereits mit der ersten Bearbeitung ab.
• Schlecht abschließende Prüflinge denken länger nach, was sich in weniger Markierungen und selteneren Besuchen von Fragen widerspiegelt.