gms | German Medical Science

Fragestellung/Zielsetzung: Im SoSe 2018 hat die Medizinische Fakultät der CAU Kiel begonnen, die papierbasierten Multiple Choice Prüfungen im zweiten Studienabschnitt schrittweise durch Tablet-basierte zu ersetzen (tEXAM, Umbrella Consortium for Assessment Networks, www.ucan-assess.org). Seit SoSe 2019 werden alle 42 Klausuren Tablet-basiert durchgeführt (Ausnahmen: WiSe 20/21 und 21/22 Online-Home-Klausuren mit einer leicht abgewandelten Software). Die Umstellung wurde in vier aufeinanderfolgenden Semestern von Evaluationen durch die Prüflinge begleitet mit dem Ziel, Verbesserungspotential aus studentischer Sicht zu erkennen.

Methoden: Die Evaluationen wurden online mit der Software EvaSys durchgeführt. Die Bewertung erfolgte mit einer 5-stufigen Likert-Skala (1=stimme zu, 5=stimme nicht zu). In Freitexten gaben die Prüflinge aus ihrer Sicht vorteilhafte Aspekte und Verbesserungsvorschläge für die Tablet-basierte Durchführung an. Die Auswertung der Freitexte erfolgte mittels qualitativer Inhaltsanalyse (modifiziert nach [1]).

Ergebnisse/Diskussion: Die Rücklaufquoten betrugen im SoSe 18 54% (n=94), im WiSe 18/19 56% (n=182), im SoSe 19 27% (n=196) und im WiSe 19/20 35% (n=250). Seit Beginn der Umstellung bewerten die Prüflinge die Einführungsveranstaltung und das Infomaterial auf der Lernplattform als geeignet, um sich mit den Tablet-Klausuren vertraut zu machen (Mittelwerte der Likert-Skala (mw) 1,4/1,6/1,7/1,1). Probleme mit der Handhabung der Tablets treten selten auf (mw 1,8/2,0/1,9/1,4). Noch nicht beantwortete Fragen werden von fast allen immer erkannt (mw 1,2/1,6/1,5/1,4). In den Freitexten wird als positiv hervorgehoben: Anzeige des vorläufigen Ergebnisses (neue Funktion seit SoSe 19), Markierungsmöglichkeit für Fragen, leichte selbsterklärende Bedienbarkeit, Übersichtlichkeit der Fragen, Überprüfbarkeit bearbeiteter Fragen, Papiereinsparung sowie Wegfall der Übertragung auf einen Antwortbogen. Am häufigsten genannte Verbesserungsvorschläge sind ein größeres überarbeitetes Notizfeld, mehr Markierungsmöglichkeiten, eine aufhebbare Sperrfunktion für die gewählte Antwortoption, mehr Funktionen im Taschenrechner sowie seit SoSe 19 nach der Klausur eine Anzeige, welche Fragen falsch bzw. richtig beantwortet wurden. Der noch im SoSe 18 geäußerte Wunsch nach mehr Routine beim Ablauf verringerte sich schon im WiSe 18/19 und trat ab SoSe 19 nicht mehr auf.

Take Home Messages: Schon im ersten Einsatz hat sich die Prüfungssoftware auch aus Sicht der Prüflinge bewährt. Durch die Digitalisierung der Prüfungsdurchführung konnten im Vergleich zur Papier-basierten Durchführung neue Funktionen realisiert werden, die von den Prüflingen als positiv bewertet wurden. Die Evaluationen zeigen in diesem Bereich weitere Entwicklungsmöglichkeiten auf, von denen einige bereits umgesetzt wurden, andere sich aktuell in der Entwicklung befinden. Sobald diese Funktionen vorliegen, soll eine weitere Evaluation ggfs. neues Entwicklungspotential aufzeigen.