gms | German Medical Science

Fragestellung/Zielsetzung: Digitale Prüfungsformate werden während der COVID-19 Pandemie verbreitet als Alternative zu Prüfungen in physischer Anwesenheit genutzt. Der vorliegende Beitrag untersucht die Frage, inwieweit unter Anwendung formaler Testgütekriterien digitale Prüfungsformate zur formativen und summativen Erfassung der studentischen Lernleistungen geeignet sind.

Methoden: Gegenstand der Analyse waren die Ergebnisse schriftlicher Leistungskontrollen unter Studierenden der Humanmedizin im 1. bis 7. Fachsemester an der Universitätsmedizin Rostock. In den Fächern Anatomie, Physiologie und im klinischen Querschnittsbereich 4 gemäß ÄApprO wurden inhaltlich äquivalente Leistungskontrollen identifiziert, die sowohl als Präsenzprüfungen als auch im Rahmen digitaler Prüfungsäquivalente unter Nutzung der virtuellen Prüfungssimulation der Plattformen „Stud.IP“ sowie ILIAS durchgeführt worden waren. Für die Prüfungen unter beiden Bedingungen wurden die mittleren Schwierigkeitsgrade sowie die Trennschärfen der verwendeten Items bestimmt und verglichen.

Ergebnisse: Die Ergebnisse von drei summativen Präsenzklausuren und drei Onlineklausuren in den Fächern Physiologie und aus dem QB4 wurden ausgewertet. Die summierten Teilnehmerzahlen lagen bei 661 (Präsenz) und 664 (Online).

Die Gesamtzahl der Items lag bei 190 (Präsenz) bzw. 100 (Online). Wurden die Klausuren mit physischer Anwesenheit geschrieben, lag die mittlere Schwierigkeit der Fragen bei 0,67±0,17, während sie im digitalen Format bei 0,90±0,15 lag (p<0,001). Der Anteil von Fragen mit einem allgemein als günstig erachteten Schwierigkeitsgrad zwischen 0,4 und 0,85 lag bei 76,0% (Präsenz) vs. 16,0% (Online). Die formale Trennschärfe (Korrelationsmaß nach Spearman) für Fragen mit einem Schwierigkeitsgrad zwischen 0,4 und 0,85 lag bei 0,26±0,07 (Präsenz) bzw. 0,15±0,10 (Online). Zwei online durchgeführte formative Prüfungen (447 Teilnehmende, 39 Items) wiesen hingegen Werte für Schwierigkeit und Trennschärfe Bereich der Präsenzformate auf (Schwierigkeit bei 64% der Fragen zwischen 0,4 und 0,85, Trennschärfe: 0,23±0,11).

Diskussion: Unter den betrachteten Bedingungen kommt es bei Online-Klausuren zu einer drastischen Abnahme des Anteils von Fragen mit gutem Schwierigkeitsgrad und selbst bei diesen noch zu einer geringeren Trennschärfe. Digitale Prüfungen in ihrer gegenwärtigen Ausgestaltung können Präsenzprüfungen daher nicht adäquat ersetzen. Angesichts der großen Bedeutung summativer Prüfungen für die Steuerung des Lernverhaltens sollten daher alle Möglichkeiten zur Durchführung von Präsenzprüfungen auch unter Pandemiebedingungen ausgeschöpft werden.

Take Home Message: Die digitale Durchführung summativer Kontrollen des Lernerfolges mittels klassisch strukturierter MC-Klausuren führt im Vergleich zu Präsenzprüfungen zu einer deutlichen Verschlechterung formaler Testgütekriterien.