gms | German Medical Science

Einleitung: In der Literatur befinden sich für die Beantwortung von Multiple-Choice-Fragen Richtwerte von 60-90 Sekunden Bearbeitungszeit pro Frage (Nitko & Brookhart, 2010). Die Richtwerte beziehen sich auf Papier-basierte bestehensrelevante Prüfungen. Im Zuge der Digitalisierung werden zunehmend Prüfungen am Computer durchgeführt. Es stellt sich die Frage, ob die o.g. Richtwerte auch für computer-basierte Prüfungen gelten. Da die Untersuchung am formativen Progress Test Medizin durchgeführt wird, soll auch geklärt werden, ob die Bearbeitungszeit zwischen bestehensrelevanten und nicht-bestehensrelevanten Prüfungen überhaupt vergleichbar ist.

Methodik: Studierende von neun Medizinischen Fakultäten in Deutschland und Österreich nahmen im Zeitraum SoSe 2010 bis WiSe 2018/19 entweder bei der Papier-basierten oder Computer-basierten Version des Progress Tests Medizin teil. Als abhängige Variable wurde die Testbearbeitungsdauer definiert. Um verzerrende Ergebnisse zu vermeiden, wurden nicht-seriöse Testeilnehmer aus der Analyse eliminiert. Die statistische Analyse der gewonnenen Daten erfolgte mittels ANOVA inkl. Bestimmung der Effektgröße η².

Ergebnisse: 31.467 Papier-basierte und 31.293 Computer-basierte Testteilnahmen gingen nach Elimination nicht-seriöser Testteilnahmen bzw. fehlender Zeitangaben in die Analyse ein. In der Papier-basierten Version benötigten die Teilnehmer durchschnittlich 0,58‘ pro Frage (SD=0,20‘, Min=0,08‘, Max=1,66‘), in der Computer-basierten Variante durchschnittlich 0,41‘ pro Frage (SD=0,22‘, Min=0,06‘, Max=4,46‘). Im Mittel bearbeiteten die Teilnehmer des Papier-basierten Progress Test Medizin 104,69‘ (SD=36,66‘) und die Teilnehmer der Computer-basierten Variante 73,26‘ (SD=39,92‘) die 200 Fragen. Der Unterschied ist mit F(1)=10.559,39; p<0,01; η²=0,14 groß.

Diskussion: Es zeigt sich, dass Studierende für die Bearbeitung des Progress Tests Medizin am Computer deutlich weniger Zeit pro Frage benötigen. Allerdings ist fraglich, ob sich diese Ergebnisse so auf bestehensrelevante Prüfungen übertragen lassen. Wahrscheinlich wird beim Progress Test Medizin eine Positivselektion der Fragen getroffen, die individuell beantwortet werden, wodurch Fragen vom Progress Test im Mittel schneller beantwortet werden als Fragen bestehensrelevanter Prüfungen mit vergleichbarer Textlänge. Zukünftige Studien sollten die Bearbeitungszeit von Papier- vs. Computer-basierten Fragen bestehensrelevanter Prüfungen genauer untersuchen.