gms | German Medical Science

Fragestellung/Zielsetzung: Geschlossene Fragen, bei denen den Studierenden lediglich vorab festgelegte Antwortmöglichkeiten zur Verfügung stehen (oft als „Multiple Choice“/MC bezeichnet), sind in der Medizin das verbreitetste Aufgabenformat. Grund hierfür ist deren ökonomische und objektive Durchführungsmöglichkeit.

Qualitativ hochwertigere MC-Aufgaben, in denen Entscheidungswissen oder Schlussfolgerungen geprüft werden (z. B. Key-Feature-Aufgaben), erfordern jedoch i. A. längere Aufgabentexte, weshalb sich die Frage stellt, ob die oft verwendete Regel von 60 Sekunden je Aufgabe zur Bearbeitung ausreichend ist. Praktische Erfahrungen bei Prüfungen legen dies zwar i. A. nah, empirische Untersuchungen hierzu sind jedoch selten und in ihrer Aussagekraft auch fachspezifisch.

In der Studie wurden die Bearbeitungszeiten von Aufgaben in Abhängigkeit von ihrer Schwierigkeit, der Länge des Aufgabentextes, dem Vorhandensein von Bildmaterial und dem Aufgabentyp (Typ A, Mehrfach-Richtig-Falsch, PickN und Long Menu) am Beispiel der computerbasierten Präsenzprüfungen der Medizinischen Fakultät Heidelberg untersucht.

Methoden: Datengrundlage waren neun computerbasierte Präsenzprüfungen in den Fächern Pädiatrie, Mikrobiologie, Infektiologie und Notfallmedizin der Jahre 202–2021 der Med. Fakultät Heidelberg. Die Bearbeitungszeiten wurden aus den Log-Dateien der Prüfungen extrahiert. Insgesamt fußt die Auswertung auf 46261 Datensätzen von 759 Studierenden und 513 Fragen.

Es wurde eine Mixed-Model-ANOVA mit der abhängigen Variable Bearbeitungszeit (log-transformiert), den festen Faktoren mit/ohne Bildmaterial, Aufgabentyp, polynomiale Trends von Schwierigkeit und Textlänge sowie den Randomfaktoren Studierender und Frage durchgeführt.

Ergebnisse: Textlänge, Aufgabentyp sowie linearer und quadratischer Trend der Schwierigkeit P waren signifikant (alle p<0.01), keinen signifikanten Effekt zeigte der Faktor mit/ohne Bild. Eine post-hoc-Analyse für den Aufgabentyp zeigte, dass Typ A-Fragen zwar eine etwas geringere Bearbeitungszeit erfordern, bei Long Menu-Aufgaben, die aktives Wissen abfragen, war jedoch keine höhere Bearbeitungsdauer nachweisbar. Abbildung 1 [Abb. 1] zeigt die aus dem Modell vorhergesagten Bearbeitungszeiten für unterschiedliche Schwierigkeiten in Abhängigkeit von der Textlänge für Fragen des Typs A.

Diskussion: Einfache Aufgaben (P>0.8) werden im Mittel in weniger als 60 Sek. bearbeitet, gleiches gilt auch für schwierige Aufgaben mit weniger als 300 Zeichen. Mehr Zeit wird nur für schwere Aufgaben benötigt (P<0.6), die mehr als 400 Zeichen umfassen. Prüfungen bestehen üblicherweise aus einer Mischung leichterer und schwererer Aufgaben, weshalb 60 Sek. je Aufgabe als Zeitvorgabe als mehr als ausreichend betrachtet werden.

Limitation der Studie ist die Beschränkung auf eine Fakultät, u. E. sind die Prüfungsmodalitäten im Fach Medizin jedoch über Fächer und Institutionen hinweg ähnlich.

Take Home Message: Auch für Prüfungen mit längeren Aufgabentexten ist eine mittlere Bearbeitungszeit von 60 Sek. je Aufgabe als ausreichend zu betrachten.