gms | German Medical Science

Hintergrund: Klausurauswertungen erfolgen typischerweise nach den Methoden der Klassischen Testtheorie (KTT). Itemanalysen im Sinne der KTT konfundieren die Eigenschaften der Items mit den Personeneigenschaften. Itemcharakteristika wie die Schwierigkeit sind folglich stichprobenabhängig und verhindern den adäquaten Vergleich zwischen Personen, die unterschiedliche Teilmengen der Items bearbeitet haben. Die Item Response Theory (IRT) kann dieses Problem lösen und bringt einige weitere Vorteile mit sich [1].

Methoden: Die IRT nimmt einen probabilistischen Zusammenhang zwischen der Fähigkeit einer Person und ihrer Itemlösungswahrscheinlichkeit an. Dieser Zusammenhang wird als item characteristic curve abgebildet (siehe Abbildung 1 [Abb. 1]). Eine IRT-basierte Auswertung ermöglicht eine exakte Charakterisierung des Itempools und kann die Testkonstruktion anleiten. Darüber hinaus bietet die IRT eine spannende Anwendungsmöglichkeit in Form des computerisierten adaptiven Testens (CAT). Beim CAT werden der Testperson nur jene Items sukzessive vorgegeben, die in ihrer Schwierigkeit dem individuellen Fähigkeitsniveau möglichst nahekommen. Indem jede Testperson einen für sie maßgeschneiderten Test erhält, können bei erhöhter Testeffizienz Gefühle der Unter- oder Überforderung reduziert werden. Die Umsetzbarkeit IRT-basierter Auswertungen und adaptiver Testformate ist durch Open-Source-Software wie bspw. das R-Package mirt oder die Testplattform Concerto gegeben.

Projektbeschreibung: Ein aktuelles Projekt des Bonner Instituts für Medizindidaktik untersucht den CAT-Einsatz im Rahmen von formativen, semesterbegleitenden Tests. Durch CAT sollen Medizinstudierende in ihrem Lernverhalten in verschiedenen medizinischen Fächern gefördert werden. Bekanntermaßen kann das wiederholte Testen den Lernerfolg steigern (test-enhanced learning) [2]. CAT ermöglicht zudem eine besonders präzise Rückmeldung selbst in Randbereichen der Fähigkeitsverteilung und nutzt die zone of proximal development [3] durch die individuelle Schwierigkeitsanpassung optimal aus. Hierzu werden zunächst mit kooperierenden Fachbereichen geeignete Itempools zusammengestellt und IRT-basiert charakterisiert. Daraufhin erfolgt die Umsetzung in Form eines computerbasierten Testsystems. In Zusammenarbeit mit Fachvertretungen sind Feedbacks und Kommentare zu den Items zu erstellen. Es folgt eine Erprobungsphase, in deren Verlauf ggf. Anpassungen vorzunehmen sind. Abschließend soll eine empirische Überprüfung der angenommenen Vorteile für den Lernerfolg mithilfe randomisierter Gruppenzuteilungen und Vorher-Nachher-Messungen erfolgen.

Diskussion: Die IRT ist in amerikanischen und internationalen Bildungstests weit verbreitet (z. B. SAT, TOEFL, PISA), findet jedoch im deutschen Hochschulwesen bislang nur wenig Anwendung. Angesichts der Vorteile und vielfältigen Anwendungsmöglichkeiten der IRT gilt es, dieses ungenutzte Potential auszuschöpfen. Das beschriebene Projekt soll einen Beitrag dazu leisten.