gms | German Medical Science

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)

15.09. - 17.09.2022, Halle (Saale)

Ein Plädoyer für die Anwendung der Item Response Theory im medizindidaktischen Kontext am Beispiel eines Projektvorhabens zur computerisierten adaptiven Testung

Meeting Abstract

Suche in Medline nach

  • presenting/speaker Jana Schirch - Universitätsklinikum Bonn, Institut für Medizindidaktik, Bonn, Deutschland
  • Michelle Seer - Universitätsklinikum Bonn, Institut für Medizindidaktik, Bonn, Deutschland
  • Tobias Raupach - Universitätsklinikum Bonn, Institut für Medizindidaktik, Bonn, Deutschland

Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) und des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ). Halle (Saale), 15.-17.09.2022. Düsseldorf: German Medical Science GMS Publishing House; 2022. DocV-10-01

doi: 10.3205/22gma059, urn:nbn:de:0183-22gma0595

Veröffentlicht: 14. September 2022

© 2022 Schirch et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Gliederung

Text

Hintergrund: Klausurauswertungen erfolgen typischerweise nach den Methoden der Klassischen Testtheorie (KTT). Itemanalysen im Sinne der KTT konfundieren die Eigenschaften der Items mit den Personeneigenschaften. Itemcharakteristika wie die Schwierigkeit sind folglich stichprobenabhängig und verhindern den adäquaten Vergleich zwischen Personen, die unterschiedliche Teilmengen der Items bearbeitet haben. Die Item Response Theory (IRT) kann dieses Problem lösen und bringt einige weitere Vorteile mit sich [1].

Methoden: Die IRT nimmt einen probabilistischen Zusammenhang zwischen der Fähigkeit einer Person und ihrer Itemlösungswahrscheinlichkeit an. Dieser Zusammenhang wird als item characteristic curve abgebildet (siehe Abbildung 1 [Abb. 1]). Eine IRT-basierte Auswertung ermöglicht eine exakte Charakterisierung des Itempools und kann die Testkonstruktion anleiten. Darüber hinaus bietet die IRT eine spannende Anwendungsmöglichkeit in Form des computerisierten adaptiven Testens (CAT). Beim CAT werden der Testperson nur jene Items sukzessive vorgegeben, die in ihrer Schwierigkeit dem individuellen Fähigkeitsniveau möglichst nahekommen. Indem jede Testperson einen für sie maßgeschneiderten Test erhält, können bei erhöhter Testeffizienz Gefühle der Unter- oder Überforderung reduziert werden. Die Umsetzbarkeit IRT-basierter Auswertungen und adaptiver Testformate ist durch Open-Source-Software wie bspw. das R-Package mirt oder die Testplattform Concerto gegeben.

Projektbeschreibung: Ein aktuelles Projekt des Bonner Instituts für Medizindidaktik untersucht den CAT-Einsatz im Rahmen von formativen, semesterbegleitenden Tests. Durch CAT sollen Medizinstudierende in ihrem Lernverhalten in verschiedenen medizinischen Fächern gefördert werden. Bekanntermaßen kann das wiederholte Testen den Lernerfolg steigern (test-enhanced learning) [2]. CAT ermöglicht zudem eine besonders präzise Rückmeldung selbst in Randbereichen der Fähigkeitsverteilung und nutzt die zone of proximal development [3] durch die individuelle Schwierigkeitsanpassung optimal aus. Hierzu werden zunächst mit kooperierenden Fachbereichen geeignete Itempools zusammengestellt und IRT-basiert charakterisiert. Daraufhin erfolgt die Umsetzung in Form eines computerbasierten Testsystems. In Zusammenarbeit mit Fachvertretungen sind Feedbacks und Kommentare zu den Items zu erstellen. Es folgt eine Erprobungsphase, in deren Verlauf ggf. Anpassungen vorzunehmen sind. Abschließend soll eine empirische Überprüfung der angenommenen Vorteile für den Lernerfolg mithilfe randomisierter Gruppenzuteilungen und Vorher-Nachher-Messungen erfolgen.

Diskussion: Die IRT ist in amerikanischen und internationalen Bildungstests weit verbreitet (z. B. SAT, TOEFL, PISA), findet jedoch im deutschen Hochschulwesen bislang nur wenig Anwendung. Angesichts der Vorteile und vielfältigen Anwendungsmöglichkeiten der IRT gilt es, dieses ungenutzte Potential auszuschöpfen. Das beschriebene Projekt soll einen Beitrag dazu leisten.


Literatur

1.
Rusch T, Lowry PB, Mair P, Treiblmaier H. Breaking free from the limitations of Classical Test Theory: Developing and measuring information systems scales using Item Response Theory. Inform Manag. 2017;54(2):189-203. DOI: 10.1016/j.im.2016.06.005 Externer Link
2.
Larsen DP, Butler AC, Roediger HL. Test-enhanced learning in medical education. Med Educ. 2008;42(10):959-966. DOI: 10.1111/j.1365-2923.2008.03124.x Externer Link
3.
Collares CF, Cecilio-Fernandes D. When I say ... computerized adaptive testing. Med Educ. 2019;53(2):115-116. DOI: 10.1111/medu.13648 Externer Link