gms | German Medical Science

Fragestellung/Einleitung: Ein Ziel von Progresstests ist, den Wissenszuwachs im Lauf des Studiums zu erfassen und den teilnehmenden Studierenden zurückzumelden. Voraussetzung dafür ist, dass die in den aufeinanderfolgenden Prüfungen erzielten Leistungen auch miteinander vergleichbar sind. Z. B. würde eine leichte Prüfung in diesem Jahr nach einer schweren im Jahr zuvor einen Wissenszuwachs suggerieren, der tatsächlich in diesem Ausmaß gar nicht vorhanden ist.

Auch eine noch so gute Zusammenstellung von Prüfungen kann eine gleiche Schwierigkeit unterschiedlicher Prüfungen nicht garantieren, weshalb statistische Methoden zur Transformation der Rohpunktwerte in vergleichbare Skalen eingesetzt werden müssen („Test Equating“).

Im Jahr 2013 wurde zum ersten Mal ein kompetenzbasierter Progresstest durchgeführt, dessen 144 Fragen anhand eines auf ärztlichen Kompetenzbereichen basierenden Blueprints von Studierenden entwickelt wurden (469 Teilnehmer des 1. – 6. Studienjahrs) [1]. Der Progresstest im Jahr 2014 enthielt 120 Fragen, davon waren 15 ausgewählte Fragen wiederholt (381 Teilnehmer).

Ziel der Studie war die Generierung äquivalenter transformierter Skalen für die beiden Versionen des Progresstests. Auf Grund der unterschiedlichen Verteilung der Studiendauern der Teilnehmer und den anzunehmenden differierenden Selektionsformen für die Teilnehmer an den Fakultäten ist das zugrundeliegende Auswertungsmodell ein sog. „Nonequivalent Groups with Anchor Test Design“, bei dem die wiederholten Aufgaben als Ankertest fungieren und zusätzliche Kovariable (Studienjahr, Fakultät) einbezogen werden [2].

Methoden: Zur Generierung gleichwertiger Skalen werden Verfahren eingesetzt, die auf Modellen für die korrekte Beantwortung von Fragen fußen (Item-Response-Modelle) sowie Methoden, die eine Äquivalenz auf der Ebene der insgesamt erzielten Rohpunktwerte herstellen („Observed Score Equating“) [3].

Ergebnisse: Bei den wiederholten 15 Aufgaben konnte innerhalb der Studienjahre mit Ausnahme des schwach besetzten letzten Studienjahrs kein Unterschied bzgl. der korrekten Beantwortung festgestellt werden, so dass diese als Ankertest verwendet werden können. Analysen der logistischen Item-Response-Modelle zeigten teilweise erhebliche Modellabweichungen. Lineare Verfahren des „Observed Score Equating“ ergaben, dass die Aufgaben des Progresstests 2014 im Mittel leichter waren als 2013, wobei der Unterschied etwa dem eines knappen halben Studienjahrs entspricht. Eine detaillierte Analyse durch Äquiperzentil-Equating zeigte, dass die Tests im Bereich niedriger Punktwerte deutlicher abweichen als bei hohen Werten.

Diskussion/Schlussfolgerung: Die Verwendung von Item-Response-Modellen zum Test Equating der beiden Versionen des kompetenzbasierten Progresstests leidet an den nicht erfüllten Modellannahmen. Lineare Transformationen berücksichtigen nicht ausreichend die Unterschiede in verschiedenen Bereichen der Rohpunktwerte, so dass zur Generierung vergleichbarer transformierter Skalen Äquiperzentil-Verfahren des „Observed Score Equating“ zu präferieren sind.