gms | German Medical Science

Hintergrund: An der Universität Bielefeld hat zum WiSe 2021/22 die Medizinische Fakultät OWL ihren Lehrbetrieb im Modellstudiengang Medizin mit 60 Erstsemestern aufgenommen. Im Modellstudiengang wird der erste Teil der ärztlichen Prüfung als fakultätseigene Prüfung (sog. Äquivalenz-Physikum) abgehalten. Der geforderten Kompetenzorientierung soll dabei mit einer Kombination von Multiple-Choice (MC)-Fragen und offenen Freitext-Fragen begegnet werden. Die hier vorgelegte Studie soll die beiden Fragetypen in der für die teilnehmenden Studierenden hochrelevanten Prüfung testtheoretisch vergleichen.

Methoden: Nach vier Semestern wurde den Studierenden im August 2023 das erste schriftliche Äquivalenz-Physikum angeboten. Es bestand aus insgesamt 231 Fragen, von denen 134 als MC- und 97 als Freitext-Frage gestaltet waren. Die richtig beantworteten MC-Fragen wurden mit 1 Punkt bewertet. Für die vergleichende Analyse der Antworten wurden die erreichten Punktzahlen bei den offenen Fragen dichotom gewertet. Antworten, bei denen mehr als 60% der offiziell erreichbaren Punktzahl (1-3 Punkte) erzielt worden waren, wurden als richtig, die anderen als falsch gewertet.

Aus der unrevidierten Fassung der Prüfung wurden so im Rahmen der klassischen Testtheorie das Gesamtergebnis, der Schwierigkeitsindex und die Trennschärfen (korrigierte Trennschärfe r’) der einzelnen Aufgaben und schließlich die Gesamtreliabilität der Prüfung berechnet. Der Vergleich der Fragetypen erfolgte über eine entsprechende Subgruppen-Analyse.

Ergebnisse: Für die Analyse konnten 230 Fragen (134 MC- und 96 Freitext-Fragen, 36 Teilnehmer) aus dem Äquivalenz-Physikum einbezogen werden. Insgesamt wurden 62,7% ± 26,0% der Fragen nach oben genannter Bewertung richtig beantwortet, die Gesamtreliabilität lag bei einem Cronbach’s Alpha von 0,925.

In der Subgruppen-Analyse lag der Schwierigkeitsindex der MC-Fragen bei 71,1%±21,3%, der der Freitext-Fragen bei 51,6% ± 27,7% (t Welch (170,4)=−5,78, p<0,001, Hedges’ g=−0,79, 95 %-KI [−1,06, −0,51], n=230) (siehe Abbildung 1 [Abb. 1]).

Die Reliabilität der Subskalen lag bei einem Cronbach’s Alpha von 0,857 bzw. 0,867. Die durchschnittliche korrigierte Trennschärfe lag insgesamt bei r’=0,218 (MC-Fragen r’=0,20; Freitext-Fragen r’=0,24).

Diskussion: Die Entwicklung eines Äquivalenz-Physikums stellt eine große Herausforderung dar. Der Prozess der Fragenerstellung und des zugehörigen Reviews ist sehr ressourcen-intensiv. Dies gilt für MC-Fragen, insbesondere aber für offene Fragen. Die Analyse zeigt die erwartete Differenz im Schwierigkeitsindex der beiden Fragetypen [1]. Bei akzeptablen korrigierten Trennschärfen [2] konnte so aber die für relevante Prüfungen geforderte Mindestreliabilität von 0,8 deutlich übertroffen werden. Für die Beibehaltung offener Fragen werden Anpassungen hinsichtlich des Schwierigkeitsindex oder der Bestehensgrenze erwogen und alternativ die Einführung von sog. (very) short-answer questions [3] in Betracht gezogen.