gms | German Medical Science

Fragestellung/Zielsetzung: Der deutsche Progress Test Medizin enthält 200 Multiple-Choice-Fragen zu medizinischem Wissen [1] und wird im Studienverlauf mehrfach durchgeführt. So lässt sich bei zahlenmäßig ausreichender Teilnahme der Studierenden für die gesamte Fakultät, fächerspezifisch und auch individuell der Wissenszuwachs bestimmen, was eine Steuerung und strukturelle sowie auch inhaltliche Optimierung der Lehre erlaubt. Da ärztliche Kompetenz sich aber aus Wissen und Können zusammensetzt, ist die Feststellung der praktischen Fertigkeiten von Studierenden genauso wichtig. Gerade für den neu zu gestaltenden Modellstudiengang an der Medizinischen Fakultät OWL in Bielefeld bot es sich damit an, auch einen Progress Test für praktische Fertigkeiten zu entwickeln und zu implementieren.

Methoden: So wurde zum Studienstart 2021 ein praktischer Progress Test (pPTM) bestehend aus 12 Stationen als formatives Assessment entwickelt. Die teilnehmenden Studierenden sollen jeweils praktische Fertigkeiten anwenden, um Informationen zu Diagnose und Therapie der Patienten(fälle) zu generieren oder einzuordnen. Nach Durchlauf des Parcours müssen die Studierenden insgesamt 60 Multiple-Choice-Fragen (5 pro Station) mit den generierten Informationen beantworten. Richtige Antworten in den MC-Fragen werden zu einem prozentualen Score addiert.

Zum Nachweis einer entsprechenden Reliabilität des praktischen Progress Tests wurde neben dem 1. Fachsemester in Bielefeld eine Kohorte im 5. Fachsemester an der Medizinischen Fakultät Münster gebeten, ebenfalls diesen pPTM durchzuführen. Anhand dieser Tests wurden Daten für die interne Konsistenz und die Trennschärfe der Items bestimmt (siehe Abbildung 1 [Abb. 1]).

Zur Kontrolle wurden für die Implementierung Konstrukte in den Test integriert (z.B. Risk- und Graph-Literacy), bei denen die Studierendenkohorten beider Semester keine signifikanten Unterschiede zeigen sollten.

Ergebnisse: Cronbach’s α lag für die Durchführung der pPTMs bei 0,80, die Trennschärfe der Items im Durchschnitt bei 0,26.

Nach Herausnahme der sich nicht signifikant unterscheidenden Kontroll-Items erzielten die Studierenden aus dem 1. Fachsemester (Bielefeld, n=60, Alter 21,14±3,34 Jahre, 63,3% weiblich) mit einem Score von 11,46±7,52% einen signifikant geringeren Score als die Studierenden aus dem 5. Fachsemester (Münster, n=90, Alter 22,01±2,97 Jahre, 54,8% weiblich) mit 30,76±9,10% (p<0,01).

Cronbach’s α lag ohne die Kontroll-Items bei 0,84, die Trennschärfe der Items im Durchschnitt bei 0,35.

Diskussion: Beide Kohorten lagen im pPTM im Bereich der erwartbaren Werte bezüglich ihres Studienverlaufs. Die interne Konsistenz und die Trennschärfe der Items weisen auf ein weiteres Verbesserungspotenzial einzelner Stationen hin.

Take Home Messages: Erste Durchführungen eines derart gestalteten praktischen Progress Tests zeigen die Machbarkeit dieser Form des formativen Assessments. Die Gestaltung der praktischen Stationen ist aber eine große Herausforderung.