gms | German Medical Science

Einleitung: Die zunehmende Einbettung von Progress Tests in eine digitale Umgebung wird überwiegend positiv diskutiert [1], da das Engagement der Studierenden durch ein schnelles formatives Feedback und die damit verbundenen wertvollen Lernerfahrungen verbessert wird [2]. Zudem haben Online-Tests einen klaren Vorteil in Bezug auf die Verwendbarkeit und Vollständigkeit der Daten [3]. Der Progress Test Medizin (PTM) der Charité Berlin wird seit 2000 als formativer Test für Medizinstudierende an der Universität Witten/Herdecke (UW/H) durchgeführt. Im Wintersemester 2018 wurde der PTM erstmals als Online-Test angeboten. Fragestellung der vorliegenden Studie zur internen Qualitätssicherung ist, ob der Online-PTM eine vergleichbar gute Validität aufweist wie der Paper/Pencil-PTM oder ob die geänderten Durchführungsbedingungen einen bedeutsamen Einfluss auf die Ergebnisse haben.

Material und Methode: Zum Vergleich sollen die durchschnittlichen Ergebnisse der vier aufeinanderfolgenden PTM 37 (Herbst 2017) bis PTM 40 (Frühjahr 2019) herangezogen werden. PTM 37 und 38 wurden in der Paper/Pencil-Version durchgeführt, PTM 39 und 40 in der Online-Version. Der Vergleich erfolgt jeweils zwischen den Mittelwerten zwei aufeinanderfolgender PTM innerhalb einer Kohorte im Längsschnitt. Die Stichprobe setzt sich zusammen aus den Medizinstudierenden in den Jahrgängen der UW/H, die an allen vier o.g. PTM teilgenommen haben (PTM 37 N=251, PTM 38 und 39 N=231, PTM 40=Erhebung läuft). Die Vergleichsgruppen wurden dabei nach Semesterzugehörigkeit gebildet.

Ergebnisse: Im Mittelwert steigt der Testwert bei allen Kohorten sowohl zwischen PTM 37 und 38 (um 3,13 Punkte) als auch zwischen PTM 38 und 39 (um 19,22 Punkte) an, was der Abbildung eines erwarteten Lernzuwachses entspricht. Es zeigt sich aber auch eine unerwartet hohe Differenz zwischen dem durchschnittlich abgebildeten Wissenszuwachs sowohl zwischen den Kohorten als auch den Semestern. Es kann aktuell keine Aussage darüber getroffen werden, ob diese verfahrensbedingt ist, da die Ergebnisse des PTM 40 noch ausstehen.

Diskussion: Die Aussagekraft der hier dargestellten Untersuchung unterliegt vielen Limitationen, u.a. der Frage nach der Testgüte der Verfahren sowie der relativ kleinen Stichprobe innerhalb der jeweiligen Kohorten. Die hier dargestellte Analyse stellt nur einen Ausgangspunkt für weitere Untersuchungen dar. Angestrebt wird daher die Abbildung individueller Längsschnitte anhand identifizierter extremer Leistungen zur Erreichung eines maximalen Kontrastes zu den Mittelwerten. Die Ausgangsfrage, in wie weit die Umstellung auf ein online durchgeführtes Testverfahren die Leistungsabbildung beeinflusst, kann hier noch nicht getroffen werden.