gms | German Medical Science

Fragestellung/Zielsetzung: Der Progress Test Medizin (PTM) ist ein nicht-bestehensrelevanter Wissenstest für Studierende der Humanmedizin, der den Wissenszuwachs über das gesamte Medizinstudium misst [1]. Er besteht aus Fragen auf Absolventenniveau und wird an der Charité einmal pro Semester online durchgeführt. Die Beantwortung von Fragen bei der Testteilnahme ist jedoch nicht verpflichtend. Daher beschäftigen wir uns regelmäßig mit dem Thema der Studierendenmotivation bei der Bearbeitung des PTM. Nach Auswertung des Tests erhalten die Studierenden ein Feedback in Form eines Wissensprofils zu ihrem individuellen Wissensverlauf/-zuwachs. Des Weiteren beinhaltet dieses Wissensprofil Feedback zu ihren Stärken und Schwächen in einzelnen Fächern und Organsystemen. Um die Motivation für eine ernsthafte Testteilnahme zu erhöhen und das Wissensprofil stärker auf die Wünsche und Bedürfnisse der Studierenden anzupassen, haben wir folgende Umfrage unter den Studierenden unseres Kooperationsprojektes PTM durchgeführt.

Methoden: Wir baten die Studierenden unserer teilnehmenden Fakultäten per Onlineumfrage darum, uns diejenigen Eigenschaften zu nennen, die ihrer Meinung nach am wichtigsten an der PTM-Rückmeldung sind. Die Frage war offen gestellt und die Studierenden konnten mit einer Freitext-Antwort reagieren. Mittels zweier unabhängiger Vorgänge, machine learning-Algorithmen bzw. manueller Inhaltsanalyse, leiteten wir aus den Antworten Hauptthemen ab, welche wir im Anschluss miteinander verglichen.

Ergebnisse: Rund 400 Studierende nahmen an unserer freiwilligen Umfrage teil. Die Ergebnisse der maschinellen und manuellen Themenclusterung wiesen eine große Übereinstimmung auf. Die Rückmeldungen zeigen, dass sich die Teilnehmenden mehr Vergleiche mit ihren Kommiliton*innen, eine deutlichere Aufzeigung ihrer Stärken und Schwächen, eine zeitnähere Rückmeldung und mehr Bezug zu staatsexamensrelevanten Fragen wünschen. 25 % der Teilnehmenden gaben an, mit der Rückmeldung zufrieden zu sein.

Diskussion: Studierende erhalten nun eine detailliertere quer- und längsschnittliche Rückmeldung zu ihren Leistungen im Test, geordnet nach Organsystemen und Fächern. Der direkte Vergleich zu ihren Peers wurde durch veränderte grafische Darstellungen greifbarer gemacht. Auch erhalten sie nun eine Rückmeldung zu ihrer Leistung in leichten und schweren Fragen. Ein weiteres, qualitatives Feedbackelement soll entwickelt werden.

Take home messages: Studierende sind bezüglich ihrer Leistungen vor allem an Vergleichen mit ihrer Peer Group interessiert und wünschen sich detaillierte Angaben zu ihren individuellen Stärken und Schwächen. Machine Learning-Algorithmen sind ein ökonomisches und zuverlässiges Mittel um qualitative Umfragen durchführen zu können.