gms | German Medical Science

Zielsetzung: Der Progress Test Medizin ist ein formativer 200 Fragen-Test, der jedes Semester an medizinischen Fakultäten (Deutschland, Österreich, Schweiz) mit ca. 10.000 Studierenden durchgeführt wird. Bei der Hälfte der Teilnehmenden wird die Antwortsicherheit („sicher“, „wahrscheinlich“, „geraten“) erfasst. Studierende erhalten Rückmeldung über ihr Wissen und Entwicklung vor allem im Vergleich zum eigenen Fachsemester [1]. In dieser Studie leiten wir aus Antwortmustern übergreifende Leistungsgruppen ab, um eine weitere aussagefähige, leicht interpretierbar Einordnung des Wissens für Fakultäten und Studierende zu erhalten.

Methoden: Der Datensatz bestand aus 5.444 Prüfungen (Semester 1-10, mit Antwortsicherheit, mind. eine beantwortete Frage). Zunächst haben wir ein k-means Clustering durchgeführt [2]. Features waren die Antworten. Die Anzahl an Cluster wurde ermittelt (Ellbogenmethode), es wurde der beste von 100 Durchgängen ausgewählt (Calinski-Harabasz-Score). Untersucht wurde Semesterverteilung, Gesamtscore (GS), Antwortmuster und Selbsteinschätzung pro Cluster. Nachfolgend wurde der Datensatz einem Classifier übergeben (train-test-split 75%:25%), target war die Clusterzuordnung [3]. Der Algorithmus ermöglichte die Ableitung clusterrelevanten Fragen und diente als zusätzliche Performance Bewertung für k-means. Die relevanten Fragen wurden nach Schwierigkeitsgrad, Trennschärfe und Konfidenzniveaus evaluiert.

Ergebnisse: Drei der fünf Cluster sind „Leistungscluster“: In Cluster 1 (n=761) sind überwiegend Studierende höherer Semester, sie beantworten Fragen vor allem sicher und richtig (mittlerer GS 243,5 ± SD 49). Relevante Fragen sind eher schwer mit hoher Trennschärfe, es sind überproportional „Anwendungsfragen“. In Cluster 2 (n=1.357) sind Studierende im weiten mittleren, in Cluster 4 (n=1.453) aus dem ersten Studienabschnitt. Geratene Fragen nehmen sukzessive zu (135,2 ± 33,9 bzw. 42,6 ± 33,9), relevante Fragen sind eher leicht, der Anteil an „Erinnernfragen“ ist hoch. Zwei Cluster sind „Motivationscluster“: Studierende in Cluster 3 (n=384) brechen den Test nach initial guter Leistung etwa nach der Hälfte ab (75,7 ± 42,9). In Cluster 5 (n=1.489) sind Studierende aus dem ersten Fachsemester, aber auch „nicht-ernsthafte“ Teilnehmende mit überwiegend falsch geraten oder nicht beantworten Fragen (18,1 ± 43,2).

Die Selbsteinschätzung ist bei den Clustern 1, 2, und 3 überdurchschnittlich, bei Cluster 4 durchschnittlich, Cluster 5 unterdurchschnittlich akkurat.

Diskussion: Cluster lösen die strenge Kopplung an das eigene Fachsemester auf und setzen die Leistung in den Kontext der Gesamtkooperation. Die Sicherheit der Beantwortung hat einen maßgeblichen Einfluss auf die Cluster. Cluster unterscheiden sich auch in Akkuratheit der Selbsteinschätzung und des Kompetenzniveaus der relevanten Fragen.

Take Home Message: Clustering kann eine wertvolle zusätzliche Information für Studierende und Einrichtungen sein.