gms | German Medical Science

Fragestellung/Zielsetzung: Progress Tests (PT) erfassen die Wissensentwicklung von Studierenden. Korrelationen zwischen PT-Ergebnissen und Staatsexamina, insbesondere in fortgeschrittenen Semestern, sind. Auch eine Verbindung zwischen Lernkurven und Staatsexamina wurde beobachtet [1], [2]. Diese Machbarkeitsstudie untersucht, inwieweit mit den Ergebnissen des formativen Progress Tests der Berliner Charité (PTM) die schriftlichen Staatsexamensnoten (M2) pro Studierenden vorhersagen können.

Methoden: Mit Daten von drei Fakultäten haben wir ein LSTM-Netz (Long-Short-Term-Memory) trainiert. Hierfür haben wir als Merkmale die Anzahl an richtig und nicht beantworteten Fragen, das Vergleichssemester und die Einteilung in sogenannte Leistungscluster [3] herangezogen, um Wahrscheinlichkeiten für Staatsexamensnoten pro teilnehmender Person und Semester auszugeben. Die Daten wurden in Trainings- (64%), Validierungs- (20%) und Testdatensätze (16%) aufgeteilt und für den Algorithmus aufbereitet.

Studierende wurden nach jedem PTM einem Leistungscluster zugeordnet (von Cluster 0=sehr gute Teilnahmen bis Cluster 4=vor allem Studienanfänger*innen, Testabbrecher*innen, und andere nicht ernsthafte Teilnahmen). Wir wollten wissen, inwiefern sich die ernsthafte Testteilnahme auf die Vorhersagekraft auswirkt und haben daher betrachtet, wie oft Studierende dem Cluster 4 zugeordnet wurden. Für den Zweck dieser Machbarkeitsstudie wird „Cluster 4“ mit „nicht ernsthafter Teilnahme“ gleichgesetzt.

Ergebnisse: Die Daten von 4.161 Studierenden zeigen folgende Notenverteilung beim M2: 1 (0.6%); 2 (28.2%); 3 (47.2%); 4 (19.8%); 5 (4.2%). Diese Verteilung stellt den Feldvergleich dar.

Im 6. FS wird die richtige Staatsexamensnote zu 49.8% vorhergesagt, im 7. FS zu 52.3%, im 8. FS zu 53.9%, im 9. FS zu 58.7 %, im 10. FS zu 60.2%.

Werden die zwei wahrscheinlichsten Noten zusammengefasst, so liegt die Prognosewahrscheinlichkeit im 6. FS bei 76.9%, im 7. FS bei 82.3%, im 8. FS bei 86.9%, im 9. FS bei 88.3%, im 10. FS bei 88.4%.

Studierende, die eine 1 erhielten, wurden im Schnitt 1,5-mal während ihres Studiums Cluster 4 zugeordnet, die eine 5 erhielten 5.0-mal (2-2.5-mal, 3-3.1-mal, 4-4.3-mal).

Studierende, die ab dem 6. FS durchweg eine korrekte Vorhersage erhalten haben, wurden in ihrem Studium im Schnitt 3.2-mal Cluster 4 zugeordnet, solche mit einer durchweg falschen Vorhersage 4.6-mal.

Diskussion: Zusammenfassend lässt sich festhalten, dass das Modell der Machbarkeitsstudie ab dem 6. FS. verlässlichere Vorhersagen liefert als der Feldvergleich (s.o.). Umso ernsthafter Studierende den PTM bearbeiten, desto besser ist dabei die Vorhersagekraft des Modells.

Die wiederholte Zuordnung zu Cluster 4 im Studienverlauf kann darüber hinaus auf Studienprobleme hinweisen, was für eine frühzeitige Beratung genutzt werden könnte.

Förderung: Gefördert vom BMBF („iPT“).