gms | German Medical Science

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)

15.09. - 17.09.2022, Halle (Saale)

Analyse von Antwortmustern in Progress Test-Daten

Meeting Abstract

Suche in Medline nach

  • presenting/speaker Miriam Sieg - Charité – Universitätsmedizin Berlin, Prodekanat für Studium und Lehre, Progress Test Medizin, Berlin, Deutschland
  • presenting/speaker Maren März - Charité – Universitätsmedizin Berlin, Prodekanat für Studium und Lehre, Progress Test Medizin, Berlin, Deutschland

Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) und des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ). Halle (Saale), 15.-17.09.2022. Düsseldorf: German Medical Science GMS Publishing House; 2022. DocV-05-03

doi: 10.3205/22gma036, urn:nbn:de:0183-22gma0368

Veröffentlicht: 14. September 2022

© 2022 Sieg et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Gliederung

Text

Zielsetzung: Der Progress Test Medizin ist ein formativer 200 Fragen-Test, der jedes Semester an medizinischen Fakultäten (Deutschland, Österreich, Schweiz) mit ca. 10.000 Studierenden durchgeführt wird. Bei der Hälfte der Teilnehmenden wird die Antwortsicherheit („sicher“, „wahrscheinlich“, „geraten“) erfasst. Studierende erhalten Rückmeldung über ihr Wissen und Entwicklung vor allem im Vergleich zum eigenen Fachsemester [1]. In dieser Studie leiten wir aus Antwortmustern übergreifende Leistungsgruppen ab, um eine weitere aussagefähige, leicht interpretierbar Einordnung des Wissens für Fakultäten und Studierende zu erhalten.

Methoden: Der Datensatz bestand aus 5.444 Prüfungen (Semester 1-10, mit Antwortsicherheit, mind. eine beantwortete Frage). Zunächst haben wir ein k-means Clustering durchgeführt [2]. Features waren die Antworten. Die Anzahl an Cluster wurde ermittelt (Ellbogenmethode), es wurde der beste von 100 Durchgängen ausgewählt (Calinski-Harabasz-Score). Untersucht wurde Semesterverteilung, Gesamtscore (GS), Antwortmuster und Selbsteinschätzung pro Cluster. Nachfolgend wurde der Datensatz einem Classifier übergeben (train-test-split 75%:25%), target war die Clusterzuordnung [3]. Der Algorithmus ermöglichte die Ableitung clusterrelevanten Fragen und diente als zusätzliche Performance Bewertung für k-means. Die relevanten Fragen wurden nach Schwierigkeitsgrad, Trennschärfe und Konfidenzniveaus evaluiert.

Ergebnisse: Drei der fünf Cluster sind „Leistungscluster“: In Cluster 1 (n=761) sind überwiegend Studierende höherer Semester, sie beantworten Fragen vor allem sicher und richtig (mittlerer GS 243,5 ± SD 49). Relevante Fragen sind eher schwer mit hoher Trennschärfe, es sind überproportional „Anwendungsfragen“. In Cluster 2 (n=1.357) sind Studierende im weiten mittleren, in Cluster 4 (n=1.453) aus dem ersten Studienabschnitt. Geratene Fragen nehmen sukzessive zu (135,2 ± 33,9 bzw. 42,6 ± 33,9), relevante Fragen sind eher leicht, der Anteil an „Erinnernfragen“ ist hoch. Zwei Cluster sind „Motivationscluster“: Studierende in Cluster 3 (n=384) brechen den Test nach initial guter Leistung etwa nach der Hälfte ab (75,7 ± 42,9). In Cluster 5 (n=1.489) sind Studierende aus dem ersten Fachsemester, aber auch „nicht-ernsthafte“ Teilnehmende mit überwiegend falsch geraten oder nicht beantworten Fragen (18,1 ± 43,2).

Die Selbsteinschätzung ist bei den Clustern 1, 2, und 3 überdurchschnittlich, bei Cluster 4 durchschnittlich, Cluster 5 unterdurchschnittlich akkurat.

Diskussion: Cluster lösen die strenge Kopplung an das eigene Fachsemester auf und setzen die Leistung in den Kontext der Gesamtkooperation. Die Sicherheit der Beantwortung hat einen maßgeblichen Einfluss auf die Cluster. Cluster unterscheiden sich auch in Akkuratheit der Selbsteinschätzung und des Kompetenzniveaus der relevanten Fragen.

Take Home Message: Clustering kann eine wertvolle zusätzliche Information für Studierende und Einrichtungen sein.


Literatur

1.
Coombes L, Ricketts C, Freeman A, Stratford J. Beyond assessment: Feedback for individuals and institutions based on the progress test. Med Teach. 2010;32(6):486-490. DOI: 10.3109/0142159X.2010.485652 Externer Link
2.
Rodriguez MZ, Comin CH, Casanova D, Bruno OM, Amancio DR, da F Costa L, Rodrigues FA. Clustering algorithms: A comparative approach. PLoS One. 2019;14(1):e0210236. DOI: 10.1371/journal.pone.0210236 Externer Link
3.
Tiangi C, Guestrin C. XGBoost: A Scalable Tree Boosting System. In: KDD '16: Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2016. p.786-794. DOI: 10.1145/2939672.2939785 Externer Link