Article
Ergebnisse einer verblindeten Validierungsstudie der Lernerfolgsmessung mittels vergleichender Selbsteinschätzung
Search Medline for
Authors
Published: | November 24, 2017 |
---|
Outline
Text
Hintergrund und Fragestellung: Die Kriteriumsvalidität der Lernerfolgs-Evaluation, bei der studentische Selbsteinschätzungen zu verschiedenen Zeitpunkten miteinander verglichen werden, wurde in Vorstudien anhand eines Vergleichs zwischen den Selbsteinschätzungen und objektiven Prüfungsergebnissen untersucht [1]. Die Interpretation der Ergebnisse war dadurch limitiert, dass bisher nur Lernziele aus dem Bereich Kardiologie/Pneumologie untersucht wurden. In der vorliegenden Arbeit wurde die Konstruktvalidität des Instruments am Beispiel gastroenterologischer Lernziele untersucht. Zudem sollte geklärt werden, inwieweit die neue Darstellungsform der Evaluationsitems in EvaSys die Ergebnisse beeinflusst.
Methoden: Studierende des 4. klinischen Semesters gaben für 30 Lernziele Selbsteinschätzungen auf 6-stufigen Skalen an; pro Lernziel wurden die Skalen für den Thentest und den Posttest [2] in randomisierter Weise entweder neben- oder untereinander dargestellt (Analyse mittels Pearson-Korrelation). Erst nach abgeschlossener Datensammlung wurden die Lehrverantwortlichen nach der Intensität befragt, mit der die 30 Lernziele gelehrt worden waren (Angaben auf dreistufigen Skalen; Vergleich mit studentischem Lernerfolg mittels Eta-Quadrat).
Ergebnisse: Hinsichtlich der Selbsteinschätzungen zu Modulende hatte die Darstellung keinen Einfluss; die retrospektiven Selbsteinschätzungen fielen bei der vertikalen Darstellung negativer aus als bei der horizontalen (mittleres Cohen’s d=0,25). Aufgrund der Korrektur auf das Vorwissen wirkte sich dies nicht auf den berechneten Lernerfolg aus (Pearson’s r=0,94). Der Post-hoc-Vergleich mit der tatsächlichen Lehr-Intensität klärte über 50% der Varianz auf (Eta-Quadrat=0,64).
Diskussion: Die neue Darstellungsform der vergleichenden Selbsteinschätzung in EvaSys wirkt sich nicht auf die Ergebnisse aus. Der Post-hoc-Abgleich zwischen Lehr-Intensität und studentischem Lernerfolg weist auf eine gute Konstruktvalidität des Instruments hin.
Literatur
- 1.
- Schiekirka S, Reinhardt D, Beißbarth T, Anders S, Pukropo T, Raupach T. Estimating learning outcomes from pre- and posttest student self-assessments: a longitudinal study. Acad Med. 2013;88(3):369-375. DOI: 10.1097/ACM.0b013e318280a6f6
- 2.
- Schiekirka S, Anders S, Raupach T. Assessment of two different types of bias affecting the results of outcome-based evaluation in undergraduate medical education. BMC Med Educ. 2014;14:149. DOI: 10.1186/1472-6920-14-149