gms | German Medical Science

Hintergrund und Fragestellung: Die Kriteriumsvalidität der Lernerfolgs-Evaluation, bei der studentische Selbsteinschätzungen zu verschiedenen Zeitpunkten miteinander verglichen werden, wurde in Vorstudien anhand eines Vergleichs zwischen den Selbsteinschätzungen und objektiven Prüfungsergebnissen untersucht [1]. Die Interpretation der Ergebnisse war dadurch limitiert, dass bisher nur Lernziele aus dem Bereich Kardiologie/Pneumologie untersucht wurden. In der vorliegenden Arbeit wurde die Konstruktvalidität des Instruments am Beispiel gastroenterologischer Lernziele untersucht. Zudem sollte geklärt werden, inwieweit die neue Darstellungsform der Evaluationsitems in EvaSys die Ergebnisse beeinflusst.

Methoden: Studierende des 4. klinischen Semesters gaben für 30 Lernziele Selbsteinschätzungen auf 6-stufigen Skalen an; pro Lernziel wurden die Skalen für den Thentest und den Posttest [2] in randomisierter Weise entweder neben- oder untereinander dargestellt (Analyse mittels Pearson-Korrelation). Erst nach abgeschlossener Datensammlung wurden die Lehrverantwortlichen nach der Intensität befragt, mit der die 30 Lernziele gelehrt worden waren (Angaben auf dreistufigen Skalen; Vergleich mit studentischem Lernerfolg mittels Eta-Quadrat).

Ergebnisse: Hinsichtlich der Selbsteinschätzungen zu Modulende hatte die Darstellung keinen Einfluss; die retrospektiven Selbsteinschätzungen fielen bei der vertikalen Darstellung negativer aus als bei der horizontalen (mittleres Cohen’s d=0,25). Aufgrund der Korrektur auf das Vorwissen wirkte sich dies nicht auf den berechneten Lernerfolg aus (Pearson’s r=0,94). Der Post-hoc-Vergleich mit der tatsächlichen Lehr-Intensität klärte über 50% der Varianz auf (Eta-Quadrat=0,64).

Diskussion: Die neue Darstellungsform der vergleichenden Selbsteinschätzung in EvaSys wirkt sich nicht auf die Ergebnisse aus. Der Post-hoc-Abgleich zwischen Lehr-Intensität und studentischem Lernerfolg weist auf eine gute Konstruktvalidität des Instruments hin.