gms | German Medical Science

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)

14.09. - 17.09.2016, Bern, Schweiz

Erprobung der Vorhersage-basierten Evaluationsmethode für das Instrument der Lernerfolgsevaluation

Meeting Abstract

  • corresponding author presenting/speaker Sarah Schiekirka - Göttingen, Deutschland
  • Tim Beißbarth - Göttingen, Deutschland
  • Tobias Raupach - Göttingen, Deutschland

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Bern, 14.-17.09.2016. Düsseldorf: German Medical Science GMS Publishing House; 2016. DocV27-576

doi: 10.3205/16gma037, urn:nbn:de:0183-16gma0372

Published: September 5, 2016

© 2016 Schiekirka et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. See license information at http://creativecommons.org/licenses/by/4.0/.


Outline

Text

Zielsetzung: Die Aussagekraft von Evaluationsergebnissen wird häufig durch einen geringen Rücklauf limitiert. Eine Forschergruppe berichtete kürzlich über eine neue Methode der Datenerhebung, mit der sich der für eine gegebene Reliabilität erforderliche Rücklauf reduzieren lässt [1], [2]. Hierbei wurden die Studierenden dazu aufgefordert, vorherzusagen, wie ihre Kommilitonen/innen den Unterricht bewerten würden. In der vorliegenden Untersuchung sollte diese Methode für das Instrument der Lernerfolgsevaluation [3], [4], [5] Anwendung finden.

Methoden: In einem sechswöchigen kardio-respiratorischen Lehrmodul (4. Studienjahr) wurden jeweils am ersten und letzten Modultag objektive (Objective Assessment, OA)) sowie subjektive (Self-Assessment, SA)) Lernerfolgsdaten erhoben. Zusätzlich schätzten die 120 Studierenden die durchschnittliche Leistung ihrer Kommilitonen/innen ein (Peer Assessment, PA)). Die Analyse erfolgte mittels Receiver-Operating-Characteristic-Kurven und Korrelationen (Pearson‘s r).

Ergebnisse: Der aus Selbst- bzw. Fremdeinschätzungen berechnete Lernerfolg korrelierte gut mit dem objektiv gemessenen Lernerfolg (r=0,66 bzw. 0,67). Die Sensitivität und Spezifität beider Ansätze war ebenfalls vergleichbar (SA: 0,88 und 0,85; PA: 0,88 und 0,88): Somit wurden über 80% der Lernziele mit objektiv hohem bzw. niedrigem Lernerfolg von dem Instrument korrekt identifiziert. Um eine Korrelation von 0,95 zwischen dem in der Subselektion errechneten mittleren Lernerfolg und dem im Gesamtkollektiv errechneten mittleren Lernerfolg zu erreichen, sind bei den Fremdeinschätzungen nur 25 Studierende erforderlich, bei den Selbsteinschätzungen 30.

Diskussion: Studierende können den Lernerfolg ihrer Kommilitonen realistisch einschätzen. Mit der neuen Methode können auch bei geringerem Rücklauf valide Evaluationsdaten gewonnen werden.

Take home Message: Der aus Fremdeinschätzungen berechnete Lernerfolg korreliert ebenso gut mit dem objektiven Lernerfolg wie der aus Selbsteinschätzungen berechnete.


Literatur

1.
Cohen-Schotanus J, Schonrock-Adema J, Schmidt HG. Quality of courses evaluated by 'predictions' rather than opinions: Fewer respondents needed for similar results. Med Teach. 2010;32(10):851-856. DOI: 10.3109/01421591003697465 External link
2.
Schonrock-Adema J, Lubarsky S, Chalk C, Steinert Y, Cohen-Schotanus J. 'What would my classmates say?' An international study of the prediction-based method of course evaluation. Med Educ. 2013;47(5):453-462. DOI: 10.1111/medu.12126 External link
3.
Raupach T, Münscher C Beissbarth T, Burckhardt G, Pukrop T. Towards outcome-based programme evaluation: Using student comparative self-assessments to determine teaching effectiveness. Med Teach. 2011;33(8):e446-e453. DOI: 10.3109/0142159X.2011.586751 External link
4.
Schiekirka S, Reinhardt D Beißbarth T, Anders S, Pukrop T, Raupach T. Estimating Learning Outcomes From Pre- and Posttest Student Self-Assessments: A Longitudinal Study. Acad Med. 2013;88(3):369-375. DOI: 10.1097/ACM.0b013e318280a6f6 External link
5.
Raupach T, Schiekirka S, Münscher C, Beißbarth T, Himmel W, Burckhardt G, Pukrop T. Piloting an outcome-based programme evaluation tool in undergraduate medical education. GMS Z Med Ausbild. 2012;29(3):Doc44. DOI: 10.3205/zma000814 External link