gms | German Medical Science

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)

19.09. - 22.09.2018, Wien, Österreich

Kann aggregierte Peer-Bewertung Leistungsunterschiede abbilden? [Bericht über Forschungsergebnisse]

Meeting Abstract

  • presenting/speaker H. Haririan - Medical University of Vienna, School of Dentistry, Conservative Dentistry and Periodontology, Vienna, Austria
  • C. Bruckmann - Medical University of Vienna, School of Dentistry, Conservative Dentistry and Periodontology, Vienna, Austria
  • M. Wagner-Menghin - Medical University of Vienna, Teaching Center, Vienna, Austria

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Wien, 19.-22.09.2018. Düsseldorf: German Medical Science GMS Publishing House; 2018. Doc38.3

doi: 10.3205/18gma157, urn:nbn:de:0183-18gma1573

Published: September 19, 2018

© 2018 Haririan et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. See license information at http://creativecommons.org/licenses/by/4.0/.


Outline

Text

Problemstellung/Ziele: Diagnostik und Behandlungsplanung anhand authentischer Fallmaterialien zu üben ist bei Studierenden beliebt. Feedback und Beurteilung solcher Aufgaben ist jedoch zeitaufwendig für Lehrende, ist aber als Lernaktivität nutzbar. Da Studierende die Leistung von Peers zwar realistisch einschätzen, die Fairness erhaltener Peerbewertungen oft anzweifeln, aggregieren moderne Peer-Bewertungssysteme mehrere Beurteilungen. Die Studie untersucht, inwieweit aggregierte Peer-Bewertungen Qualitätsunterschiede studentischer Leistung abbilden und berücksichtigt Textlänge als möglichen Einflussfaktor.

Methoden: S Studierende des Kurses ‘Parodontologie und Prophylaxe‘ im Rahmen des Zahnmedizinstudiums und des postgraduellen ‘Paromasters‘ erarbeiten Diagnosen und Behandlungskonzepte für 8 virtuelle PatientInnen und dokumentieren diese in einem Arztbrief. Dessen inhaltliche Qualität wird von 5-8 Peers anonym kommentiert und beurteilt (2 Ratingskalen, je 0-3 Punkte). Briefe mit fehlerhaftem bzw. mit korrektem Diagnosevorschlag/Behandlungsvorschlag gemäß Benchmarkbewertungen von 2 Lehrenden, wurden der Peerbewertungsprozedur unterzogen. Deskriptiv dargestellt wird, inwieweit die studentische Peer-Beurteilung die Benchmarkbeurteilung der Lehrenden und die Pass/Fail Entscheidung („Mitarbeitsplus“ ab insgesamt 4 Punkten) repliziert.

Ergebnisse: Leistungsunterschiede gemäß Benchmarkbewertung (M=3.33; s=0.81) werden durch eine Gruppe von Zahnmedizinstudierenden (M=1.61; s=0.33) und eine Gruppe von TeilnehmerInnen einer Postgraduellen Weiterbildung (M=1.31; s=0.72) repliziert sind jedoch durchwegs niedriger. Eine Tendenz zur Bewertung knapp über der Pass/Fail Grenze ist ersichtlich, wobei Zahnmedizinstudierende im Vergleich zu den Postgraduates bei kürzeren Texten öfter die Pass/Fail Entscheidung replizieren.

Diskussion/Schlussfolgerungen: Peers sind eher geneigt Leistungsmängel aufzuzeigen, wenn anderen daraus keine Nachteile entstehen und wenn die Vergabe weniger Punkte (z.B. bei fehlenden Angaben in kurzen Texten) rasch begründet werden kann.