Artikel
Online allein oder online zusammen – Schulungsmodalitäten über die Bewertung von ärztlichen Kompetenzen mittels EPAs
Suche in Medline nach
Autoren
Veröffentlicht: | 14. September 2022 |
---|
Gliederung
Text
Einführung: An der Medizinischen Fakultät in Münster ist ein formatives Assessment von EPAs [1] mit Fremd- und Selbsteinschätzungen etabliert. Um diese valide, reliabel und objektive erfassen zu können, erfolgt eine Beobachter*innen-Schulung. Ziel war es zu untersuchen, ob eine Schulung im asynchronen Online-Setting (E-Learning-Modul) vs. einer synchronen Konferenz-Schulung (Videokonferenzsystem) bessere Interrater-Agreements der geschulten DozentInnen erzielt. Zusätzliches galt es mögliche Risiken oder Gefahren dieser beiden Schulungsmodalitäten zu erkennen.
Methoden: Die Beobachter*innen eines telemedizinischen Falls wurden nach Beurteilungsvorwissen in der Parcoursprüfung „Limette-Kardiologie“ in 2 Gruppen (E-Learning-Modul-Schulung versus Online-Video-Konferenz-Schulung) randomisiert. Inhalt, Zeitpunkt und zeitlicher Aufwand der Schulungen waren gleich. Studierende wurden in 4 gleiche Parkours aufgeteilt. Jede*r Studierende wurde von jeweils zwei Juror*innen aus beiden Schulungsgruppen beurteilt.
Ergebnisse: 15 Dozierende (12m/3w) nahmen teil. 7 absolvierten ein E-Learning, 6 ein Konferenzsystem, 2 nahmen an keiner der Schulungsmodalitäten teil (Schulung im Vorsemester). Die Bearbeitung des E-Learning-Moduls dauerte im Durchschnitt 37 Minuten, die Konferenz-Schulung 50 Minuten. 63 Studierende wurden in der Studie analysiert. Die E-Learning-Gruppe zeigte insgesamt eine etwas bessere Übereinstimmung als die der Konferenz-Schulung (ICC 0,643 vs. 0,542) und gaben signifikant höhere Supervisionsgrade ab als die Konferenz-Schulungs-Gruppe (2,83±0,919 vs. 2,17±0,811, p<0,001). Diese Tendenz zeigte sich ebenfalls in den Auswertungen der einzelnen Parkours (siehe Tabelle 1 [Tab. 1]).
Diskussion: Eine aktive Bearbeitung des E-Learning-Moduls führte zu einer besseren Interrater Reliabilität. Bei der Konferenz-Schulung besteht die Gefahr einer generellen digitalen Ablenkbarkeit und der Tendenz zur Masse ohne Elaboration der Schulungsinhalte. Niedrige Fallzahlen der beurteilten Studierenden betonen „Ausreißer“ in der Bewertung (Unterschied in der Bewertung der beiden Dozierenden in mehr als 2 Punkten) und somit deutlich die Interrater Reliabilität. Erfahrung in der Bewertung mit EPAs kann auch zu einem guten Interrater Agreement führen.
Schlussfolgerung: Eine Online Schulung von Juror*innen für ein EPA basiertes Assessment in Parcoursprüfungen ist möglich. Beide Modalitäten (synchron vs. asynchron) zeigten eine gute Interrater Reliabilität. Eine leicht bessere Tendenz zeigte die E-Learning-Schulung. Ablenkungen im Online-Meeting, die Gruppe an sich oder „Ausreißer“ in der Bewertung könnten das Interrater Agreement beeinflussen haben und dementsprechend sollen Gegenmaßnahmen getroffen werden.
Literatur
- 1.
- Obeso V, Browon D, Aiyer M, Barron B, Bull J, Carter T, Emery M, Giellespie C, Hormann M, Hyderi A, Lupi C, Schwartz M, Uthman M, Vasilevskis EE, Yingling S, Phillipi C, editors. Core Entrustable Professional Activities for Entering Residency Pilot Program: Toolkits for the 13 Core Entrustable Professional Activities for Entering Residency. Washington, DC: Association of American Medical Colleges; 2017. Zugänglich unter/available from: https://www.aamc.org/what-we-do/mission-areas/medical-education/cbme/core-epas/publications