gms | German Medical Science

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)

15.09. - 17.09.2022, Halle (Saale)

Online allein oder online zusammen – Schulungsmodalitäten über die Bewertung von ärztlichen Kompetenzen mittels EPAs

Meeting Abstract

  • presenting/speaker Zornitsa Shomanova - Universitätsklinikum Münster, Klinik für Kardiologie I, Münster, Deutschland
  • Lars Eckardt - Universitätsklinikum Münster, Klinik für Kardiologie II, Münster, Deutschland
  • Miriam Finke - Westfälische Wilhelms-Universität Münster, Institut für Psychologie, Münster, Deutschland
  • Simon Mats Breil - Westfälische Wilhelms-Universität Münster, Institut für Psychologie, Münster, Deutschland
  • Bernhard Marschall - Westfälische Wilhelms-Universität Münster, Institut für Ausbildung und Studienangelegenheiten (IfAS), Münster, Deutschland
  • Helmut Ahrens - Westfälische Wilhelms-Universität Münster, Institut für Ausbildung und Studienangelegenheiten (IfAS), Münster, Deutschland

Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) und des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ). Halle (Saale), 15.-17.09.2022. Düsseldorf: German Medical Science GMS Publishing House; 2022. DocV-05-05

doi: 10.3205/22gma038, urn:nbn:de:0183-22gma0383

Veröffentlicht: 14. September 2022

© 2022 Shomanova et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Gliederung

Text

Einführung: An der Medizinischen Fakultät in Münster ist ein formatives Assessment von EPAs [1] mit Fremd- und Selbsteinschätzungen etabliert. Um diese valide, reliabel und objektive erfassen zu können, erfolgt eine Beobachter*innen-Schulung. Ziel war es zu untersuchen, ob eine Schulung im asynchronen Online-Setting (E-Learning-Modul) vs. einer synchronen Konferenz-Schulung (Videokonferenzsystem) bessere Interrater-Agreements der geschulten DozentInnen erzielt. Zusätzliches galt es mögliche Risiken oder Gefahren dieser beiden Schulungsmodalitäten zu erkennen.

Methoden: Die Beobachter*innen eines telemedizinischen Falls wurden nach Beurteilungsvorwissen in der Parcoursprüfung „Limette-Kardiologie“ in 2 Gruppen (E-Learning-Modul-Schulung versus Online-Video-Konferenz-Schulung) randomisiert. Inhalt, Zeitpunkt und zeitlicher Aufwand der Schulungen waren gleich. Studierende wurden in 4 gleiche Parkours aufgeteilt. Jede*r Studierende wurde von jeweils zwei Juror*innen aus beiden Schulungsgruppen beurteilt.

Ergebnisse: 15 Dozierende (12m/3w) nahmen teil. 7 absolvierten ein E-Learning, 6 ein Konferenzsystem, 2 nahmen an keiner der Schulungsmodalitäten teil (Schulung im Vorsemester). Die Bearbeitung des E-Learning-Moduls dauerte im Durchschnitt 37 Minuten, die Konferenz-Schulung 50 Minuten. 63 Studierende wurden in der Studie analysiert. Die E-Learning-Gruppe zeigte insgesamt eine etwas bessere Übereinstimmung als die der Konferenz-Schulung (ICC 0,643 vs. 0,542) und gaben signifikant höhere Supervisionsgrade ab als die Konferenz-Schulungs-Gruppe (2,83±0,919 vs. 2,17±0,811, p<0,001). Diese Tendenz zeigte sich ebenfalls in den Auswertungen der einzelnen Parkours (siehe Tabelle 1 [Tab. 1]).

Diskussion: Eine aktive Bearbeitung des E-Learning-Moduls führte zu einer besseren Interrater Reliabilität. Bei der Konferenz-Schulung besteht die Gefahr einer generellen digitalen Ablenkbarkeit und der Tendenz zur Masse ohne Elaboration der Schulungsinhalte. Niedrige Fallzahlen der beurteilten Studierenden betonen „Ausreißer“ in der Bewertung (Unterschied in der Bewertung der beiden Dozierenden in mehr als 2 Punkten) und somit deutlich die Interrater Reliabilität. Erfahrung in der Bewertung mit EPAs kann auch zu einem guten Interrater Agreement führen.

Schlussfolgerung: Eine Online Schulung von Juror*innen für ein EPA basiertes Assessment in Parcoursprüfungen ist möglich. Beide Modalitäten (synchron vs. asynchron) zeigten eine gute Interrater Reliabilität. Eine leicht bessere Tendenz zeigte die E-Learning-Schulung. Ablenkungen im Online-Meeting, die Gruppe an sich oder „Ausreißer“ in der Bewertung könnten das Interrater Agreement beeinflussen haben und dementsprechend sollen Gegenmaßnahmen getroffen werden.


Literatur

1.
Obeso V, Browon D, Aiyer M, Barron B, Bull J, Carter T, Emery M, Giellespie C, Hormann M, Hyderi A, Lupi C, Schwartz M, Uthman M, Vasilevskis EE, Yingling S, Phillipi C, editors. Core Entrustable Professional Activities for Entering Residency Pilot Program: Toolkits for the 13 Core Entrustable Professional Activities for Entering Residency. Washington, DC: Association of American Medical Colleges; 2017. Zugänglich unter/available from: https://www.aamc.org/what-we-do/mission-areas/medical-education/cbme/core-epas/publications Externer Link