gms | German Medical Science

Fragestellung/Zielsetzung: Kompetenz-basierte Weiterbildung fusst auf häufigen arbeitsplatz-basierten Assessment von „Entrustable Professional Activities“ (EPAs) – anvertraubaren professionellen Aktivitäten. Dabei ist unklar, wie viele Einzel-Assessments für eine verlässliche Bewertung erforderlich sind und ob diese Zahl auch in kleineren Weiterbildungs-(WB-)einrichtungen möglich ist.

Methoden: Mittels einer mobilen App bewerteten supervidierende Oberärzt*innen in der Anästhesiologie ihre Weiterbildungsassistent*innen für 10 verschiedene EPAs. Über einen Zeitraum von 5 Monaten wurden die Daten erhoben und zwischen „grossen“ (WB-Kategorie A) und „kleinen“ (WB-Kategorien B/C) WB-Einrichtungen verglichen. Wir verwendeten die Generalizability Theory und Decision Studies, um die minimale erforderliche Zahl an Einzel-Assessments für eine reliable Gesamtbewertung zu berechnen.

Ergebnisse: Aus 28 Weiterbildungsprogrammen konnten 3936 Einzel-Assessments durch 306 Supervidierende für 295 Weiterbildungsassistent*innen einbezogen werden. Die mediane erforderliche Anzahl an Einzel-Assessments pro Weiterbildungsassistent*in war n=8, mit im Median 4 unterschiedlichen Assessments durch 3 unterschiedliche Supervidierende. Zwischen „grossen“ und „kleinen“ WB-Einrichtungen konnten keine statistisch signifikanten Unterschiede nachgewiesen werden für die Anzahl an Assessments pro WB-Assistent*in, pro Supervisor*in oder pro EPA. Das durchschnittliche „Level-of Supervision“ (Skala von 1, vollständige Supervision bis 5, kann andere unterrichten) betrug 3.2 (SD 0.5) in „grossen“ WB-Einrichtungen im Vergleich zu 2.7 (SD 0.4) in kleineren Einrichtungen (p<0.05). Zum Erreichen eines G-Koeffizient>0.7, musste mindestens ein Set von 3 verschiedenen EPAs bewertet werden, jede der EPA davon mindestens 4 mal durch 4 unterschiedliche Supervidierende (insgesamt 12 Assessments).

Diskussion: Bei der Verwendung einer mobilen App für Assessments von EPAs lag die erforderliche Anzahl an Einzel-Assessments pro Weiterbildungsassistent*in bei 8. Zwischen „grossen“ und „kleinen“ WB-Einrichtungen konnten keine signfikanten Unterschiede gefunden werden in der Anzahl an Einzel-Assessments pro WB-Assistent*in, Supervisor*in oder EPA. Die minimal erforderliche Zahl an Einzel-Assessments für einen G-Koeffizienten>0.7 konnte in „grossen“ und „kleinen“ Einrichtungen gleichermassen erfüllt werden.