gms | German Medical Science

Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) und des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ)

30.09. - 03.10.2015, Leipzig

Objektive Messung von Prüferverhalten im OSCE – Psychometrie des Mannheimer Feedbackbogens für OSCE-Prüfer

Meeting Abstract

  • corresponding author presenting/speaker Katrin Schüttpelz-Brauns - Medizinische Fakultät Mannheim der Universität Heidelberg, Mannheim, Deutschland
  • author Elvira Pippel - Medizinische Fakultät Mannheim der Universität Heidelberg, Mannheim, Deutschland
  • author Helene Todtenhaupt - Medizinische Fakultät Mannheim der Universität Heidelberg, Mannheim, Deutschland
  • author Kathrin Nühse - Medizinische Fakultät Mannheim der Universität Heidelberg, Mannheim, Deutschland

Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) und des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ). Leipzig, 30.09.-03.10.2015. Düsseldorf: German Medical Science GMS Publishing House; 2015. DocV542

doi: 10.3205/15gma125, urn:nbn:de:0183-15gma1251

Veröffentlicht: 31. August 2015

© 2015 Schüttpelz-Brauns et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen. Er darf vervielfältigt, verbreitet und öffentlich zugänglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden. Lizenz-Angaben siehe http://creativecommons.org/licenses/by-nc-nd/3.0/.


Gliederung

Text

Fragestellung/Einleitung: Prüfertrainings sind eine Säule der Qualitätssicherung eines OSCE [1], [2], [3], [5], [6]. An der Medizinischen Fakultät Mannheim wurde ein Training im Blended-Learning-Format entwickelt, das E-Learning mit Vor-Ort-Training und strukturierter Beobachtung inkl. Feedback während des OSCE verbindet. Letzteres soll den Transfer des Gelernten in die Praxis sichern. Im Vergleich zu Teilnehmern eines Placebo-Kurses geben die geschulten Prüfer einen höheren wahrgenommenen Wissenszuwachs und mehr Relevanz des Online-Trainings an [4]. Für die strukturierte Beobachtung inkl. Feedback wurde ein Fragebogen bestehend aus Likert-Skalen und Kommentarfeldern für gezieltes Feedback entwickelt. Um die Güte des Prüferverhaltens zu quantifizieren und damit die Wirksamkeit des Trainings zu messen, sollen die Likert-Skalen des Beobachtungsbogens verwendet werden. Diese müssen daher objektiv, reliabel und valide sein. Zur Sicherung der Validität wurde ein Itempool aus der Literatur, Expertenbefragungen und Beobachtung von Prüfern während des OSCE gebildet. Diese Items wurden geclustert und im Zuge von wiederholten Beobachtungszyklen während des OSCE mit verschiedenen Beobachtern überarbeitet, bis sie eindeutig und relevant waren. In der aktuell vorliegenden Form besteht der Mannheimer Feedback-Bogen (Ma-FOP) aus 3 Likert-Skalen: Formale Aspekte (N=4), Aufmerksamkeit (N=3) und Neutralität (N=4). Mit der vorliegenden Studie sollten folgende Fragen beantwortet werden: Sind die Skalen empirisch nachvollziehbar? Wie hoch sind die Beobachterübereinstimmung und die Reliabilität der Skalen?

Methoden: Zwischen April und Juli 2014 wurden insgesamt 20 Prüfer während 4 OSCE zweimal von je 2 Beobachtern gleichzeitig mit dem Ma-FOP beobachtet. Zur Bestimmung der Skalenhomogenität wurde eine Mokken-Analyse durchgeführt. Die Beobachterübereinstimmung wurde über eine Rangkorrelation nach Spearman und die Reliabilität mit Cronbachs α bestimmt.

Ergebnisse: Die Mokken-Analyse zeigte, dass zwei der ursprünglichen Skalen zu einer Skala gehören. Der Ma-FOP besteht nun aus den beiden Skalen Prüferverhalten und Ablenkung (urspr. Aufmerksamkeit). Die Beobachterübereinstimmung liegt bei 0,93 bzw. 0,88 resp., die Reliabilität bei 0,81 bzw. 0,70 bei Beobachter 1 und 0,83 bzw. 0,66 bei Beobachter 2.

Diskussion/Schlussfolgerung: Mit dem Ma-FOP ist eine zuverlässige und objektive Messung des Prüferverhaltens möglich, damit kann er als Grundlage für eine Wirksamkeitsmessung des OSCE-Prüfer-Trainings dienen. Problematisch ist, dass der Untersuchung ein externes Validitätskriterium fehlt.


Literatur

1.
Chesser A, Cameron H, Evans P, Cleland J, Boursicot K, Mires G. Sources of variation in performance on a shared OSCE station across four UK medical schools. Med Educ. 2009;43(6):526-532. DOI: 10.1111/j.1365-2923.2009.03370.x Externer Link
2.
Khan KZ, Ramachandran S, Gaunt K, Pushkar P. The Objective Structured Clinical Examination (OSCE): AMEE Guide No. 81. Part I: an historical and theoretical perspective. Med Teach. 2013;35(9):e1437-e1446. DOI: 10.3109/0142159X.2013.818634 Externer Link
3.
Newble DI, Hoare J, Sheldrake PF. The selection and training of examiners for clinical examinations. Med Educ. 1980;14(5):345-349.
4.
Nühse K, Braun B, Kaden J, Peters Y, Schüttpelz-Brauns K. Das Mannheimer Training für OSCE-Prüfer - Entwicklung eines Blended Learning Konzepts. Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Hamburg, 25.-27.09.2014. Düsseldorf: German Medical Science GMS Publishing House; 2014. DocV321. DOI: 10.3205/14gma271 Externer Link
5.
Pell G, Homer M, Roberts TE. Assessor training: Its effects on citerion based assessment in a medical context. Int J Res Method Educ. 2008;31(2):143-154.
6.
Van Der Vleuten CP, Van Luyk SJ, Van Ballegooijen AM, Swansons DB. Training and experience of examiners. Med Educ. 1989;23(3):290-296.