gms | German Medical Science

Fragestellung/Einleitung: Prüfertrainings sind eine Säule der Qualitätssicherung eines OSCE [1], [2], [3], [5], [6]. An der Medizinischen Fakultät Mannheim wurde ein Training im Blended-Learning-Format entwickelt, das E-Learning mit Vor-Ort-Training und strukturierter Beobachtung inkl. Feedback während des OSCE verbindet. Letzteres soll den Transfer des Gelernten in die Praxis sichern. Im Vergleich zu Teilnehmern eines Placebo-Kurses geben die geschulten Prüfer einen höheren wahrgenommenen Wissenszuwachs und mehr Relevanz des Online-Trainings an [4]. Für die strukturierte Beobachtung inkl. Feedback wurde ein Fragebogen bestehend aus Likert-Skalen und Kommentarfeldern für gezieltes Feedback entwickelt. Um die Güte des Prüferverhaltens zu quantifizieren und damit die Wirksamkeit des Trainings zu messen, sollen die Likert-Skalen des Beobachtungsbogens verwendet werden. Diese müssen daher objektiv, reliabel und valide sein. Zur Sicherung der Validität wurde ein Itempool aus der Literatur, Expertenbefragungen und Beobachtung von Prüfern während des OSCE gebildet. Diese Items wurden geclustert und im Zuge von wiederholten Beobachtungszyklen während des OSCE mit verschiedenen Beobachtern überarbeitet, bis sie eindeutig und relevant waren. In der aktuell vorliegenden Form besteht der Mannheimer Feedback-Bogen (Ma-FOP) aus 3 Likert-Skalen: Formale Aspekte (N=4), Aufmerksamkeit (N=3) und Neutralität (N=4). Mit der vorliegenden Studie sollten folgende Fragen beantwortet werden: Sind die Skalen empirisch nachvollziehbar? Wie hoch sind die Beobachterübereinstimmung und die Reliabilität der Skalen?

Methoden: Zwischen April und Juli 2014 wurden insgesamt 20 Prüfer während 4 OSCE zweimal von je 2 Beobachtern gleichzeitig mit dem Ma-FOP beobachtet. Zur Bestimmung der Skalenhomogenität wurde eine Mokken-Analyse durchgeführt. Die Beobachterübereinstimmung wurde über eine Rangkorrelation nach Spearman und die Reliabilität mit Cronbachs α bestimmt.

Ergebnisse: Die Mokken-Analyse zeigte, dass zwei der ursprünglichen Skalen zu einer Skala gehören. Der Ma-FOP besteht nun aus den beiden Skalen Prüferverhalten und Ablenkung (urspr. Aufmerksamkeit). Die Beobachterübereinstimmung liegt bei 0,93 bzw. 0,88 resp., die Reliabilität bei 0,81 bzw. 0,70 bei Beobachter 1 und 0,83 bzw. 0,66 bei Beobachter 2.

Diskussion/Schlussfolgerung: Mit dem Ma-FOP ist eine zuverlässige und objektive Messung des Prüferverhaltens möglich, damit kann er als Grundlage für eine Wirksamkeitsmessung des OSCE-Prüfer-Trainings dienen. Problematisch ist, dass der Untersuchung ein externes Validitätskriterium fehlt.