Artikel
Einfluss von Prüfermerkmalen auf die Interrater-Reliabilität im Düsseldorfer CoMeD – OSCE zur Prüfung kommunikativer Kompetenzen
Suche in Medline nach
Autoren
Veröffentlicht: | 18. September 2012 |
---|
Gliederung
Text
Einleitung: Im Düsseldorfer CoMeD-OSCE wird die kommunikative Kompetenz an vier Stationen mit dem Berliner Global Rating (BGR) bewertet, das vier Items enthält: "Empathie“, "Struktur“, "Verbaler Ausdruck“, "Nonverbaler Ausdruck“. Diese Sekundäranalyse untersucht die Beurteilungsübereinstimmung zweier Prüfer abhängig von der Ähnlichkeit dieser beiden Prüfer.
Methoden: 169 OSCE-Gespräche wurden von jeweils zwei Prüfern beurteilt. Dabei fanden sich 16 Raterpaare mit unterschiedlicher Ähnlichkeit bezogen auf Geschlecht, Prüfungserfahrung, Rater-Schulungsteilnahme sowie Tätigkeit in der Patientenversorgung. Score-Abweichungen wurden verglichen und Intraklassenkorrelationen (ICC) berechnet.
Ergebnisse: Die Abweichungen der Prüfer unterscheiden sich nicht zwischen Paaren mit unterschiedlicher Ähnlichkeit bezogen auf Prüfungserfahrung und Rater-Schulungsteilnahme. Gleichgeschlechtliche Raterpaare stimmen besser überein als gemischtgeschlechtliche (U-Test, p=0,001; ICC 0,76 vs. 0,41). Paare, bei denen beide Rater klinisch tätig sind, stimmen besser überein als Paare mit, bei denen nur einer oder keiner der Rater in der Patientenversorgung tätig ist (H-Test, p<0,001; ICC 0,73 vs. 0,56 vs. 0,47).
Schlussfolgerungen: Diese explorative Analyse weist darauf hin, dass die Reliabilität des Kommunikations-OSCE von der Art der eingesetzten Rater abhängt. Sowohl das Geschlecht als auch die klinische Tätigkeit scheinen die Bewertung zu beeinflussen. Neben der Auswahl der Prüfer ist auch das Schulungskonzept zu überdenken, da die Teilnahme an vorhergehenden Rater-Schulungen keinen Effekt auf die Rater-Übereinstimmung zeigte [1], [2], [3].
Literatur
- 1.
- Hodges B, McIlroy JH. Analytic global OSCE ratings are sensitive to level of training. Med Educ. 2003;37(11):1012-1016. DOI: 10.1046/j.1365-2923.2003.01674.x
- 2.
- Mortsiefer A, Rotthoff T, Schmelzer R, Immecke J, Ortmanns B, in der Schmitten J, Altiner A, Karger A. Implementation of the interdisciplinary curriculum Teaching and Assessing Communicative Competence in the fourth academic year of medical studies (CoMeD). GMS Z Med Ausbild. 2012;29(1):Doc06. DOI: 10.3205/zma000776
- 3.
- Scheffer S, Muehlinghaus I, Froehmel A, Ortwein H. Assessing students' communication skills: validation of a global rating. Adv Health Sci Educ Theory Pract. 2008;13(5):583-592. DOI: 10.1007/s10459-007-9074-2