gms | German Medical Science

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)

27.09. - 29.09.2012, Aachen

Einfluss von Prüfermerkmalen auf die Interrater-Reliabilität im Düsseldorfer CoMeD – OSCE zur Prüfung kommunikativer Kompetenzen

Vortrag

  • corresponding author Achim Mortsiefer - Heinrich-Heine Universität Düsseldorf, Medizinische Fakultät, Institut für Allgemeinmedizin, Düsseldorf, Deutschland
  • Thomas Rotthoff - Universität Düsseldorf, Medizinische Fakultät, Studiendekanat und Klinik für Endokrinologie, Diabetologie und Rheumatologie, Düsseldorf, Deutschland
  • André Karger - Universität Düsseldorf, Medizinische Fakultät, Klinisches Institut für Psychosomatische Medizin und Psychotherapie, Düsseldorf, Deutschland
  • Bianca Raski - Universität Düsseldorf, Medizinische Fakultät, Klinisches Institut für Psychosomatische Medizin und Psychotherapie, Düsseldorf, Deutschland
  • Regine Schmelzer - Universität Düsseldorf, Medizinische Fakultät, Klinisches Institut für Psychosomatische Medizin und Psychotherapie, Düsseldorf, Deutschland
  • Jürgen in der Schmitten - Universität Düsseldorf, Medizinische Fakultät, Institut für Allgemeinmedizin, Düsseldorf, Deutschland
  • Michael Pentzek - Universität Düsseldorf, Medizinische Fakultät, Institut für Allgemeinmedizin, Düsseldorf, Deutschland

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Aachen, 27.-29.09.2012. Düsseldorf: German Medical Science GMS Publishing House; 2012. DocV593

doi: 10.3205/12gma223, urn:nbn:de:0183-12gma2234

Veröffentlicht: 18. September 2012

© 2012 Mortsiefer et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielf&aauml;ltigt, verbreitet und &oauml;ffentlich zug&aauml;nglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Gliederung

Text

Einleitung: Im Düsseldorfer CoMeD-OSCE wird die kommunikative Kompetenz an vier Stationen mit dem Berliner Global Rating (BGR) bewertet, das vier Items enthält: "Empathie“, "Struktur“, "Verbaler Ausdruck“, "Nonverbaler Ausdruck“. Diese Sekundäranalyse untersucht die Beurteilungsübereinstimmung zweier Prüfer abhängig von der Ähnlichkeit dieser beiden Prüfer.

Methoden: 169 OSCE-Gespräche wurden von jeweils zwei Prüfern beurteilt. Dabei fanden sich 16 Raterpaare mit unterschiedlicher Ähnlichkeit bezogen auf Geschlecht, Prüfungserfahrung, Rater-Schulungsteilnahme sowie Tätigkeit in der Patientenversorgung. Score-Abweichungen wurden verglichen und Intraklassenkorrelationen (ICC) berechnet.

Ergebnisse: Die Abweichungen der Prüfer unterscheiden sich nicht zwischen Paaren mit unterschiedlicher Ähnlichkeit bezogen auf Prüfungserfahrung und Rater-Schulungsteilnahme. Gleichgeschlechtliche Raterpaare stimmen besser überein als gemischtgeschlechtliche (U-Test, p=0,001; ICC 0,76 vs. 0,41). Paare, bei denen beide Rater klinisch tätig sind, stimmen besser überein als Paare mit, bei denen nur einer oder keiner der Rater in der Patientenversorgung tätig ist (H-Test, p<0,001; ICC 0,73 vs. 0,56 vs. 0,47).

Schlussfolgerungen: Diese explorative Analyse weist darauf hin, dass die Reliabilität des Kommunikations-OSCE von der Art der eingesetzten Rater abhängt. Sowohl das Geschlecht als auch die klinische Tätigkeit scheinen die Bewertung zu beeinflussen. Neben der Auswahl der Prüfer ist auch das Schulungskonzept zu überdenken, da die Teilnahme an vorhergehenden Rater-Schulungen keinen Effekt auf die Rater-Übereinstimmung zeigte [1], [2], [3].


Literatur

1.
Hodges B, McIlroy JH. Analytic global OSCE ratings are sensitive to level of training. Med Educ. 2003;37(11):1012-1016. DOI: 10.1046/j.1365-2923.2003.01674.x Externer Link
2.
Mortsiefer A, Rotthoff T, Schmelzer R, Immecke J, Ortmanns B, in der Schmitten J, Altiner A, Karger A. Implementation of the interdisciplinary curriculum Teaching and Assessing Communicative Competence in the fourth academic year of medical studies (CoMeD). GMS Z Med Ausbild. 2012;29(1):Doc06. DOI: 10.3205/zma000776 Externer Link
3.
Scheffer S, Muehlinghaus I, Froehmel A, Ortwein H. Assessing students' communication skills: validation of a global rating. Adv Health Sci Educ Theory Pract. 2008;13(5):583-592. DOI: 10.1007/s10459-007-9074-2 Externer Link