gms | German Medical Science

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)

14.09. - 16.09.2023, Osnabrück

Die psychometrischen Eigenschaften der Berliner Global Rating Skala (BGR) in anwendungsbezogenen Parcoursprüfungen (aoPP) des Studiengangs Psychotherapie sowie die Anwendbarkeit der Skala im Lehrkontext zur Prüfungsvorbereitung

Meeting Abstract

  • presenting/speaker Carolyn Nelles - Medizinische Hochschule Brandenburg Theodor Fontane, Abteilung Psychologie, Deutschland; salus Klinik Lindow, Lindow, Deutschland
  • presenting/speaker Sylke Langenbeck - Charité – Universitätsmedizin, Prodekanat für Studium und Lehre, Team Spezielle Lehrformate, Simulationspersonenprogramm, Deutschland
  • Johannes Lindenmeyer - Medizinische Hochschule Brandenburg Theodor Fontane, Abteilung Psychologie, Deutschland; salus Klinik Lindow, Lindow, Deutschland

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Osnabrück, 14.-16.09.2023. Düsseldorf: German Medical Science GMS Publishing House; 2023. DocV-10-04

doi: 10.3205/23gma057, urn:nbn:de:0183-23gma0573

Published: September 11, 2023

© 2023 Nelles et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. See license information at http://creativecommons.org/licenses/by/4.0/.


Outline

Text

Fragestellung/Zielsetzung: Die BGR wird in Deutschland seit 2008 in medizinischen OSCEs als Bewertungsskala zur Erhebung von kommunikativen Kompetenzen [1], [2] eingesetzt. Im psychotherapeutischen Setting spiegeln die vier BGR-Dimensionen Empathie, Struktur, verbales und nonverbales Verhalten relevante Aspekte der Psychotherapeutischen Basiskompetenzen wider [3]. Deshalb wurde die BGR seit 2022 in anwendungsbezogenen Parcoursprüfungen (aoPP), als Teil der Approbationsprüfung, in der Psychotherapie eingesetzt. Zudem findet die Skala an der Medizinischen Hochschule Brandenburg (MHB) und der Charité-Universitätsmedizin, Berlin, Verwendung in praktischen Lehrveranstaltungen, z.B. zur Prüfungsvorbereitung. Hieraus ergeben sich die Fragestellungen, ob die BGR fachübergreifend in aoPP reliabel anwendbar und ob der Einsatz der BGR in praktischen Lehrformaten im Sinne einer vergleichbaren Handhabung durch Studierende und Prüfende sinnvoll ist.

Methoden: An der MHB wurde eine Online-Prüfung im Format der aoPP durchgeführt. 39 Master-Studierende durchliefen 2 Parcours à 5 Stationen. Jede Station dauerte 20 Minuten und war von 2 Prüfer*innen besetzt. Hierbei beurteilten Prüfer*innen und Simulationspersonen (SP) mit der BGR die Basiskompetenzen der Prüflinge direkt innerhalb der Prüfung. Die Prüflinge beurteilten sich gegenseitig im Nachgang der Prüfung mittels Videoaufnahmen anhand der BGR in zwei Stationen eines Kompetenzbereichs der aoPP. Es wurde eine Generalisierbarkeitsstudie auf Basis der Prüfer*innenurteile aller Stationen durchgeführt. Um zu ermitteln, ob verschiedene Nutzer*innengruppen die BGR verschieden verwenden, wurden die BGR-Beurteilungen von Prüfer*innen, SP und Studierenden mittels einer Varianzanalyse verglichen. Zudem wurden die Intraklassen-Korrelationskoeffizienten (ICC) berechnet.

Ergebnisse: Der Generalisierbarkeitskoeffizient über die Gesamtprüfung lag bei G=.73. Die Mittelwerte der drei Gruppen unterschieden sich in Parcours 2 nicht signifikant. In Parcours 1 unterschieden sich die Werte der Prüfer*innengruppe von denen der anderen beiden Gruppen F(2, 34)=11,7, p<.001, partieller η²=.408. Die ICC in Bezug auf die drei Gruppen betrugen .82 für Parcours 1 und .86 für Parcours 2.

Diskussion: In dieser exploratorischen Studie deutet sich an, dass die Hauptvarianz in der Bewertung auf die gezeigten Basiskompetenzen der Studierenden rückführbar ist. Dies dient als erster Hinweis, dass die BGR auch in anderen Fachbereichen als der Medizin standardisiert anwendbar ist. Es zeichnet sich nur teilweise ab, dass verschiedene Nutzer*innengruppen mittels der BGR unterschiedlich bewerten.

Take Home Messages: Um die Handhabung der BGR durch verschiedene Nutzer*innengruppen weiter anzunähern erscheint es sinnvoll, Verhaltensanker über verschiedene Gruppen hinweg standardisiert festzulegen mittels abgestimmter Schulungen für Studierende und Prüfer*innen. Weitere Untersuchungen zu Ermittlung der Validität der BGR im psychotherapeutischen Kontext sind notwendig.


Literatur

1.
Hodges B, McIlroy J H. Analytic global OSCE ratings are sensitive to level of training. Med Educ. 2003;37(11):1012-1016. DOI: 10.1046/j.1365-2923.2003.01674.x External link
2.
Scheffer S, Muehlinghaus I, Froehmel A, Ortwein H. Assessing students’ communication skills: validation of a global rating. Adv Health Sci Educ Theory Pract. 2008;13(5):583-592. DOI: 10.1007/s10459-007-9074-2 External link
3.
Brakemeier EL, Taubner S, Schwinger M, Wilhelm O, Rief W. Empfehlungen zur Gestaltung und Qualitätskontrolle der anwendungsorientierten Parcoursprüfung in der psychotherapeutischen Approbation. Psychol Rundschau. 2022;73(1):54-66. DOI: 10.1026/0033-3042/a000582 External link