gms | German Medical Science

Joint congress of the Gesellschaft für Medizinische Ausbildung (GMA) and the Arbeitskreis zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ)

20.09. - 23.09.2017, Münster

Quantitative Analyse von Prüfereffekten bei OSCEs

Meeting Abstract

  • corresponding author presenting/speaker Andreas Möltner - Ruprecht-Karls Universität Heidelberg, Medizinische Fakultät, Heidelberg, Germany
  • Andreas Fleig - Ruprecht-Karls Universität Heidelberg, Medizinische Fakultät, Heidelberg, Germany
  • Mirka Burkert - Ruprecht-Karls Universität Heidelberg, Medizinische Fakultät, Heidelberg, Germany
  • Sabrina Stotz - Ruprecht-Karls Universität Heidelberg, Medizinische Fakultät, Heidelberg, Germany
  • Nicole Deis - Ruprecht-Karls Universität Heidelberg, Medizinische Fakultät, Heidelberg, Germany

Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) und des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ). Münster, 20.-23.09.2017. Düsseldorf: German Medical Science GMS Publishing House; 2017. Doc102

doi: 10.3205/17gma102, urn:nbn:de:0183-17gma1028

Published: November 24, 2017

© 2017 Möltner et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. See license information at http://creativecommons.org/licenses/by/4.0/.


Outline

Text

Hintergrund: Es ist zu erwarten, dass zur Prüfung praktischer und kommunikativer Fertigkeiten zukünftig OSCEs Teil des Staatsexamens der Humanmedizin werden. Im Entwurf der zahnärztlichen AppO sind ebenfalls Prüfungen an standardisierten Situationen vorgesehen. Um eine hohe Objektivität und Reliabilität dieses Prüfungsformats zu garantieren, ist eine strukturierte Vorbereitung der Prüfer erforderlich, in denen – etwa an Standardstationen – eine Kontrolle von Prüfereinflüssen auf die Bewertung erfolgt.

Um dies zu standardisieren, ist eine quantitative Analyse der Prüfereffekte erforderlich. Hierzu gibt es jedoch keine einheitliche Vorgehensweise. Verfahren wie die der Generalisierbarkeitstheorie erlauben z.B. eine Modellierung von Mittelwertunterschieden bei der Bewertung (unterschiedlich strenge Prüfer), nicht aber die der bekannten Unterschiede in der Nutzung des Skalenumfangs oder der Trennschärfe.

Ziel der Studie war die Etablierung eines Auswertungsverfahrens, welches die verschiedenen Prüfereffekte quantitativ erfassen kann und damit geeignet ist, auffälliges Prüferverhalten zu identifizieren.

Methoden: OSCE-Prüfungen der Medizinischen Fakultät Heidelberg wurden mittels eines nichtlinearen gemischten Modells, das neben Unterschieden der „Strenge“ der Prüfer auch solche der Skalennutzung und der Trennschärfe erfasst, analysiert.

Ergebnisse: Die verwendete Analyse erlaubt die Identifikation von Prüfern, die sich hinsichtlich der Strenge und Skalennutzung von anderen unterscheiden, Unterschiede in der Trennschärfe sind mit den üblicherweise bei OSCEs zur Verfügung stehenden Datenmengen nicht stabil zu identifizieren.

Diskussion: Das verwendete Verfahren ist zur Identifikation auffälligen Prüfungsverhaltens geeignet. Für die mögliche Nutzung in zukünftigen Staatsexamina sollten bei der Vorbereitung der Prüfer Probedurchläufe mit standardisierten Prüfungskandidaten eingesetzt werden, auffällige Prüfer könnten einer Nachschulung unterzogen oder als Prüfer ausgeschlossen werden.


Literatur

1.
Fuller R, Homer M, Pell G, Hallam J. Managing extremes of assessor judgment within the OSCE. Med Teach. 2017;39(1):58-66. DOI: 10.1080/0142159X.2016.1230189 External link
2.
Möltner A, Schultz JH, Jünger J. Rater effects in OSCEs: Differences in location, dispersion and distinctiveness and their consequences for reliability. AMEE Conference, Lyon, 27-29.08.2012. Lyon: AMEE; 2012.
3.
Royal KD, Hecker KG. Rater errors in clinical performance assessments. J Vet Med Educ. 2016;43(1):5-8. DOI: 10.3138/jvme.0715-112R External link