gms | German Medical Science

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)

16.11. - 18.11.2007, Hannover

Einfluss der Prüfer auf die Bewertungen in einem OSCE

Vortrag/Lecture

  • corresponding author Andreas Möltner - Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin, Heidelberg, Deutschland
  • author Christoph Nikendei - Universität Heidelberg, Heidelberg, Deutschland
  • author Jobst-Hendrik Schultz - Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin, Heidelberg, Deutschland
  • author Jana Jünger - Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin, Heidelberg, Deutschland

Jahrestagung der Gesellschaft für Medizinische Ausbildung - GMA. Hannover, 16.-18.11.2007. Düsseldorf: German Medical Science GMS Publishing House; 2007. Doc07gma171

The electronic version of this article is the complete one and can be found online at: http://www.egms.de/en/meetings/gma2007/07gma171.shtml

Published: November 14, 2007

© 2007 Möltner et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Outline

Text

Prüfer haben sicher einen gewissen Einfluss auf die Beurteilung von Prüfungsleistungen. Von praktischer Relevanz ist, ob dies eine ernsthafte Minderung von Objektivität und Reliabilität zur Folge hat. Ziel der Untersuchung war, bei einem OSCE folgende Prüfereffekte zu analysieren:

1.
systematisch niedrigere oder höhere Bewertungen,
2.
ungleiche Ausnutzung der Bewertungsskalen und
3.
Unterschiede in der Fähigkeit, zwischen „guten“ und „schlechten“ Kandidaten zu differenzieren („Trennschärfe des Prüfers“).

Schließlich sollten

1.
die Auswirkungen dieser Prüfereffekte auf Reliabilität und Messgenauigkeit der Prüfung bestimmt werden.

Vorgestellt wird die Untersuchung des OSCE „Innere Medizin“ des WS 2006/07 an der medizinischen Fakultät Heidelberg. Der OSCE umfasste zwölf Stationen, an denen in zwölf Durchgängen 135 Studierende von insgesamt 39 Prüfern beurteilt wurden. An den einzelnen Stationen waren über den gesamten Prüfungsverlauf hinweg jeweils zwei bis vier verschiedene Prüfer eingesetzt. Unabhängige Mehrfachbewertungen an gleichen Stationen wurden nicht durchgeführt.

Die Analyse der Prüfereffekte (a) und (b) erfolgte mittels konventioneller Gruppenvergleiche der von den Prüfern vergebenen Punktwerte. Für die Fragestellungen (c) und (d) wurden Auswertungen im methodischen Rahmen der Generalisierbarkeitstheorie durchgeführt.

Es konnte gezeigt werden, dass systematische Prüfereffekte der Formen (a), (b) und (c) auftraten und an den Gesamtergebnissen einen signifikanten Anteil hatten, in ihrer Höhe die Reliabilität aber nicht erheblich verminderten. Einzelne Prüfer fielen jedoch durchaus durch deutliche Abweichungen hinsichtlich ihrer Punktvergabe oder ihrer „Trennschärfe“ auf.

Aus dem Ergebnis folgt, dass zur Qualitätssicherung von Prüfungen kontinuierliche Kontrollen auf der Ebene der einzelnen Prüfer erforderlich sind, die dazu dienen, gezielte Prüferschulungen durchzuführen sowie Verbesserungen an Strukturierung und Standardisierung der Stationen vorzunehmen.