gms | German Medical Science

Prüfer haben sicher einen gewissen Einfluss auf die Beurteilung von Prüfungsleistungen. Von praktischer Relevanz ist, ob dies eine ernsthafte Minderung von Objektivität und Reliabilität zur Folge hat. Ziel der Untersuchung war, bei einem OSCE folgende Prüfereffekte zu analysieren:

1.

systematisch niedrigere oder höhere Bewertungen,

2.

ungleiche Ausnutzung der Bewertungsskalen und

3.

Unterschiede in der Fähigkeit, zwischen „guten“ und „schlechten“ Kandidaten zu differenzieren („Trennschärfe des Prüfers“).

Schließlich sollten

1.

die Auswirkungen dieser Prüfereffekte auf Reliabilität und Messgenauigkeit der Prüfung bestimmt werden.

Vorgestellt wird die Untersuchung des OSCE „Innere Medizin“ des WS 2006/07 an der medizinischen Fakultät Heidelberg. Der OSCE umfasste zwölf Stationen, an denen in zwölf Durchgängen 135 Studierende von insgesamt 39 Prüfern beurteilt wurden. An den einzelnen Stationen waren über den gesamten Prüfungsverlauf hinweg jeweils zwei bis vier verschiedene Prüfer eingesetzt. Unabhängige Mehrfachbewertungen an gleichen Stationen wurden nicht durchgeführt.

Die Analyse der Prüfereffekte (a) und (b) erfolgte mittels konventioneller Gruppenvergleiche der von den Prüfern vergebenen Punktwerte. Für die Fragestellungen (c) und (d) wurden Auswertungen im methodischen Rahmen der Generalisierbarkeitstheorie durchgeführt.

Es konnte gezeigt werden, dass systematische Prüfereffekte der Formen (a), (b) und (c) auftraten und an den Gesamtergebnissen einen signifikanten Anteil hatten, in ihrer Höhe die Reliabilität aber nicht erheblich verminderten. Einzelne Prüfer fielen jedoch durchaus durch deutliche Abweichungen hinsichtlich ihrer Punktvergabe oder ihrer „Trennschärfe“ auf.

Aus dem Ergebnis folgt, dass zur Qualitätssicherung von Prüfungen kontinuierliche Kontrollen auf der Ebene der einzelnen Prüfer erforderlich sind, die dazu dienen, gezielte Prüferschulungen durchzuführen sowie Verbesserungen an Strukturierung und Standardisierung der Stationen vorzunehmen.