gms | German Medical Science

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)

16.11. - 18.11.2007, Hannover

Einfluss der Prüfer auf die Bewertungen in einem OSCE

Vortrag/Lecture

  • corresponding author Andreas Möltner - Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin, Heidelberg, Deutschland
  • author Christoph Nikendei - Universität Heidelberg, Heidelberg, Deutschland
  • author Jobst-Hendrik Schultz - Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin, Heidelberg, Deutschland
  • author Jana Jünger - Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin, Heidelberg, Deutschland

Jahrestagung der Gesellschaft für Medizinische Ausbildung - GMA. Hannover, 16.-18.11.2007. Düsseldorf: German Medical Science GMS Publishing House; 2007. Doc07gma171

Die elektronische Version dieses Artikels ist vollständig und ist verfügbar unter: http://www.egms.de/de/meetings/gma2007/07gma171.shtml

Veröffentlicht: 14. November 2007

© 2007 Möltner et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielf&aauml;ltigt, verbreitet und &oauml;ffentlich zug&aauml;nglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Gliederung

Text

Prüfer haben sicher einen gewissen Einfluss auf die Beurteilung von Prüfungsleistungen. Von praktischer Relevanz ist, ob dies eine ernsthafte Minderung von Objektivität und Reliabilität zur Folge hat. Ziel der Untersuchung war, bei einem OSCE folgende Prüfereffekte zu analysieren:

1.
systematisch niedrigere oder höhere Bewertungen,
2.
ungleiche Ausnutzung der Bewertungsskalen und
3.
Unterschiede in der Fähigkeit, zwischen „guten“ und „schlechten“ Kandidaten zu differenzieren („Trennschärfe des Prüfers“).

Schließlich sollten

1.
die Auswirkungen dieser Prüfereffekte auf Reliabilität und Messgenauigkeit der Prüfung bestimmt werden.

Vorgestellt wird die Untersuchung des OSCE „Innere Medizin“ des WS 2006/07 an der medizinischen Fakultät Heidelberg. Der OSCE umfasste zwölf Stationen, an denen in zwölf Durchgängen 135 Studierende von insgesamt 39 Prüfern beurteilt wurden. An den einzelnen Stationen waren über den gesamten Prüfungsverlauf hinweg jeweils zwei bis vier verschiedene Prüfer eingesetzt. Unabhängige Mehrfachbewertungen an gleichen Stationen wurden nicht durchgeführt.

Die Analyse der Prüfereffekte (a) und (b) erfolgte mittels konventioneller Gruppenvergleiche der von den Prüfern vergebenen Punktwerte. Für die Fragestellungen (c) und (d) wurden Auswertungen im methodischen Rahmen der Generalisierbarkeitstheorie durchgeführt.

Es konnte gezeigt werden, dass systematische Prüfereffekte der Formen (a), (b) und (c) auftraten und an den Gesamtergebnissen einen signifikanten Anteil hatten, in ihrer Höhe die Reliabilität aber nicht erheblich verminderten. Einzelne Prüfer fielen jedoch durchaus durch deutliche Abweichungen hinsichtlich ihrer Punktvergabe oder ihrer „Trennschärfe“ auf.

Aus dem Ergebnis folgt, dass zur Qualitätssicherung von Prüfungen kontinuierliche Kontrollen auf der Ebene der einzelnen Prüfer erforderlich sind, die dazu dienen, gezielte Prüferschulungen durchzuführen sowie Verbesserungen an Strukturierung und Standardisierung der Stationen vorzunehmen.