gms | German Medical Science

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)

27.09. - 29.09.2012, Aachen

Weshalb schlechte Studierende so gut für die Reliabilität von Prüfungen sind: Einfluss von Ausreißern und Korrekturverfahren

Vortrag

Search Medline for

  • corresponding author Andreas Möltner - Universitätsklinikum Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin, Heidelberg, Deutschland
  • Jana Jünger - Universität Heidelberg, Heidelberg, Deutschland
  • Jobst-Hendrik Schultz - Universität Heidelberg, Heidelberg, Deutschland

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Aachen, 27.-29.09.2012. Düsseldorf: German Medical Science GMS Publishing House; 2012. DocV578

doi: 10.3205/12gma213, urn:nbn:de:0183-12gma2134

Published: September 18, 2012

© 2012 Möltner et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Outline

Text

Fragestellung: Zur Qualitätssicherung von Prüfungen gehört die Kontrolle ihrer Messzuverlässigkeit (Realibilität). Entsprechende Kennmaße, wie z. B. die interne Konsistenz (Cronbachs α) sind jedoch wenig robust. Einzelne wenige Teilnehmer – in der Praxis meist außergewöhnlich schlechte Studierende – beeinflussen diese erheblich [1], [2], was häufig zu einer unrealistischen Überschätzung der Reliabilität führt. Dies wiederum erschwert eine zeitlich "kontinuierliche“ Kontrolle der Prüfungsqualität eines Fachs. Ziel der Studie war die Entwicklung einer Vorgehensweise, die bei den üblichen in medizinischen Prüfungen auftretenden Bedingungen eine stabile Schätzung von Kenngrößen der Reliabilität erlaubt. Methode: Aus der Literatur bekannte Verfahren zur Ausreißeridentifikation [3] werden einem Verfahren gegenüber gestellt, welches eine Gewichtung der Daten auf Annahme einer eingipfligen Punkteverteilung vornimmt. Eigenschaften der Verfahren werden an theoretischen und empirischen Beispielen (Beta-Binomial-Verteilungen bzw. Klausuren an der Medizinischen Fakultät Heidelberg) dargestellt und verglichen.

Ergebnisse: Verfahren, die implizit symmetrisch verteilte Punktwerte annehmen, identifizieren zu viele Daten als Ausreißer und unterschätzen dadurch die Reliabilität. Andere Verfahren, die auf lokalen Dichteschätzungen beruhen, sind jedoch erst bei hohen Teilnehmerzahlen anwendbar. Das vorgestellte Gewichtungsverfahren liefert dagegen bereits bei mittelgroßen Teilnehmerzahlen (ab 30-40) befriedigende Resultate.

Schlussfolgerung: Das vorgestellte Gewichtungsverfahren ist im Vergleich zu allgemeinen Methoden der Ausreißeridentifikation besser geeignet, robuste Schätzungen der Messzuverlässigkeit zu gewinnen.


Literatur

1.
Christmann A, van Aelst S. Robust estimation of Cronbach's alpha. J Multi Anal. 2006;97(7):1660-1674. DOI: 10.1016/j.jmva.2005.05.012 External link
2.
Liu Y, Wu AD, Zumbo BD. The impact of outliers on Cronbach's coefficient alpha estimate of reliability: Ordinal/rating scale item responses. Educ Psychol Measure. 2010;70(1):5-21. DOI: 10.1177/0013164409344548 External link
3.
Wobbe P. Zijlstra WP, van der Ark LA, Sijtsma K. Outliers in questionnaire data: can they be detected and should they be removed? J Educ Behavl Stat. 2011;36(2):186-212. DOI: 10.3102/1076998610366263 External link