Article
Weshalb schlechte Studierende so gut für die Reliabilität von Prüfungen sind: Einfluss von Ausreißern und Korrekturverfahren
Search Medline for
Authors
Published: | September 18, 2012 |
---|
Outline
Text
Fragestellung: Zur Qualitätssicherung von Prüfungen gehört die Kontrolle ihrer Messzuverlässigkeit (Realibilität). Entsprechende Kennmaße, wie z. B. die interne Konsistenz (Cronbachs α) sind jedoch wenig robust. Einzelne wenige Teilnehmer – in der Praxis meist außergewöhnlich schlechte Studierende – beeinflussen diese erheblich [1], [2], was häufig zu einer unrealistischen Überschätzung der Reliabilität führt. Dies wiederum erschwert eine zeitlich "kontinuierliche“ Kontrolle der Prüfungsqualität eines Fachs. Ziel der Studie war die Entwicklung einer Vorgehensweise, die bei den üblichen in medizinischen Prüfungen auftretenden Bedingungen eine stabile Schätzung von Kenngrößen der Reliabilität erlaubt. Methode: Aus der Literatur bekannte Verfahren zur Ausreißeridentifikation [3] werden einem Verfahren gegenüber gestellt, welches eine Gewichtung der Daten auf Annahme einer eingipfligen Punkteverteilung vornimmt. Eigenschaften der Verfahren werden an theoretischen und empirischen Beispielen (Beta-Binomial-Verteilungen bzw. Klausuren an der Medizinischen Fakultät Heidelberg) dargestellt und verglichen.
Ergebnisse: Verfahren, die implizit symmetrisch verteilte Punktwerte annehmen, identifizieren zu viele Daten als Ausreißer und unterschätzen dadurch die Reliabilität. Andere Verfahren, die auf lokalen Dichteschätzungen beruhen, sind jedoch erst bei hohen Teilnehmerzahlen anwendbar. Das vorgestellte Gewichtungsverfahren liefert dagegen bereits bei mittelgroßen Teilnehmerzahlen (ab 30-40) befriedigende Resultate.
Schlussfolgerung: Das vorgestellte Gewichtungsverfahren ist im Vergleich zu allgemeinen Methoden der Ausreißeridentifikation besser geeignet, robuste Schätzungen der Messzuverlässigkeit zu gewinnen.
Literatur
- 1.
- Christmann A, van Aelst S. Robust estimation of Cronbach's alpha. J Multi Anal. 2006;97(7):1660-1674. DOI: 10.1016/j.jmva.2005.05.012
- 2.
- Liu Y, Wu AD, Zumbo BD. The impact of outliers on Cronbach's coefficient alpha estimate of reliability: Ordinal/rating scale item responses. Educ Psychol Measure. 2010;70(1):5-21. DOI: 10.1177/0013164409344548
- 3.
- Wobbe P. Zijlstra WP, van der Ark LA, Sijtsma K. Outliers in questionnaire data: can they be detected and should they be removed? J Educ Behavl Stat. 2011;36(2):186-212. DOI: 10.3102/1076998610366263