gms | German Medical Science

Einführung: Prüfungen müssen reliabel sein. Das Ausmaß der Reliabilität zeigt an, wie viel der wahren Fähigkeit durch die Prüfung aufgeklärt wird. So ist die aufgeklärte Varianz der Fähigkeit 64% bei einer Reliabilität von 0,8. Der Rest sind zufällige Einflüsse z.B. durch Fragen, die nicht nach Leitlinien formuliert sind. Je nachdem, wie groß der Anteil der geschätzten wahren Fähigkeit am gesamten Prüfungsergebnis ist, können mehr oder weniger Teilnehmer fälschlicherweise eine Prüfung bestehen. Downing [1] empfiehlt für Prüfungen mit geringen Konsequenzen eine Reliabilität von Cronbach‘s Alpha von 0,7-0,79, bei mittleren Konsequenzen ein Alpha von >= 0,8 und bei Prüfungen, wie Staatsexamina, ein Alpha von >=90. Es ist möglich, dass zufällig Reliabilitäten erreicht werden, welche den Anteil der aufgeklärten Varianz wahrer Fähigkeiten überschätzen. Aber welche „Fähigkeitsvarianz“ kann unter reinem Zufall aufgeklärt werden? Und wie viel Prozent der Prüflinge könnten unter diesen Umständen bei einer 60%-Bestehensgrenze fälschlicherweise bestehen?

Methode: Es wurden 3000 Stichproben mit rein zufälligen Antworten simuliert. Folgende Faktoren wurden abgestuft: dichotome Items mit Ausprägungen 0 für falsche und 1 für korrekte Antworten (N=10, 20, 30, 30, 50), Personen (N=20, 40, 60, 80) und die Wahrscheinlichkeit einer korrekten Antwort (0,2=MCQ mit fünf Antwortalternativen; 0,25=MCQ mit vier Antwortalternativen; 0,5=Richtig-Falsch-Fragen). Pro Kombination wurden 150 Stichproben gezogen. Für jede Stichprobe wurde Cronbachs Alpha und der Anteil von Personen bestimmt, welche den Test aufgrund der 60%-Bestehensgrenze bestehen würden.

Ergebnis: Von den 3000 Stichproben hatten 23% ein Alpha von >=0,6 (N=696); 13% ein Alpha von >=0,70 (N=395); 4% ein Alpha von >=0,8 (N=108) und 0% ein Alpha von >=0,9 (N=0). Ab einer Reliabilität von 0,6 haben M=39% (SD=23%) fälschlicherweise bestanden, ab einer Reliabilität von 0,7: M=42% (SD=22%), ab einer Reliabilität von 0,8: M=47% (SD=20%). In dem Vortrag werden die Ergebnisse auch aufgeschlüsselt nach den Faktorabstufungen.

Diskussion: Obwohl die simulierten Stichproben ausschließlich zufällige Antworten beinhalten, konnten Reliabilitäten gemessen werden, welche z.T. den Standardanforderungen einer Prüfung entsprechen. Das deutet darauf hin, dass die Standards zu niedrig sind. Der hohe Anteil von bestandenen Prüfungen in diesen Simulationen muss weitere Analysen nach sich ziehen.

Die Autorin erklärt, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel hat.