gms | German Medical Science

Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) und des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ)

20.09. - 23.09.2017, Münster

Zuverlässigkeit von Bestehens-/Nichtbestehensentscheidungen bei Multiple Choice Prüfungen: konditionale Reliabilität vs Cronbachs Alpha

Meeting Abstract

  • corresponding author presenting/speaker Felicitas-Maria Lahner - Universität Bern, IML, Bern, Switzerland
  • Andrea Lörwald - Universität Bern, IML, Bern, Switzerland
  • Sissel Guttormsen - Universität Bern, IML, Bern, Switzerland
  • Martin R. Fischer - Klinikum der LMU München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Germany
  • Sören Huwendiek - Universität Bern, IML, Bern, Switzerland

Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) und des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ). Münster, 20.-23.09.2017. Düsseldorf: German Medical Science GMS Publishing House; 2017. Doc035

doi: 10.3205/17gma035, urn:nbn:de:0183-17gma0351

Veröffentlicht: 24. November 2017

© 2017 Lahner et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Gliederung

Text

Bei summativen Prüfungen ist es wichtig, zuverlässige Bestehens-/Nichtbestehensentscheidungen zu treffen. Typischerweise wird als Maß hierfür Cronbachs Alpha verwendet. Dieser Index ist allerdings kein geeignetes Maß dafür. Die „Standards for Educational Measurement“ empfehlen deshalb die Verwendung konditionaler Reliabilitäten (conditional reliability) [http://www.apa.org/science/programs/testing/standards.aspx], da es mit ihrer Hilfe möglich ist, die Reliabilität für jede Prüfungsleistung (Gesamtpunktzahl) und damit auch für die Bestehensgrenze zu berechnen. Um das Potential von konditionalen Reliabilitäten zu verstehen, möchten wir diese in einer ersten Studie für verschiedene Prüfungsleistungen beschreiben und dabei einen Fokus auf die konditionale Reliabilitäten an der Bestehensgrenze legen sowie diese mit Cronbachs Alpha vergleichen.

Anhand von 35 medizinischen Prüfungen mit inhaltsbasierter Bestehensgrenze berechneten wir mithilfe eines Rasch-Modells die konditionale Reliabilitäten für verschiedene Prüfungsleistungen und verglichen die Werte an den Bestehensgrenzen mittels Varianzanalyse mit Cronbachs Alpha. Als Kontrollvariablen wurden die Fakultät sowie das Ausbildungsjahr inkludiert.

Vorläufige Ergebnisse weisen darauf hin, dass konditionale Reliabilitäten kurvenförmig mit einem Maximum im mittleren Bereich der erreichbaren Punkte und einem Minimum bei der maximal erreichten Punktzahl verlaufen. In den untersuchten Prüfungen liegen alle konditionalen Reliabilitäten an den Bestehensgrenzen nah am Kurvenmaximum und sind signifikant grösser als Cronbachs Alpha. Die Kontrollvariablen hatten keinen signifikanten Einfluss auf das Ergebnis.

Die konditionale Reliabilität an der Bestehensgrenze ist signifikant höher als Cronbachs Alpha. Dies kann wichtige Implikationen für die Prüfungsgestaltung (z.B. benötigte Itemzahl für Reliabilität von .8) haben. Zum besseren Verständnis sind weitere Studien z.B. unter Einbezug von Prüfungen ohne inhaltsbasiertem Standard Setting nötig.