gms | German Medical Science

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)

19.09. - 22.09.2018, Wien, Österreich

Warum ist die prädiktive Validität von Auswahltests so gering? [Bericht über Forschungsergebnisse]

Meeting Abstract

  • presenting/speaker H. Meyer - Universitätsklinikum Hamburg-Eppendorf, Institut für Biochemie und Molekulare Zellbiologie, Hamburg, Germany
  • D. Klusmann - Universitätsklinikum Hamburg-Eppendorf, Institut für Biochemie und Molekulare Zellbiologie, Hamburg, Germany
  • S. Zimmermann - Universitätsklinikum Hamburg-Eppendorf, Institut für Biochemie und Molekulare Zellbiologie, Hamburg, Germany
  • J. Hissbach - Universitätsklinikum Hamburg-Eppendorf, Institut für Biochemie und Molekulare Zellbiologie, Hamburg, Germany
  • W. Hampe - Universitätsklinikum Hamburg-Eppendorf, Institut für Biochemie und Molekulare Zellbiologie, Hamburg, Germany

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Wien, 19.-22.09.2018. Düsseldorf: German Medical Science GMS Publishing House; 2018. DocP22.3

doi: 10.3205/18gma355, urn:nbn:de:0183-18gma3557

Published: September 19, 2018

© 2018 Meyer et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. See license information at http://creativecommons.org/licenses/by/4.0/.


Outline

Text

Problemstellung/Ziele: Zur Medizinstudierendenauswahl werden zusätzlich zur Abiturnote kognitive Fähigkeitstests eingesetzt. Deren Korrelation mit dem Studienerfolg ist gering.

Methoden: Wir analysieren die prädiktive Validität eines naturwissenschaftlichen Wissenstests (HAM-Nat) für den Studienerfolg unter Berücksichtigung der Schulleistung. Von 2012 bis 2015 waren 1565 Medizinstudenten am Universitätsklinikum Hamburg-Eppendorf (UKE) eingeschrieben. Die Hälfte von ihnen wurde über die Quoten „Abiturbeste“, „Wartezeit“ und „Nicht-EU-Ausländer“ zugelassen. Die andere Hälfte wurde mit dem HAM-Nat ausgewählt, an dem 3511 Bewerber teilnahmen.

Ergebnisse: Während zwischen HAM-Nat und Schulleistung innerhalb der gesamten Bewerberkohorte eine Nullkorrelation bestand, war sie unter den zugelassenen Bewerbern aufgrund des Kompensationseffektes stark negativ (r=-.52). Die Korrelation zwischen HAM-Nat und Studienerfolg war unter Kontrolle der Abiturnote r=.21 und r=.30 nach Korrektur der Varianzeinschränkung. Eine besonders gute Studienerfolgsprognose liefern die Zulassungsquoten „Abiturbeste“ und „Testquote“ im Vergleich zu „Wartezeit“ und „Nicht-EU-Ausländer“.

Diskussion/Schlussfolgerungen: Mögliche Erklärungen für die niedrige Korrelation zwischen HAM-Nat und Studienerfolg:

1.
Die Selbstselektion der Bewerber führt zu einem mit Psychometrie nicht nachweisbaren Effekt auf den Validitätskoeffizienten.
2.
Die notwendige Differenzierung im hohen Leistungsbereich führt zu einer Testschwierigkeit, die teilweise über die Anforderungen im Studium hinausgeht.
3.
Die starke Selektion verringert die Varianz von Prädiktoren und Studienerfolg, so dass deren Korrektur weniger zuverlässig wird.
4.
Die Outcomemaße sind möglicherweise nicht valide bzw. das Studium als solches hat sich qualitativ verändert (Modellstudiengang).

Der Nutzen eines Auswahltests wird nicht vollständig durch seine prädiktive Validität widergespiegelt. Da die bloße Existenz eines Auswahltests schon eine Wirkung ausübt, können Auswahltests unterschätzt werden, wenn sie nur anhand der Test-Outcome-Korrelation beurteilt werden.