gms | German Medical Science

Problemstellung/Ziele: Zur Beurteilung nichtakademischer und zwischenmenschlicher Fähigkeiten in der Medizinstudierendenauswahl haben sich in den letzten Jahren Situational Judgement Tests verbreitet. Es wurden einige signifikante Korrelationen zu verschiedenen Studienleistungen gefunden, jedoch sind Probleme bezüglich interner Konsistenz und Validität weiterhin aktuell.

Methoden: Im Rahmen des Zulassungsverfahrens 2016 am Universitätsklinikum Hamburg-Eppendorf (UKE) pilotierten wir einen kontextualisierten SJT, der eine zufriedenstellende interne Konsistenz (α=.62) und signifikante Korrelation zum multiplen Mini-Interview (MMI) (r=0,22, p=0,004) erbrachte. Wir analysierten die prädiktive Validität dieses SJTs mit Supervisor-Ratings, die im 3. Semester während eines einwöchigen Pflichtpraktikums in einer Allgemeinmedizinpraxis erhoben wurden. Um die Reliabilitäts- und Validitätsergebnisse weiter zu verbessern, haben wir 2017 eine modifizierte SJT-Version pilotiert, die mehr Szenarien aber weniger Antwortalternativen pro Szenario enthielt.

Ergebnisse: Korrelationen des SJT₂₀₁₆ zu verschiedenen Aspekten der Supervisor-Ratings erreichten keine Signifikanz. Entgegen unserer Erwartungen sank die interne Konsistenz des modifizierten SJT₂₀₁₇ (α=.52) und es gab weder eine signifikante Korrelation zum MMI-Gesamtwert (r=-. 052, p=.470) noch zum Ergebnis einer einzelnen Station, die eine mündliche Version eines SJT-Szenarios darstellte (r=-. 029, p=.684).

Diskussion/Schlussfolgerungen: Die signifikante Korrelation zum MMI konnte 2017 nicht repliziert werden und in unserem Fall erwies sich das Prinzip „je mehr Items, desto besser die Reliabilität“ nicht als richtig. Die SJT-Leistung im Jahr 2016 und Supervisor-Ratings ein Jahr später waren nicht korreliert. Neben konsistenten Ergebnissen zu Reliabilität und Prädiktivität von SJTs sind Fragen zur Konstruktvalidität weiterhin offen. Wir hoffen, diese mit dem Einsatz eines konstruktbasierten SJTs in 2019 besser beantworten zu können.