gms | German Medical Science

Fragestellung/Zielsetzung: Während schriftliche Zulassungsverfahren durch Messung der kognitiven Fähigkeiten von Studienbewerber*innen gewisse prädiktive Vorhersagen über den zukünftigen Studienerfolg erlauben, ist die Bewertung der für den Arztberuf ebenso wichtigen kommunikativen Fertigkeiten und moralischen Haltungen auf Grund der starken Kontextspezifizität dieser Eigenschaften eine methodische Herausforderung [1]. Multiple Mini Interviews (MMI) – mehrere, in Stationen organisierte Kurzinterviews – ermöglichen die strukturierte und reliable Erfassung nicht-kognitiver Kompetenzen [2] sowie prädiktive Aussagen über Studienerfolge in diesen Bereichen [3]. Seit 2018 sind MMIs Teil des Aufnahmeverfahrens der Karl Landsteiner Privatuniversität (KL) – die Zahl der Stationen ist mit 6 Stationen und 8 Bewertern aus logistischen Gründen niedriger als im internationalen Vergleich (8-12 Stationen). Im Rahmen dieser Studie wurde die Reliabilität der MMIs aus den Jahren 2021-2023 erhoben.

Methoden: Zwischen 2021 und 2023 absolvierten 735 Bewerber*innen die MMIs im Rahmen des Aufnahmeverfahrens an der KL. Die MMIs umfassten 6 Stationen zu je 6 Minuten mit je einem*r Interviewer*in. Die Inhalte fokussierten sich auf drei Bereiche: Ethik, Motivation zum Medizinstudium und Kommunikationskompetenz, welche in jeweils 2 der 6 Stationen thematisiert wurden. Bei den Kommunikationsstationen führten die Bewerber*innen ein Rollenspiel mit einer Simulationsperson durch, wobei sowohl Beobachter*in auch die Simulationsperson die Leistung bewerteten. Die Beurteilenden wurden vorab in einem Workshop auf Ihre Rolle vorbereitet und erhielten Hintergrundinformationen und Bewertungskriterien zum jeweiligen Fall. Auf keiner Station gab es eindeutig richtige Lösungen oder Verhaltensweisen, vorgegebene Kriterien beinhalteten z.B. eine realistische Einschätzung des Arztberufs in der Motivationsstation. Die Bewertung erfolgte mittels einer 10-stufigen Likert-Skala (siehe Abbildung 1 [Abb. 1]). Die Reliabilität der Interviews wurde basierend auf den jeweiligen Interviewer*in-Fall-Kombinationen (32 Kombinationen) für alle drei Jahrgänge erhoben.

Ergebnisse: Die Reliabilität der MMIs schwankte ja nach Zusammensetzung der Interviewer*innen und Fälle (range 0,25-0,84; mean 0,65; sd 0,14), wobei 50% der Durchläufe eine Reliabilität von >0,7 aufweisen; 25% eine Reliabilität von 0,6-0,7; 13% eine Reliabilität von 0,5-0,6; 6% eine Reliabilität von 0,4-0,5; sowie 6% eine Reliabilität von <0,4 aufweisen (siehe Tabelle 1 [Tab. 1]).

Diskussion: Während die überwiegende Mehrheit unserer MMI-Stationsdurchläufe ein analog zur Literatur [2] reliables Instrument zur Erfassung der nicht-kognitiven Kompetenzen unserer Bewerber*innen darstellt, finden sich bei einzelnen Interviewer*in-Fall-Kombinationen deutliche Unstimmigkeiten in der Bewertung – ein klarer Einfluss einzelner Stationen zeigt sich nicht. Ein Reliabilitätscheck direkt im Anschluss an die MMIs soll helfen, Einflussfaktoren zeitnah zu eruieren.