gms | German Medical Science

Problemstellung/Ziele: Der zentralen Bedeutung des Problemorientierten Lernens Rechnung tragend, werden im Modellstudiengang Humanmedizin an der UW/H Äquivalenzprüfungen zum M1 u.a. durch Freitextklausuren im MEQ-Format eingesetzt. Den Vorteilen, auch höhere Wissensniveaus erfassen zu können, stehen die Herausforderungen für Prüflinge, wie potentielle Folgefehler, entgegen (Gössling & Ehlers, 2017). Diese Studie untersucht, ob die MEQ diese höheren Wissensniveaus tatsächlich erfassen, sowie das Folgefehlerpotential und die Relevanz der Vignettentexte.

Methoden: Insgesamt 326 Items aus drei MEQ-Prüfungen des Sommersemesters 2017 wurden durch vier Rater hinsichtlich des Lernzielniveaus nach Bloom (vereinfacht auf drei Level), des Fallbezugs und Folgefehlerpotential unabhängig bewertet. Die Inter-Rater-Reliabilität wurde mit Cohens Kappa ermittelt.

Ergebnisse: Die Kategorisierung der Prüfungsfragen nach Bloom mit Inter-Rater-Reliabilitäten zwischen κ=.499 bis κ=.905 streut zwischen einer schwachen und einer fast vollständigen Übereinstimmung. Insgesamt wurden 62.9-67.9% der Fragen dem Level Reproduzieren/Wiedergeben zugeordnet. Ein deutlich besseres Ergebnis mit starker bis fast vollständiger Übereinstimmung ergab sich bei der Einschätzung, dass nur 6.1-8.3% der Prüfungsfragen auf die Fallvignette Bezug nehmen (κ=.726 bis κ=.913). Auch die Identifikation der 10-19% Items mit Folgefehlerpotential erfolgte mit starker bis fast vollständiger Übereinstimmung (κ=.635 und κ=.980).

Diskussion/Schlussfolgerungen: Die Ergebnisse belegen, dass die MEQ bei genügender Schulung und Reviewaufwand auch höhere Lernzielniveaus erfassen, zeigen hier aber Verbesserungspotential, auch bei der Bezugnahme auf die Patientenvignetten. Die Identifikation von Aufgaben mit Folgefehlerpotential ist bei der Prüfungserstellung bewusst zu berücksichtigen. Identifizierte Items könnten auf zwei Fallseiten geteilt oder die Möglichkeiten eines elektronischen, fallbasierten Prüfungssystems genutzt werden.