gms | German Medical Science

Da ein Hochschulstudium besondere Herausforderungen mit sich bringt, ist es für Studierende und Dozierende von besonderem Interesse, frühzeitig zu erfahren, ob Lernverhalten und Lehrmethoden zielführend sind. Entsprechend dem „Constructive Alignment“ müssen die Lehrinhalte, Lernergebnisse und Prüfungsformate kohärent aufeinander bezogen werden [1], [2]. Die Grundvoraussetzung für eine valide Prüfung ist demnach, neben den zu erfüllenden Gütekriterien Objektivität und Reliabilität, das Prüfen der zuvor in den Lernergebnissen festgelegten Inhalte [3]. Durch die Prüfungen im Studienverlauf erhalten Studierende eine regelmäßige Rückmeldung über den aktuellen Stand ihres Wissens. Dabei haben formative Testungen zum Ziel, ein noch laufendes (Lern-) Programm zu begleiten und zu prüfen [4], [5]. Das individuelle Feedback bietet eine Anleitung für die Lernplanung der Studierenden und zugleich eine Möglichkeit zur Reflexion ihrer Lernstrategien. Formative Prüfungen können somit die intrinsische Motivation unterstützen [6]. Summative Testungen hingegen dienen der Beurteilung der Kompetenz, bewerten ein abgeschlossenes (Lern)-Programm und berechtigen zu weitergehenden Bildungsabschnitten [4]. Möglicherweise liefern sie nicht genügend Feedback, um das Lernen von Studierenden gezielt zu unterstützen, können es aber beeinflussen und lenken, i. S. einer extrinsischen Lernmotivation. Diese wird zudem oftmals durch Kommiliton*innen sozial verstärkt [7].

Ein Überblick über die in der medizinischen Ausbildung verwendeten Prüfungen findet sich bei Epstein [8] sowie Schuwirth und van der Vleuten [9] und für die DACH-Länder bei Thiessen et al. [10]. Schriftliche Prüfungen lassen sich dabei grob in zwei Gruppen einteilen: Closed-Ended Response, wie z. B. Multiple Choice Questions (MCQ), und Open-Ended Response, wie z. B. Freitexte in Form von Essays [11]. Als Synthese dieser beiden grundlegenden Prüfungsformate wurde 1971 der erste MEQ (Modified Essay Questions) als Prüfung für Allgemeinärzt*innen in Großbritannien entwickelt [12], [13]. MEQ (Modified Essay Questions) soll die Kombination der Reliabilität und Objektivität einer MCQ-Prüfung mit der Validität eines Essays ermöglichen. Die Aufgaben im MEQ (Modified Essay Questions) bestehen aus einem klinischen Fallbeispiel, das zunächst anhand einer Vignette mit Behandlungsanlass beschrieben wird. Die folgenden hierauf bezogenen, aufeinander aufbauenden Fragen, müssen in kurzen Freitexten strukturiert beantwortet werden [11]. Dies soll sowohl eine hohe kognitive Herausforderung, als auch die weitgehend standardisierte Korrektur der Fragen ermöglichen. Freitextaufgaben sind für das Prüfen klinischen Denkens gut geeignet, erfordern aber zugleich einen relativ hohen Aufwand bei der Formulierung der Antworthorizonte und Punkteverteilung sowie bei der Korrektur [14], [15]. Inhaltlich beziehen sich die Aufgaben auf die ärztlichen Tätigkeiten

1.

Anamneseerhebung, Diagnostik und Therapie,

2.

differenzialdiagnostisches Denken und Problemlösestrategien sowie

3.

ganzheitlichen Denken und Urteilsvermögen [16].

Um den im Fallbeispiel einer realen Situation nachgebildeten klinischen Entscheidungsprozess adäquat zu bewältigen, müssen die Studierenden demnach ihr Wissen aktiv reproduzieren bzw. anwenden [17]. Ein MEQ (Modified Essay Questions) kann Wissen hinsichtlich der modifizierten Kompetenzniveaustufen nach Bloom [18] nicht nur auf dem Level I (Faktenwissen) abfragen, sondern auch die Niveaustufen II (Konzeptuelles Wissen) und III (Prozedurales Wissen) erfassen.

An der Universität Witten/Herdecke (UW/H) wurde 1992 das Problemorientierte Lernen (POL) in den damaligen Reformstudiengang Humanmedizin eingeführt und 2000 als fächerübergreifendes Konzept in den ersten vier Semestern etabliert [16]. Übergeordneter Themenbereich ist dabei im 1. Semester der Bewegungsapparat, im 2. Semester die inneren Organe (Stoffwechsel, Herz-Kreislauf, Atmung, Flüssigkeits- und Elektrolythaushalt, Hormone), im 3. Semester das Nerven- und Sinnessystem und im 4. Semester Fortpflanzung, Blut- und Immunsystem. Die gemeinsame Bearbeitung von Patient*innenfällen in den POL-Tutorien mit sechs Studierenden, einer/einem ärztlichen Tutor*in und einer/einem studentischen Co-Tutor*in wird dazu genutzt, grundlagenwissenschaftliches und klinisches Wissen sowie die Fähigkeit zur Problemlösung zu erwerben [19]. Diese Methode gilt als motivierend [20] sowie unterstützend bei der Ausbildung von interdisziplinärem Denken [21], kommunikativen Fähigkeiten, selbstständigem anhaltenden Lernen und dem Verständnis von ethischen Aspekten des Gesundheitssystems [22]. Die Prüfungsordnung der UW/H für den Modellstudiengang Medizin [23] sieht im Rahmen einer Sonderreglung für Modellstudiengänge in § 5 Summative Äquivalenzprüfungen zum Ersten Abschnitt der ärztlichen Prüfung (Physikum, M1) gemäß § 41 Abs. 2 Nr. 3 der Approbationsordnung für Ärzte (ÄAppO) [https://www.ge- setze-im-internet.de/_appro_2002/BJNR2405 00002.html] vor. Dazu werden drei schriftliche und zwei kombinierte Prüfungen durchgeführt. Die zwei kombinierten Prüfungen erfolgen im Format Objective Structured Clinical Examination (OSCE) [24]. Die drei schriftlichen Prüfungen erfolgen mit Aufgaben im Freitextformat MEQ am Ende des 2. Semesters (MEQ-1), des 3. Semesters (MEQ-2) und des 4. Semesters (MEQ-3). Mit der Wahl dieser Prüfungsformate für Äquivalenzprüfungen wird der zentralen Bedeutung des Lernformats POL entsprechend des Constructive Alignment Rechnung getragen [10], [17], [25]. Zur Vorbereitung auf diese summativen Prüfungen wird eine formative Prüfung geschrieben, der MEQ*. Darauf bereiten sich, wie aus informellen Gesprächen bekannt, viele Studierende nicht gezielt vor, da der MEQ* nicht in die Gesamtnote der Äquivalenzprüfung einfließt.

Ziel dieser Arbeit war es daher, zu klären, in wie weit die formative Prüfung MEQ* am Ende des 1. Semesters im Studiengangs Humanmedizin der UW/H als Prädiktor für die summative Prüfung MEQ-1, welche Teil des Staatsexamens ersetzenden Äquivalenzprüfung ist, am Ende des 2. Semesters dienen kann. Hierbei sollten folgende mögliche Einflussvariablen der Prüfungsleistung berücksichtigt werden: Alter, Geschlecht, Abiturnote, berufliches Vorwissen und Selbstwirksamkeitserwartung. Die Selbstwirksamkeit aus Banduras sozialkognitiver Theorie der menschlichen Handlungsfähigkeit stellt eine wesentliche motivationale Komponente dar, nämlich die interne persönliche Überzeugung von Menschen, dass sie substantielle Beiträge leisten können [26], [27]. Demzufolge kommt der Selbstwirksamkeit auch beim Lernen und Entwickeln neuer Kompetenzen eine wichtige Rolle zu [28], insbesondere beim problemorientierten Lernen [29].

Es kann vermutet werden, dass einerseits Personen mit guten Lösungs- und Lernstrategien, abgebildet über die Abiturnote [30], [31], [32] und die eigene Selbstwirksamkeitserwartung [26], [33] eher bessere Ergebnisse erzielen und andererseits auch Personen mit fachspezifischem Vorwissen, i. S. von beruflichem Vorwissen und damit assoziiert höherem Alter [34], ebenfalls im Vorteil sein könnten.

Untersucht wurden Studierende der Humanmedizin der Universität Witten/Herdecke im Wintersemester 2017/18 (Jahrgang 45, N=44) und Sommersemester 2018 (Jahrgang 46, N=44). Sie wurden über den Hintergrund der Untersuchung informiert und willigten schriftlich ein. Alle Daten wurden, den Bestimmungen des Bundesdatenschutzgesetzes und den ethischen Normen der Deklaration von Helsinki [35] entsprechend, in anonymisierter Form verwendet. Das Procedere der Arbeit wurde von der Ethikkommission der UW/H genehmigt (Nr. 39/2018). Die im elektronischen Campus Managementsystem der Universität vorliegenden persönlichen Daten (Geschlecht, Alter, Abiturnote und berufliches Vorwissen im Gesundheitsbereich, operationalisiert als Berufsausbildung, Vorstudium der Biologie oder Biochemie, Anzahl der Praktika und/oder ein Freiwilliges Soziales Jahr) wurden mit dem Einverständnis der Studierenden verwendet.

Die Aufgaben des MEQ (Modified Essay Questions) bestehen aus einem Fallbeispiel mit mehreren hierauf bezogenen, aufeinander aufbauenden Fragen, die in kurzen Freitexten strukturiert beantwortet werden müssen [11]. Während die Studierenden den Fall bearbeiten, erhalten sie auf jeder Seite der Klausur neue Informationen, die u. U. die Fragen auf der vorherigen Seite beantworten. Deshalb ist ein Zurückblättern während des MEQ in der paper-pencil-Version nicht gestattet [17], [36]. Bearbeitete Antwortbogen müssen in einen separaten Briefumschlag gelegt werden, so dass sie nicht nachträglich korrigiert werden können.

Den formativen MEQ* schreiben die Medizinstudierenden der UW/H am Ende des 1. Semesters unter Prüfungsbedingungen. Er ist dem Wissensstand angepasst und von der Struktur wie ein summativer MEQ aufgebaut. Der formative MEQ* im Wintersemester 2017/18 und Sommersemester 2018 war inhaltlich identisch und in seinem Umfang auf zwei Patientenfälle und wenige zusätzliche freie Fragen reduziert. Er bestand aus zwei Fallgeschichten zum Thema akute Cholezystitis und traumatische Schulterluxation mit insgesamt 17 fallbezogenen Fragen zu spezifischen Fächern sowie 5 freien Fragen (#22 Fragen). Insgesamt konnten 116 Punkte erzielt werden. Zur Bearbeitung hatten die Studierenden 90 Minuten Zeit. Direkt im Anschluss erfolgte die Korrektur innerhalb von 75 Minuten im studentischen Peer-Review-Verfahren anhand eines vom Prüfungswesen des Studiendekanats zur Verfügung gestellten Antworthorizonts. So erhalten die Studierenden ein unmittelbares Feedback bezüglich ihrer Leistungen und können ihre individuellen Lernstrategien gemäß des Constructive Alignments [2] mit dem Assessment des Learning Outcomes abstimmen. Zur Überprüfung der hier von den Kommiliton*innen vergebenen Punkte und der Qualität dieses Feedbacks wurden die Antwortbögen aller Studierenden nochmals durch einen fachlich qualifizierten Autor (OB) nachträglich ausgewertet und die Punktzahl aus dem Peer-Review-Verfahren angepasst.

Im summativen MEQ-1 hatten die Studierenden aufgrund einer erhöhten Fragenzahl zu den Themenbereichen Innere Organe und Bewegungsapparat sechs Stunden zur Bearbeitung Zeit. Der MEQ-1 des Jahrgangs 45 im Wintersemester 2017/18 bestand aus fünf Fallgeschichten mit 31 fallbezogenen Fragen sowie 13 freien Fragen (#44 Fragen), während Jahrgang 46 im Sommersemester 2018 fünf Fallgeschichten mit 36 fallbezogenen und 9 freien Fragen (#45 Fragen) bearbeitete. Die Ergebnisse der Studierenden für jede Aufgabe im summativen MEQ-1 wurden durch das Prüfungswesen des Studiendekanats Humanmedizin der UW/H zur Verfügung gestellt. Insgesamt konnten die Studierenden maximal 235 (Jahrgang 45) bzw. 255 Punkte (Jahrgang 46) erzielen (siehe Tabelle 1 [Tab. 1]).

In der vorliegenden Studie wurde von den Studierenden zur Erhebung des Einflusses der eigenen Kompetenzerwartung zum Umgang mit schwierigen Situationen vor Beginn der Klausur mit dem formativen MEQ* die Skala zur Allgemeinen Selbstwirksamkeitserwartung (SWE) nach Schwarzer und Jerusalem [37] bearbeitet. Die 10 gleichsinnig gepolten Items der vierstufigen Likert-Skala werden mit den Antwortmöglichkeiten von (1) stimmt nicht, (2) stimmt kaum, (3) stimmt eher und (4) stimmt genau beantwortet und zum Summenwert aufaddiert. Eines der SWE-Items lautet z. B. „Die Lösung schwieriger Probleme gelingt mir immer, wenn ich mich darum bemühe.“ Die SWE-Skala hat in deutschen Samples eine gute interne Konsistenz, die von Cronbachs alpha=.80 bis .90 reicht [38]. Zur Validität liegen Ergebnisse aus empirischen Studien vor, die theoriekonforme positive Zusammenhänge zum dispositionalen Optimismus und zur Arbeitszufriedenheit sowie enge negative Zusammenhänge zu Ängstlichkeit, Depressivität und Burnout belegen [33].

In Voranalysen wurden die soziodemografischen Variablen Alter bei Studienbeginn, Geschlecht und Abiturnote sowie die abhängigen Variablen Gesamtpunktzahlen des formativen MEQ* und summativen MEQ-1 für die zwei Jahrgänge 45 und 46 sowie die Selbstwirksamkeitserwartung mittels Kolmogorov-Smirnow-Tests auf Normalverteilung geprüft. Da die Annahme der Normalverteilung nicht bestätigt werden konnte, wurde nicht-parametrisch getestet. Für Vergleiche zwischen den unabhängigen Gruppen von Studierenden (Jahrgang 45 versus 46) wurden Mann-Whitney-U-Tests durchgeführt. Die Testgröße wurde analog in die Effektstärke Cohens d umgewandelt [39], [40]. Zusammenhänge zwischen Variablen wurden mit Korrelationsanalysen (Spearman rho) berechnet mit dem Korrelationskoeffizienten r als Effektstärke. Die Prädiktion der erzielten Punktzahl im MEQ-1 durch die Variablen Alter, Abiturnote, Vorwissen (Beruf, Studium), Selbstwirksamkeitserwartung und das MEQ* Ergebnis erfolgte mit multiplen Regressionsanalysen. Das Signifikanzniveau wurde bei diesen mit SPSS 26 durchgeführten Korrelations- und Regressionsanalysen auf p<.05 gesetzt, für die Mann-Whitney-U-Tests nach Bonferroni-Korrektur des α-Fehlers auf p<.01 [41].

In dieser Untersuchung wurden 88 Medizinstudierende aus zwei Jahrgängen der UW/H (45 und 46) einbezogen. Hinsichtlich der Variablen Alter bei Studienbeginn, Geschlechtsverteilung, Abiturnote sowie geleisteter Berufsausbildung, Vorstudium, Praktika oder Freiwilliges Soziales Jahr und der Selbstwirksamkeitserwartung unterschieden sich die beiden Jahrgänge nicht signifikant voneinander und konnten deshalb für die weitere Auswertung als eine Stichprobe betrachtet werden.

Im Durchschnitt waren die Studierenden (46 Frauen, 42 Männer) zu Studienbeginn 22.3±2.5 Jahre alt (Range 19 bis 29 Jahre). Die Abiturnote lag bei 2.1±0.4 (Range 1.2 bis 3.2), wobei Frauen eine bessere Abiturnote als Männer haben (1.96±0.42 versus 2.15±0.39; Mann-Whitney-U=700, p=.026, d=.488), nicht signifikant nach α-Korrektur. Vor Studienbeginn haben 36 Studierende (40.9%) ein Freiwilliges Soziales Jahr absolviert oder einen Beruf im Gesundheitsbereich erlernt, z. B. Gesundheits- und Krankenpflege, Physiotherapie oder Rettungssanitäter*in. Insgesamt sind 80% der Berufe in dieser Stichprobe im medizinischen Bereich angesiedelt. Ein Vorstudium, z. B. Biologie, Pflegewissenschaften oder Zahnmedizin, haben 15 Studierende (17%) begonnen. Zusätzlich zu dem vor Studienbeginn zu absolvierenden sechsmonatigen Pflegepraktikum konnten 67% (N=59) weitere Praktika vorweisen. Die durchschnittliche Selbstwirksamkeitserwartung der Studierenden entspricht mit 30.2±3.4 dem Referenzmittelwert von 29 Punkten [37].

Die Studierenden erreichten im formativen MEQ* bei maximal möglichen 116 Punkten eine Gesamtpunktzahl von 66.9±13.9 (Jahrgang 45 im Wintersemester 2017/18) bzw. von 65.4±13.1 (Jahrgang 46 im Sommersemester 2018). Dieser geringe Unterschied zwischen den beiden Jahrgängen ist nicht signifikant. Die im Peer-Review-Verfahren durch die Medizinstudierenden vergebenen Punkte im formativen MEQ* sind nicht signifikant höher als in der objektivierten Nachauswertung durch einen fachlich qualifizierten Autor (OB) (siehe Tabelle 2 [Tab. 2]). Beide Gesamtpunktzahlen korrelieren hoch miteinander (Spearman: r=.837, p=.000). Die größte Übereinstimmung findet sich im Fach Anatomie (r=.933), gefolgt von Biochemie (r=.904), Physiologie (r=.834), Radiologie (r=.775) und zuletzt Klinischem Denken (r=.463) (Ergebnisse aller Korrelationsanalysen p=.000). Für weitere Analysen wurden die durch den fachlich qualifizierten Autor (OB) ermittelten Ergebnisse im formativen MEQ* verwendet.

Im summativen MEQ-1 erreichte Jahrgang 45 im Durchschnitt 160.8±29.3 Punkte bei 235 maximal möglichen Punkten (entspricht 68.4%) und Jahrgang 46 im Durchschnitt 193.8±29.6 Punkte von 255 möglichen Punkten (entspricht 76%). In der erreichten Gesamtpunktzahl bestehen nach deren z-Transformation keine signifikanten Unterschiede zwischen den Jahrgängen (U=909, p=.753, d=.105).

Bei der Prüfung des möglichen Zusammenhangs zwischen dem Alter bei Studienbeginn und den MEQ-Ergebnissen zeigt sich eine moderat positive Korrelation (r=.306, p=.004) zum formativen MEQ* und im gleichen Ausmaß ein Semester später für den summativen MEQ-1 (r=.307, p=.004). Darüber hinaus besteht eine positive Assoziation zwischen dem Alter bei Studienbeginn sowie der Abiturnote (r=.341, p=.001), bedingt durch die Wartesemester bis zum Studienbeginn. Zwischen den Geschlechtern bestehen keine statistisch signifikanten Unterschiede in der erreichten Gesamtpunktzahl im MEQ* und MEQ-1. Abiturnote und Selbstwirksamkeitserwartung weisen keinen signifikanten Zusammenhang zur Punktzahl im formativen MEQ* oder summativen MEQ-1 auf (Ergebnisse aller Korrelationsanalysen p>.050).

Die Berücksichtigung der Variablen zu den beruflichen Vorerfahrungen der Studierenden ergab für die geleisteten Praktika oder ein Freiwilliges Soziales Jahr keine signifikanten Unterschiede bezüglich der Gesamtpunktzahl im formativen MEQ* und summativen MEQ-1. Wenn jedoch ein Vorstudium (N=15) abgeleistet worden war, dann waren die erreichten Punkte im formativen MEQ* höher als ohne Vorstudium (U=363, p=.021, d=.437). Allerdings ist dieser Unterschied nicht signifikant, ebenso wenig wie ein Semester später bei den Punktzahlen im summativen MEQ-1. Studierende mit Berufsausbildung (N=36) erreichten sowohl im MEQ* mehr Punkte (U=685, p=.033, d=.466), als auch ein Semester später mit signifikantem Unterschied im MEQ-1 (U=615, p=.009, d=.607) (siehe Tabelle 3 [Tab. 3]).

In multiplen Regressionsanalysen wurden alle Einflussfaktoren gemeinsam als mögliche Prädiktoren für die erreichte Punktzahl im formativen MEQ* und im summativen MEQ-1 (jeweils als abhängige Variable) berücksichtigt. Bei der Untersuchung der Prädiktoren für den MEQ* zeigte sich, dass die im Aufnahmeprozess erfassten Variablen Alter, Abiturnote, Berufsausbildung und Vorstudium signifikante Prädiktoren für das Abschneiden im MEQ* sind, aber nicht die Selbstwirksamkeitserwartung (siehe Tabelle 4 [Tab. 4]). Dieses Modell erklärt jedoch insgesamt nur 23.1% der Varianz, so dass weitere, nicht bekannte Variablen für die Leistung in Frage kommen. Die gemeinsamen Varianzanteile der Variablen Alter, Berufsausbildung und Vorstudium wurden in einer schrittweisen Regressionsanalyse ausdifferenziert. Dabei wurden allein mit dem Alter (β=1.74, T=3.23, p=.002) 10.8% der Varianz aufgeklärt.

Die Berücksichtigung von Alter, Abiturnote, Berufsausbildung, Vorstudium und Selbstwirksamkeitserwartung in der Regressionsanalyse ergab, dass diese keine signifikanten Prädiktoren für die Gesamtpunktzahl im MEQ-1 darstellen. Mit dem Ergebnis aus dem formativen MEQ* konnten dagegen allein schon 40.5% der Varianz (β=1.58, T=7.61, p=.000) aufgeklärt werden, im gemeinsamen Modell mit den vorgenannten Variablen 44.4% (siehe Tabelle 5 [Tab. 5]). Der signifikante korrelative Zusammenhang von positiver Proportionalität zwischen dem formativen MEQ* und dem summativen MEQ-1 im Jahrgang 45 (r=.769, p=.001) und Jahrgang 46 (r=.684, p=.001) belegt dessen Inhaltsvalidität [42].

Zur differenzierten Betrachtung werden die fünf medizinischen Fächer, die sowohl im formativen MEQ* als auch im summativen MEQ-1 explizit ausgewiesen werden (vgl. Tabelle 1 [Tab. 1]), in den Regressionsanalysen als unabhängige Variablen berücksichtigt. Durch die Punktzahl in den Fächern Anatomie, Physiologie, Klinisches Denken, Biochemie und Radiologie im MEQ* ließen sich 53.5% der Varianz im MEQ-1 erklären (siehe Tabelle 6 [Tab. 6]). Bis auf die Radiologie erwiesen sich alle als signifikante Prädiktoren. Durch die Ergebnisse im Fach Anatomie alleine sind 36.2% der Varianz aufgeklärt und durch Hinzunahme des Klinischen Denkens weitere 11.2% (insgesamt 47.4%). Physiologie und Biochemie haben dagegen nur einen schwachen prädiktiven Effekt.

In dieser Studie wurde untersucht, ob eine formative Prüfung wie der MEQ* im Modellstudiengang Humanmedizin der Universität Witten/Herdecke als Prädiktor für die summative Prüfung MEQ-1 ein Semester später dienen kann. Zudem wurden als mögliche Einflussvariablen Abiturnote, berufliches Vorwissen, Selbstwirksamkeitserwartung, Alter und Geschlecht berücksichtigt.

Frauen wiesen sowohl im MEQ* als auch im MEQ-1 gegenüber Männern keine besseren Leistungen auf, trotz eines geschlechtsbezogenen Unterschiedes bei der Abiturnote, der knapp die statistische Signifikanz verfehlte. Dies ist ähnlich zu der Beobachtung unter Medizinstudierenden an der Universität Heidelberg [32]. Auch im zweiten Staatsexamen Herbst 2018 zeigten sich für alle Medizinstudierenden in Deutschland vergleichbare Prüfungsleistungen bei Frauen mit 79.0% gegenüber Männern mit 79.2% der Gesamtpunkte [42]. Trapmann et al. [30] berichten in ihrer Metaanalyse zur Vorhersage des Studienerfolgs die Beobachtung, dass in den Studiengängen Zahn- und Veterinärmedizin die Validität der Abiturnote für die Vorklinik höher sei als für die klinischen Semester. Gleiches gilt für die Humanmedizin mit etwa 23% Aufklärung der Leistungsvarianz durch frühere akademische Leistungen zu Studienbeginn und insgesamt mit etwa 9%, wie Ferguson et al. [43] in einem systematischen Literaturreview belegen konnten. Frühere akademische Leistungen sind demnach ein guter, aber nicht perfekter Prädiktor für die Leistung in der medizinischen Ausbildung. Zudem waren Leistungsunterschiede zwischen den Geschlechtern eher gering und erreichten nur in großen Kohorten statistische Signifikanz. So zeigte sich auch in der vorliegenden Studie bei mäßiger Prädiktion für den formativen MEQ* kein bedeutsamer Zusammenhang zwischen der Abiturnote und dem Abschneiden im formativen MEQ* oder im summativen MEQ-1. Gleiches gilt für die Selbstwirksamkeitserwartung der Studierenden [38], womit die Befunde von Klassen & Klassen [28] und insbesondere von Demirören et al. [29] zur Wirkung im Kontext des problemorientierten Lernens nicht bestätigt werden konnten.

Die Gesamtpunktzahl im formativen MEQ* weist für den Jahrgang 46 (Sommersemester 2018) einen moderat positiven Zusammenhang mit dem Alter auf, der für den Jahrgang 45 (Wintersemester 2017/18) zwar auch positiv ist, aber die statistische Signifikanz verfehlt. Der positive Alterseffekt ist ein Semester später beim MEQ-1 ebenfalls noch nachweisbar. Studierende mit einem höheren Alter haben in ihren Wartesemestern berufliche Vorerfahrungen gesammelt in Form eines Vorstudiums, einer Berufsausbildung im Gesundheitsbereich, spezifischen Praktika oder eines Freiwilliges Sozialen Jahres (FSJ). Allerdings hatten Praktika und FSJ keinen relevanten Einfluss auf die Ergebnisse im formativen MEQ* oder summativen MEQ-1, da scheinbar die erworbenen praktischen Kenntnisse ohne ein strukturierendes theoretisches Fundament keinen Vorteil für die in den Prüfungen geforderten akademischen Leistungen darstellen. Dagegen erreichten die Studierenden mit Vorstudium (17% der Stichprobe) im Gruppenvergleich bessere Leistungen im formativen MEQ* und hatten im Fach Physiologie erhöhte Punktzahlen. Die Studierenden mit beruflicher Vorbildung (40.9% der Stichprobe) erzielten ebenfalls höhere Punktzahlen im formativen MEQ*, speziell im Fach Anatomie. Die Medizinstudierenden scheinen aus beiden Arten der Vorbildung profitieren zu können. Einerseits die strukturelle, fachunabhängige Vorbildung eines Vorstudiums, in dem eigenverantwortliches universitäres Lernen erlernt wird, und andererseits die theoretisch-praktische Vorbildung einer Berufsausbildung im Gesundheitsbereich (80% der Stichprobe), die inhaltliches Wissen aus der Berufsschule und praktische Erfahrungen mit sich bringt. Dieser Vorteil scheint jedoch nur bis zum Ende des ersten Semesters für den formativen MEQ* zu gelten, nicht bis zum summativen MEQ-1, der ein Semester später geschrieben wird. Dies korrespondiert mit den Ergebnissen von Ferguson et al. [43], bezogen auf frühere akademische Leistungen. Parallelen zeigen sich ebenfalls in einer Studie von Grendel et al. [34], in der die Effekte berufspraktischer Vorerfahrung von beruflich qualifizierten Studierenden untersucht wurden. Dauer und Relevanz der beruflichen Vorerfahrungen scheinen dabei einen bedeutsamen Einfluss auf den Studienerfolg zu haben.

Die prädiktive Bedeutung der Punktzahl des formativen MEQ* für die spätere Leistung im summativen MEQ-1 konnte im Regressionsmodell mit 40.5% Varianzaufklärung bestätigt werden. Zudem zeigte sich in Korrelationsanalysen eine hohe inhaltliche Validität. Hinsichtlich der Bedeutung spezifischer Fächer im formativen MEQ* wird die besondere Wichtigkeit der Anatomie und des Klinischen Denkens deutlich. Die Anatomie stellt traditionell beim Start in das Medizinstudium vom Lernumfang her die größte Herausforderung dar, so auch als übergeordneter Themenbereich Bewegungsapparat im 1. Semester des Modellstudiengangs Humanmedizin der Universität Witten/Herdecke. Das Klinische Denken wird durch das Problemorientierte Lernen (POL) geschult und kann entsprechend des Constructive Alignment am besten mit MEQ-Freitextfragen geprüft werden [17], [18]. Dabei sind die im formativen MEQ* im Peer-Review-Verfahren vergebenen Punkte nicht signifikant erhöht im Vergleich zur Nachkorrektur durch den fachlich qualifizierten Autor (OB). Somit scheint das studentische Peer-Review-Verfahren, trotz eher günstiger Bewertung durch die Kommiliton*innen, eine effiziente Methode zu sein, um in einer formativen Prüfung ein schnelles Feedback zu geben. Die hohe Korrelation zwischen der studentischen und der objektivierten Nachauswertung belegt die Reliabilität des MEQ*, die am höchsten für die Anatomie und – wie zu erwarten – am niedrigsten für Klinisches Denken ist [14], [15], [44]. Problematisch ist jedoch, dass die Studierenden sich z. T. nicht auf die formative Prüfung vorbereiten. Wenn bei dem formativen MEQ* eine Bestehensgrenze von 60% [45] angelegt werden würde, wie es beim ersten Staatsexamen nach § 14 der Approbationsordnung für Ärzte (2002) der Fall ist, dann hätten mehr als die Hälfte der Studierenden nicht bestanden. Der durchschnittlich erzielte Punktwert entspricht 57% und liegt damit zwar deutlich oberhalb der durchschnittlich 30% erzielten Punkte von Psychologiestudierenden der UW/H im formativen Progress Test Psychologie [46], zeigt aber deutlich, dass die Studierenden das Prinzip und den Nutzen formativer Tests als Feedback über den eigenen Wissensstand, zur Lernmotivation und Reduktion der Prüfungsangst noch nicht ausreichend realisieren [47].

Hier sollte zunächst die kleine Fallzahl von 88 Medizinstudierenden aus zwei Semestern in Betracht gezogen werden, die zudem eine heterogene Gruppe bzgl. ihres Alters und der beruflichen Vorerfahrungen darstellen. Insofern ist eine Generalisierbarkeit der Ergebnisse wahrscheinlich nicht gegeben, da es sich um zufällige, kohortenspezifische Effekte handeln könnte. Die im Peer-Review-Verfahren ermittelten Ergebnisse des formativen MEQ* waren in der Nachkorrektur durch den fachlich qualifizierten Autor (OB) zwar nicht signifikant unterschiedlich, aber die Nachkorrektur gestaltete sich dahingehend als schwierig, dass die Antworten der Studierenden häufig nicht exakt im Antworthorizont abgebildet waren. So lag es im Ermessensspielraum der Nachkorrektur, wie die gegebenen Antworten gewertet werden. Hier besteht das Risiko, dass verschiedene Prüfer*innen zu unterschiedlichen Bewertungen der Antworten kommen und somit die Reliabilität des formativen MEQ* gemindert wird. Dies ist ein grundsätzliches Problem der Freitextformate und erfordert einen relativ hohen Aufwand, sowohl bei der Formulierung der Antworthorizonte, als auch im Reviewprozess und der Korrektur [14], [15].

In der vorliegenden Untersuchung konnte gezeigt werden, dass es im Verlauf des 2. Semesters zu einem deutlichen Wissenszuwachs gekommen ist, da der Jahrgang 45 (Wintersemester 2017/18) im summativen MEQ-1 einen durchschnittlichen Punktwert von 68% und der Jahrgang 46 (Sommersemester 2018) von 76% erzielte. Die Leistungssteigerung im Vergleich zum Ergebnis im formativen MEQ* ist wohl auf gezielte Prüfungsvorbereitung zurückzuführen, bei annähernd gleichem Lernkonzept der POL-Tutorien während des 1. und 2. Semesters. Der MEQ* als formative Testung scheint den Studierenden eine Rückmeldung zu ihrem aktuellen Wissensstand zu geben. Das Nicht-Erreichen der Bestehensgrenze könnte für viele Studierende ein „Weckruf“ sein, das Lernbemühen im Hinblick auf den summativen MEQ-1 zu intensivieren. Parallelen können hier mit der Interview-Studie von Heeneman [48] gezogen werden, in der Studierende bestätigen, dass sie die Ergebnisanalyse des formativen Progress Test zur Anpassung ihrer Lernstrategien nutzen.

Zudem ist denkbar, dass die nach dem formativen MEQ* vorhandene Kenntnis über das Freitextformat den Studierenden gemäß des Constructive Alignment hilft, ihren Lernstil und die Prüfungsvorbereitung anzupassen. Somit wäre dieses Ziel einer formativen Prüfung durch den MEQ* erreicht und der mit der Entwicklung und Durchführung dieser Art der formativen Testung verbundene Aufwand für die Dozierenden und das Studiendekanat der Universität Witten/Herdecke gerechtfertigt.

Nachdem gezeigt werden konnte, dass das Ergebnis des formativen MEQ* am Ende des 1. Semesters im Modellstudiengang Humanmedizin der Universität Witten/Herdecke ein bedeutsamer Prädiktor für das Ergebnis des summativen MEQ-1 am Ende des 2. Semesters ist, wäre die zielführende Fragestellung einer weitergehenden Studie, für welchen Zeitraum im Studienverlauf der MEQ* seine Funktion als Prädiktor behält. Sagt das Abschneiden in der formativen MEQ*-Prüfung auch etwas über die gesamte summative Äquivalenzprüfung (M1, Physikum) aus? Bemerkenswert ist außerdem, dass hinsichtlich der geprüften Fächer im MEQ* die Anatomie und das klinische Denken von herausragender Bedeutung für das Ergebnis im summativen MEQ-1 sind. Da das Abschneiden im Fach des Klinischen Denkens hier in keinem Zusammenhang mit den Gesamtpunkten der anderen Fächer zu stehen scheint, kommt dem Unterrichtskonzept des Problemorientierten Lernens eine besondere Rolle zu diesem Kompetenzerwerb zu. Aus der niedrigen Durchschnittspunktzahl und den einzelnen Studierendenaussagen heraus lässt sich ableiten, dass sich die Studierenden wohl nur z. T. gezielt auf den formativen MEQ* vorbereiten. Um den Nutzen dieser formativen Prüfung als Feedback zu steigern, wäre eine sorgfältige Prüfungsvorbereitung von Seiten der Studierenden wünschenswert. In weitergehenden Studien wäre es wichtig zu klären, in wie weit das Feedback aus dem formativen MEQ* bei den Studierenden tatsächlich zu einer Änderung der Lernstrategien genutzt wird.

Die Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben.