gms | German Medical Science

In der Ärztlichen Approbationsordnung von 2002 [1] kam es zu grundlegenden Änderungen des Staatsexamens. So bestand dieses bis zu den aktuellen Änderungen von 2012 aus zwei Abschnitten. Der erste Abschnitt (M1) wurde nach den ersten beiden Studienjahren abgelegt, der zweite Abschnitt (M2) nach dem gesamten Studium inklusive des Praktischen Jahres (PJ). Beide Prüfungsabschnitte unterteilten sich in einen schriftlichen und einen mündlich-praktischen Teil. Einige der Änderungen von 2002 betrafen den mündlich-praktischen Teil des M2: Die mündlich-praktische M2-Prüfungsnote wiegt in der Abschlussgesamtnote der Studierenden ein Drittel. Die Prüfungszeit wurde auf zwei ganze Tage verlängert und ein praktischer Prüfungsanteil wurde explizit eingeführt. Insgesamt führen vier bis fünf Prüfende die Prüfung von maximal vier Prüflingen durch [1]. Es wird gefordert, den Schwerpunkt dieser Prüfung auf patientenbezogene Fragestellungen zu legen [1], [2], [3].

Grundsätzlich handelt es sich bei der mündlich-praktischen M2-Prüfung um eine sehr aufwendige berufsqualifizierende Prüfung, welche für die Prüfenden mit erheblichen Anforderungen verbunden ist. Der Medizinische Fakultätentag (MFT) hat 2011 in einer Resolution auf die hohe Belastung der Medizinischen Fakultäten hingewiesen. Er gab zu bedenken, dass durch diesen erhöhten Ressourceneinsatz und die dadurch notwendige Ausweitung des Pools an Prüfenden auch auf Personal außerhalb der Universitäten ein Qualitätsverlust der Prüfungen und eine Ungleichbehandlung der Prüflinge möglich seien [http://www.mft-online.de/files/200_omft_2011.pdf zuletzt geprüft am 05.11.2013]. Die Medizinische Fakultät Freiburg arbeitet bei der Ausbildung der PJ-Studierenden mit 15 Akademischen Lehrkrankenhäusern (ALKs) zusammen, welche auch an den mündlich-praktischen M2-Prüfungen beteiligt sind. Um zwischen allen Ausbildungskrankenhäusern eine einheitliche und gleichwertige Prüfungspraxis herzustellen, nimmt mindestens eine Person des universitären Lehrkörpers die Prüfungen an den ALKs mit ab.

Die bei der Prüfung vergebenen Noten sollen Rückschlüsse auf die Kompetenzen der Prüfungskandidierenden zulassen. Dazu muss die Notenvergabe auf Fairness und Chancengleichheit basieren, aber auch Gerichtsfestigkeit aufweisen [4], [5], [6]. Um dies zu gewährleisten, sind ein bewusster Umgang mit den Stärken und Schwächen der Prüfung, Konstanz in den Prüfungsbedingungen und der Prüfungspraxis, eine gute Strukturierung und Standardisierung der Inhalte sowie Erwartungshorizonte und möglichst objektive Bewertungskriterien für die Prüfung notwendig [4], [7], [8], [9]. Den Anforderungen an die Gütekriterien – Objektivität, Reliabilität und Validität – gerecht zu werden ist bei mündlich-praktischen Prüfungen ein bekanntes Problem [6], [10], [11], [12].

Eine wirksame Maßnahme um die Güte und damit einhergehend die Qualität von mündlich-praktischen Prüfungen zu steigern sind Fort- und Weiterbildungsmaßnahmen der Prüfenden [4], [8], [12], [13]. Inhaltlich werden dabei Maßnahmen und Strategien vermittelt, die sowohl die Vorbereitung als auch die Durchführung von Prüfungen sowie auch die Bewertung der Prüfungsleistungen optimieren können [6].

In Baden-Württemberg wurde 2007 vom Kompetenznetz „Lehre in der Medizin“ [14] ein M2-Prüferworkshop konzipiert, der an allen baden-württembergischen Fakultäten zur Vorbereitung der Prüfenden auf den mündlich-praktischen Teil regelmäßig durchgeführt wird. Der acht Unterrichtseinheiten umfassende Workshop untergliedert sich in Seminaranteile und praktische Übungen. Hier werden die Ziele „reibungsloser Prüfungsablauf“, „Prüfungen auf Grund bestehender Erfahrungen optimieren“, „Prüfungsfragen und –aufgaben formulieren“ sowie „kriterienbezogene Notenvergabe etablieren“ verfolgt [7].

In einer Studie von Öchsner, Geiler und Huber-Lang wurden mittels Selbsteinschätzungsfragebogen die durch M2-Prüferworkshops fortgebildeten Prüfenden an der Medizinischen Fakultät in Ulm retrospektiv zu den Effekten und der Nachhaltigkeit des Prüferworkshops befragt [7]. Die Prüfenden wurden zu den Kernfragestellungen „bewusster Umgang mit Stärken und Schwächen der M2-Prüfung“, „Kenntnisse über den Einfluss der Reliabilität und Validität auf die mündlich-praktische-Prüfung“, „Sicherheit bei der Aufgabenkonstruktion und Prüfungsregularien“ und „Umsetzung des Konzepts des strukturierten mündlichen Prüfens“ befragt. Die Ergebnisse zu allen Kernfragestellungen lassen auf einen Nutzen des Prüferworkshops schließen und konnten bei den Prüfenden auch zwei Jahre nach der Absolvierung des Prüferworkshops nachgewiesen werden. Angrenzend an die in dieser Studie beleuchtete Perspektive der Prüfenden soll bei der vorliegenden Analyse der Fokus auf den Output, die Notengebung an der Medizinischen Fakultät in Freiburg, gelegt werden.

Ziel der vorliegenden Studie war es, die Notenvergabe zur mündlich-praktischen M2-Prüfung an der Medizinischen Fakultät Freiburg zu analysieren, um die internen Qualitätssicherungsmaßnahmen zu prüfen. Hierfür wurde folgenden vier Fragestellungen nachgegangen:

• Zusammenhang zwischen schriftlichen und mündlich-praktischen M2-Prüfungsnoten
• Unterschied in der Notengebung an den Prüfungskrankenhäusern: UKL versus ALKs
• Unterschied in der Notengebung zwischen den Prüfenden mit und ohne voriger Absolvierung eines Prüferworkshop
• Vertiefte Analyse zur Nachhaltigkeit des Prüferworkshop bezüglich der Notengebung.

Zur Analyse der Notengebung der mündlich-praktischen M2- Prüfung wurden die Daten der Prüfungskandidierenden der Frühjahrs- und Herbstkohorte 2012 vom Landesprüfungsamt für Medizin und Pharmazie Baden-Württemberg in anonymisierter Form zur Verfügung gestellt. Es lagen Angaben zu den schriftlichen und mündlich-praktischen Noten der Prüflinge sowie zu den entsprechenden Prüfungskommissionen der mündlich-praktischen Prüfung vor. Zudem war bekannt, welche Prüfenden zuvor einen Prüferworkshop absolviert hatten.

Die Stichprobe der Prüflinge umfasste eine Fallzahl von N=315. Der Datensatz umfasste insgesamt 94 Prüfungskommissionen. Ein Prüfling wurde bei der Analyse geschulten Prüfenden zugeordnet, sobald ein Kommissionsmitglied geschult war. Die Daten wurden in SPSS (2012, Version 20) eingegeben und dort verarbeitet. Die Auswertung erfolgte auf der Grundlage der Konventionen von Bühner und Ziegler [15] und Bortz [16] und umfasste deskriptive statistische Berechnungen und theoriegeleitete Hypothesenprüfung mittels Inferenzstatistik.

Zuerst wurde der Zusammenhang zwischen den schriftlichen Noten und den mündlich-praktischen Noten der M2-Prüflinge untersucht. Bei den schriftlichen Noten lag der Mittelwert (M) bei 2,45 (Standardabweichung (SD)=0,744). Bei den mündlich-praktischen Noten hingegen, wurde ein besserer Mittelwert (M=1,92, SD=0,716) ermittelt. Die Note „sehr gut“ wurde erheblich häufiger mündlich-praktisch vergeben als schriftlich. Zwischen der schriftlichen und der mündlich-praktischen Note zeigte sich ein schwacher linearer Zusammenhang mit einem hochsignifikanten Rangkorrelationskoeffizient von ρ=0,460**.

Anschließend wurde untersucht, ob sich Unterschiede in der Notenvergabe zwischen dem UKL und den ALKs finden.

Der Mittelwert und die Standardabweichung vom UKL lagen bei M=1,95 und SD=0,768, bei den ALKs bei M=1,88 und SD=0,661. Mittels Mann-Whitney-U-Test wurde kein signifikanter Unterschied zwischen den beiden Gruppen der Prüfungskrankenhäuser ermittelt (ρ=0,682, Φ=0,023).

Ferner wurde der Fragestellung nachgegangen, ob sich Unterschiede in der Benotung finden, wenn die mündlich-praktische M2-Prüfung von Prüfenden abgenommen wurde, die zuvor einen Prüferworkshop absolviert haben. Die dichotome Variable wurde mittels Betrachtung des einzelnen Prüflings gebildet, indem bewertet wurde, ob diese/-r durch eine Prüfungskommission mit oder ohne fortgebildeten Prüfenden geprüft wurde. Die Analyse der Daten für die Ausprägung mit Prüferworkshop zeigt einen Mittelwert von M=1,99 (SD=0,741), ohne Prüferworkshop ist der Wert M=1,70 (SD=0,634). Mittels Mann-Whitney-U-Test konnte gezeigt werden, dass zwischen den beiden Gruppen ein hochsignifikanter Unterschied in der Verteilung der Noten von ρ=0,007** besteht – bei einem schwachen Effekt von Φ=0,165.

Erneut wurde diese Rechnung in Bezug auf die Nachhaltigkeit des M2-Prüferworkshops durchgeführt. Hierzu wurde die Variable bezüglich des zeitlichen Abstandes zwischen Prüfung und Prüferworkshops bewertet. Dabei galten Kommissionen als geschult, wenn der Workshop nicht länger als maximal ein Jahr zurück lag. Bei dieser Gruppe der geschulten Prüfenden zeigte sich ein Mittelwert von M=2,08 (SD=0,782). Bei der Gruppe der Prüfenden, die nicht geschult waren (bzw. bei denen der Workshop länger als ein Jahr zurück lag) ergab sich folgender Wert: M=1,72 (SD=0,642). Mittels Mann-Whitney-U-Test konnte ein hochsignifikanter Unterschied von ρ=0,000** errechnet werden mit einem kleinen Effekt von Φ=0,233.

Die zusammenfassende Darstellung der Ergebnisse findet sich in Tabelle 1 [Tab. 1] und Tabelle 2 [Tab. 2].

Die Analyse der Notenvergabe konnte zeigen, dass sich die Bemühungen der Qualitätssicherung an der Medizinischen Fakultät Freiburg lohnen.

Es konnte ein hochsignifikanter Zusammenhang von ρ=0,460** zwischen schriftlicher und mündlich-praktischer Notengebung ermittelt werden. Bei Betrachtung der deskriptiven Datenanalyse zeigt sich, dass die mündlich-praktisch vergebenen Noten im Vergleich zu den schriftlichen im Mittel besser ausfallen. Die Note „sehr gut“ wird erheblich häufiger mündlich-praktisch als schriftlich vergeben. Dies entspricht einem auch in der Literatur beschriebenem Phänomen [17].

Die Ergebnisse der weiteren Fragestellung zeigen keinen bedeutsamen Unterschied in der Benotung der mündlich-praktischen M2-Prüfung zwischen dem UKL und den ALKs. Dieses Ergebnis kann als Hinweis gewertet werden, dass sich die unternommenen Anstrengungen, zwischen allen Prüfungskrankenhäusern eine einheitliche und gleichwertige Prüfungspraxis herzustellen, lohnen und somit folglich an der Medizinischen Fakultät Freiburg weiter beibehalten werden sollten.

Die Ergebnisse bezüglich des Unterschieds zwischen Prüflingen, die von Prüfungskommissionen mit oder ohne fortgebildeten Mitgliedern geprüft wurden zeigen einen hochsignifikanten Unterschied von p=0,007** mit einem schwachen Effekt Φ=0,165. Bei der Betrachtung der deskriptiven Daten zeigt sich, dass Kommissionen mit Mitgliedern die einen Prüferworkshop absolvierten seltener die Note „sehr gut“ sowie ein generell breiteres Notenspektrum vergeben.

Bei Betrachtung der Nachhaltigkeit des Workshops (Kommissionen galten als geschult, wenn der Workshop nicht länger als maximal ein Jahr zurück lag) wird das Ergebnis noch deutlicher: p=0,000** mit dem Effekt von Φ=0,233. Die hier dargestellten Ergebnisse stehen in Kontrast zur Studie von Öchsner, Geiler und Huber-Lang. Dort wurden über einen Zeitraum von zwei Jahren anhand der Selbsteinschätzung der Prüfenden Hinweise für die Nachhaltigkeit des Prüferworkshops gewonnen [7]. Entsprechende Effekte gilt es in Folgestudien genauer zu analysieren. Hierbei sollte zusätzlich auch die Rolle der Prüfungsvorsitzenden in die Analyse aufgenommen werden. In dieser Studie konnte dieser Aspekt nicht näher untersucht werden.

Ob die festgestellte veränderte Notenvergabe nach Absolvierung eines Prüferworkshops mit einer höheren Güte der Prüfung einhergeht, lässt sich nicht abschließend klären. Ein positiver Effekt des Prüferworkshops auf die Notenvergabe erscheint begründet, da die dort gelehrten Inhalte den Prüfenden zu adäquater Notenfindung im Sinne der Gütekriterien helfen sollen.

Schlussfolgernd kann festgehalten werden, dass das Ziel, an der Medizinischen Fakultät Freiburg eine höchstmögliche Qualität der mündlich-praktischen M2-Prüfung zu erreichen, durch die M2-Prüferworkshops unterstützt werden kann. Somit lässt sich der M2-Prüferworkshop für alle Prüfenden empfehlen [4], [7], [8], [9].

Es muss jedoch darauf hingewiesen werden, dass fachspezifische Prüfungskulturen zur Notengebung eine hohe zeitliche Stabilität aufweisen [4]. Aus diesem Grund ist zu empfehlen, eingeführte Qualitätssicherungsmaßnahmen bezüglich der Prüfungsqualität beizubehalten und zu intensivieren, um eine langfristige Änderung der Prüfungspraktiken im Hinblick auf die Notenfindung zu bewirken. Auch die Intensivierung der Signifikanz bei der Untersuchung der Nachhaltigkeit sowie der leichte Anstieg der Effektstärke können ein Indiz hierfür sein. So sollte man diesbezüglich über eine regelmäßige Auffrischung der Kenntnisse aus dem M2-Prüferworkshop nachdenken. Allerdings sind weitere Untersuchungen zur Nachhaltigkeit von erlernten Praktiken bei der Notengebung und von allgemeinen Prüfungskulturen notwendig.

Die Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.