gms | German Medical Science

Mündliche Prüfungen haben in Deutschland sowohl in der Ausbildung des Studiengangs Humanmedizin als auch in der Facharztweiterbildung eine lange Tradition. Ihre Validität und Reliabilität gilt insgesamt als gering, vor allem weil sie sehr anfällig für Beurteilungsfehler und Beurteilungstendenzen sind. Das ist durch eine Vielzahl von Studien belegt [1], [2]. Insbesondere die von Wakeford et al. beschriebene Tendenz, reines Faktenwissen zu prüfen sowie keine Einzelnoten für Teilleistungen zu geben und der sogenannte „Milde-Fehler“ gehören zu den wichtigsten Beispielen für Beurteilungstendenzen und -fehler, die im Rahmen einer Facharztprüfung auftreten können. Einen Ausweg sehen Wakeford et al. in der Auswahl und Schulung der PrüferInnen. In den Schulungen sollten sich die PrüferInnen selbst den Anforderungen der Prüfung unterziehen [2].

Auch Jefferies et al. halten es für wichtig, sich Gedanken über eine Qualitätssteigerung von praktischen Prüfungen zu machen und vor allem eine stärkere Kompetenzorientierung zu implementieren [3].

Um eine hohe Objektivität, Reliabilität und damit auch Validität in einer mündlichen Prüfung zu erreichen, bedarf es einer „Strukturierung und Standardisierung sowohl der Prüfungssituation als auch der Prüfungsaufgaben“ [4], wie bereits 1999 in den Empfehlungen zu strukturierten mündlichen Prüfungen in Facharztprüfungen gefordert. Hierin wird dargelegt, dass identische Bedingungen für die Prüflinge gewährleistet sein müssen, um eine Standardisierung in der Prüfung zu erreichen. Es ist daher notwendig, im Vorfeld der Prüfung die Prüfungsziele und Prüfungsinhalte für die jeweilige Facharztprüfung festzulegen und zu gewichten. Am sinnvollsten wäre es, wenn alle beteiligten PrüferInnen die fachspezifischen Prüfungsinhalte gemeinsam abstimmen und Kriterien vereinbaren, die für ein Nichtbestehen der Facharztprüfung gelten sollen. Eine Verbesserung der Strukturierung wird vor allem erreicht durch eine vorherige, schriftlich ausformulierte Festlegung der Prüfungsfragen inklusive des dazugehörigen Erwartungshorizontes für die richtigen Antworten sowie des Bewertungsschemas. Die Prüfungsfragen sollen fallorientiert sein und praxisrelevante Anteile (z.B. Röntgenbilder, EKG-Aufzeichnungen, Sonographiebilder etc.) aufweisen.

Zurzeit gibt es in Deutschland nur einige wenige Beispiele zur Optimierung der Facharztprüfung. So wurde in Thüringen beispielsweise aufgrund einer „Forderung der Prüfer“ in 2014 eine Änderung der Facharztprüfungen vorgenommen. Zum einen wurden Themen und Fragenkomplexe festgelegt, um die Standardisierung der Prüfung zu verbessern, zum anderen wurden die Prüfungsinhalte z.B. durch die digitale Bildbetrachtung in der Radiologie oder die Verankerung praktischer Prüfungsteile modernisiert. Dadurch ergab sich allerdings eine Verlängerung der Prüfungszeit von 30 auf 45 bis 90 Minuten pro Prüfling [5].

Es stellt sich auf jeden Fall die Frage, welche Verbesserungen der Prüfungsqualität im Rahmen des Bestehenden möglich sind. In verschiedenen europäischen Ländern (Dänemark, Deutschland, Niederlande, Polen und Großbritannien) sind beispielsweise obligatorische Qualifizierungskurse für FacharztprüferInnen etabliert. Dies wurde unter anderem im Rahmen einer Pilotbefragung einer Expertenrunde von allgemeinmedizinischen FacharztprüferInnen aus fünf großen EU-Ländern erhoben. Nur in Polen und Deutschland gibt es diese Kursangebote nicht. Außerdem zeigte sich in der durchgeführten Befragung, dass vier der fünf untersuchten Länder außer Deutschland „eine longitudinale Überprüfung der Leistungen über die gesamte Dauer der Weiterbildung durchführen“ [6].

Dass Schulungen grundsätzlich das Beurteilungsverhalten verändern können, zeigte eine Analyse zur Notenvergabe bei den mündlich-praktischen M2-Staatsexamensprüfungen am Ende des humanmedizinischen Studiengangs. Schickler et al. haben Unterschiede in der Benotung von Prüflingen, die von PrüferInnen mit bzw. ohne vorherige Schulungsmaßnahme geprüft wurden, gesehen. In den Kommissionen mit Mitgliedern, die einen Prüfer-Workshop absolviert hatten, wurde seltener die Note „sehr gut“ vergeben [7].

Im April 2012 wurde im Rahmen einer außerordentlichen Vertreterversammlung der Bezirksärztekammer Südbaden mit dem Thema „Weiterbildung in Klinik und Praxis – Wunsch und Wirklichkeit“ beschlossen, (Mindest)Standards für Facharztprüfungen zu definieren und zu diesem Zweck einen fachlichen Austausch der FacharztprüferInnen zu initiieren [8]. In der Folge hat die Ärztekammer Südbaden 2013 erstmalig für FacharztprüferInnen und Prüfungsvorsitzende einen Workshop angeboten. Vordringliches Ziel des Workshops war es, eine Verbesserung der inhaltlichen und methodischen Qualität der minimal 30-minütigen, maximal 60-minütigen Facharztprüfungen in Südbaden zu erreichen.

In einem ersten Schritt erfolgte eine Evaluierung der Facharztprüfungen. Von Januar bis Juni 2013 wurden sowohl die jeweiligen Prüfungsvorsitzenden und PrüferInnen sowie alle Prüflinge direkt im Anschluss an die in diesem Zeitraum durchgeführten 102 Facharztprüfungen befragt. Der 13 Items sowie offene Fragen umfassende Evaluationsbogen war vor allem auf das Niveau der Prüfungsfragen, die Zufriedenheit mit der abgelaufenen Prüfung sowie den Fortbildungsbedarf zum Thema Prüfungen ausgerichtet.

In der quantitativen Analyse der Eingangsevaluationen nach den durchgeführten Facharztprüfungen zeigte sich, dass nur 27,3% der Prüfungsvorsitzenden sowie 23,4% der PrüferInnen einen Schulungsbedarf für FacharztprüferInnen sahen [8]. Die Freitextkommentare wiesen im Gegensatz dazu zahlreiche Anregungen für inhaltliche und strukturelle Verbesserungen der bisherigen Facharztprüfungen aus. So wünschten sich 20,8% der PrüferInnen und 36,4% der Prüfungsvorsitzenden eine Standardisierung der Prüfungsfragen für das jeweilige Fach bzw. eine vorherige Festlegung von Vorgaben für die Bewertung. 7,8% der PrüferInnen empfanden eine Prüfungszeit von 30 Minuten für eine Facharztprüfung als zu kurz. Die Hauptkritikpunkte waren vor allem das unterschiedliche Niveau der Prüfungsfragen, die fehlende Abstimmung unter den PrüferInnen in Bezug auf die Prüfungsinhalte sowie fehlende fachspezifische Inhaltsvorgaben und Bewertungskriterien.

Die Prüflinge selbst zeigten bis auf wenige Ausnahmen eine hohe Akzeptanz der abgelaufenen Prüfung. Hier muss angeführt werden, dass die jährlichen Durchfallquoten in den Facharztprüfungen in Südbaden bei <3% liegen [8].

In Anbetracht der hohen Zufriedenheit der PrüferInnen und Prüfungsvorsitzenden mit den bisherigen Prüfungsmodalitäten stellte sich die Frage, ob es bei diesem Personenkreis eine Akzeptanz für eine von der Ärztekammer intendierte Prüferschulung geben würde. Wie könnten die Inhalte einer solchen Schulung aussehen und welche Verbesserungen ließen sich dadurch erzielen?

Aufgrund des Beschlusses der Vertreterversammlung und des Vorstandes der Bezirksärztekammer Südbaden, inhaltlich unterstützt durch die internationalen Vorbilder [2], [3], [4] sowie die diversen Verbesserungsvorschläge und Anregungen von Seiten der PrüferInnen und Prüfungsvorsitzenden in der Eingangsbefragung, wurde Anfang 2013 ein sechs Unterrichtseinheiten (4,5 Stunden) umfassendes Schulungsprogramm entwickelt, das sich stark am damaligen Workshop-Angebot der Medizinischen Fakultäten in Baden-Württemberg für PrüferInnen der mündlich-praktischen M2-Prüfung (jetzt M3-Prüfung) orientierte [9]. Die Adaptation an die Facharztprüfungen war folgendermaßen aufgebaut (siehe Tabelle 1 [Tab. 1]) und enthielt die wichtigsten in der Einleitung beschriebenen Aspekte zur Verbesserung der Facharztprüfungen:

Alle TeilnehmerInnen wurden vor der Veranstaltung gebeten, entsprechend einer zugesandten Vorlage zwei Fallvignetten mit prüfungsrelevanten Patientenfällen aus der Praxis einschließlich des Erwartungshorizontes korrekter Antworten zu erarbeiten und zusammen mit weiteren Prüfungsmaterialien wie z.B. Röntgenbilder, EKG-Ableitungen und Lungenfunktionen am Veranstaltungstag mitzubringen. Die Fallvignetten wurden zunächst im Rahmen des Workshops fachintern einem Review unterzogen, um später als Prüfungsfragen für die anschließende Prüfungssimulation Verwendung zu finden.

Der Workshop wurde seit 2013 sechsmal mit insgesamt 93 TeilnehmerInnen aus den unterschiedlichsten Fachrichtungen durchgeführt und im Anschluss daran evaluiert. In diesem Zeitraum wurde er mehrmals leicht modifiziert und an die jeweilige TeilnehmerInnenzahl und Facharztgruppenzusammensetzung angepasst.

Am Ende jedes PrüferInnen-Workshops wurde eine TeilnehmerInnen-Evaluation durchgeführt. Der Evaluationsbogen umfasste 12 Items zur Nützlichkeit der einzelnen Workshop-Inhalte für die Facharztprüfung sowie zur Zufriedenheit mit dem Workshop-Angebot und es gab die Möglichkeit, Freitextkommentare zu folgenden Fragen abzugeben:

• Haben Sie Verbesserungsvorschläge für Formulare/Materialien?
• Zu welchen Aspekten wünschen Sie weitere Informationen/Unterstützung?
• Was ist für Sie die wichtigste Erkenntnis aus dieser Veranstaltung?

Die Auswertung der Freitextkommentare erfolgte im ersten Schritt durch Sortieren und Kategorisieren der freien Antworten. Danach wurden die Freitextkommentare von 4 verschiedenen BewerterInnen unabhängig voneinander den vorgegebenen Kategorien zugeordnet.

Von den 449 eingetragenen PrüferInnen der Ärztekammer Südbaden sind nur ca. 250 aktiv, von den 33 Prüfungsvorsitzenden nur 10. Von diesen 260 aktiven PrüferInnen und Prüfungsvorsitzenden haben bisher 93 (36%) an der Schulung teilgenommen. Davon gaben 42 TeilnehmerInnen (52,5%) mehr als 5 Jahre Prüfungserfahrung an, 10 (12,5%) zwischen 3 und 5 Jahren und 12 (15%) zwischen 1 und 2 Jahren. 11 TeilnehmerInnen (13,7%) hatten noch keine Prüfung durchgeführt und 5 (6,3%) machten dazu keine Angaben.

Die fachspezifische Zusammensetzung der PrüferInnen und Prüfungsvorsitzenden in den sechs Schulungsveranstaltungen ist in Tabelle 2 [Tab. 2] dargestellt. Vor allem beteiligten sich PrüferInnen und Vorsitzende aus den Fächern Innere Medizin, Chirurgie, Allgemeinmedizin, Gynäkologie sowie aus der Notfallmedizin.

Die nach den einzelnen Schulungen durchgeführten Evaluationen (Rücklaufquote: 86,0%) ergaben eine hohe Akzeptanz des Schulungskonzeptes, vor allem die Möglichkeit der aktiven Mitarbeit während des Workshops sowie das gute kollegiale Klima wurden hervorgehoben. Besonders nützlich für die Facharztprüfung wurden neben dem formalen Ablauf und den theoretischen Grundlagen zur Notwendigkeit einer strukturierten mündlichen Prüfung die Erstellung von Fallvignetten, der kollegiale Review der Prüfungsfragen sowie die Prüfungssimulation angesehen (siehe Abbildung 1 [Abb. 1]).

Als bedeutendstes Ergebnis bei der Auswertung der Freitextkommentare zeigte sich bei der Frage nach der wichtigsten Erkenntnis aus der Veranstaltung, dass die TeilnehmerInnen vor allem Anregungen zur Standardisierung und Strukturierung der Prüfung als sinnvoll erachteten. Ebenso waren Austausch und Abstimmung zwischen den PrüferInnen eines Faches von großer Bedeutung. Explizit wurden z.B. eine nachprüfbare und vergleichbare Strukturierung der Facharztprüfungen genannt, eine Standardisierung der Bewertung der Prüfungsleistung, eine vorherige Abstimmung mit den MitprüferInnen und die Erstellung eines internen Fallvignettenkataloges für das jeweilige Prüfungsfach. Außerdem waren den PrüferInnen und Prüfungsvorsitzenden juristische und formale Aspekte der Facharztprüfung klarer geworden. Viele langjährige PrüferInnen fühlten sich zudem in ihrem bisherigen Vorgehen bestätigt, konnten aber zusätzliche Anregungen aus dem Workshop für ihre PrüferInnen-Tätigkeit mitnehmen.

Einige Freitextkommentare zu den wichtigsten persönlichen Erkenntnissen aus dem Workshop-Angebot sind in Abbildung 2 [Abb. 2] nach den drei am häufigsten genannten Themenbereichen (Standardisierung, Strukturierung und Abstimmung bzw. Austausch mit den anderen PrüferInnen eines Faches) exemplarisch aufgeführt.

Die Evaluationen am Ende der Facharztprüfer-Workshops ergaben, dass die FacharztprüferInnen und Prüfungsvorsitzende/n vor allem die Notwendigkeit sehen, gemeinsame Minimalstandards bzw. ein einheitliches Anforderungsniveau für die jeweiligen Weiterbildungsfächer und damit für die Facharztprüfungen zu entwickeln und vor allem auch neuen FacharztprüferInnen Instrumente an die Hand zu geben, die es ermöglichen, die Objektivität, die Reliabilität und damit auch die Validität der mündlichen Prüfungen zu verbessern [1], [2], [4]. Besonders wichtig erscheinen den PrüferInnen im Hinblick auf die mündliche Prüfung die Notwendigkeit einer guten Strukturierung und Standardisierung. Dies ist vor allem abzulesen an den subjektiven Einschätzungen der Nützlichkeit von Fallvignettenerstellung und kollegialem Review sowie an den vielfachen Freitextkommentaren zu der Frage nach der wichtigsten Erkenntnis aus der Veranstaltung (siehe Abbildung 2 [Abb. 2]).

Zu einem ähnlichen Ergebnis kam eine Ulmer Studie von Öchsner et. al zu Effekten und Nachhaltigkeit des Trainingsworkshops zur M2- Prüfung [10]. Hier gaben 86% der TeilnehmerInnen dieses Workshops an, das Konzept des „strukturierten mündlichen Prüfens“ anzustreben.

Auch die Prüfungssimulation als praktische Umsetzung der vorangegangenen Schulungsinhalte und damit ein zentrales Element des Facharztprüferworkshops wird von den PrüferInnen als äußerst nützlich für die Durchführung der Facharztprüfung angesehen.

Eine zweite Evaluation der Facharztprüfungen und die damit verbundene Befragung von PrüferInnen, Prüfungsvorsitzenden und Prüflingen ist geplant, vor allem um folgende Fragen zu beantworten:

• Wurden durch den Workshop Änderungen im Prüfungsverhalten der geschulten PrüferInnen initiiert und wenn ja, welche?

Hier wären als mögliche Kriterien die Erstellung eines gemeinschaftlichen, fachinternen Blueprints sowie die vorherige Festlegung von Bestehenskriterien und -grenzen zu nennen.

• Gibt es Unterschiede zwischen geschulten und nichtgeschulten PrüferInnen in den Facharztprüfungen?

Mögliche Kriterien für hierfür wären, ob vor der Prüfung schriftliche Fallvignetten einschließlich eines zuvor festgesetzten Erwartungshorizontes erstellt wurden, ob diese in der Prüfung auch genutzt wurden und ob die formalen Kriterien für eine gute Fallvignette erfüllt sind.

Die vor Einführung der FacharztprüferInnen-Workshops erhobenen Nichtbestehensquoten in den Prüfungen von <3% zeigten in den letzten 3 Jahren keine wesentlichen Änderungen, so dass geprüft werden muss, ob dieses Kriterium als Qualitätsmarker für eine veränderte Prüfungskultur herangezogen werden kann.

Schaut man sich die veröffentlichten Nichtbestehensquoten bei Prüfungen für Gebiets-, Schwerpunkts- und Zusatzbezeichnungen in den verschiedenen Landesärztekammern im Bundesgebiet an, so zeigt sich, dass diese erheblich divergieren. Nicht alle Landesärztekammern machen diese Zahlen jährlich transparent und die veröffentlichten Nichtbestehensquoten zeigen eine Spannbreite von z.B. 3,5% in Hamburg [11] und 6,4% in Westfalen-Lippe [12] bei allen Prüfungen (Gebiets-, Schwerpunkts- und Zusatzbezeichnungen) bzw. von z.B. 2,5% in Hamburg [11] und 7,2% in Westfalen-Lippe [12] bei den Prüfungen ausschließlich für die Gebietsbezeichnung.

Die Stärken des Projektes liegen in der Tatsache, dass das im Projekt vorgestellte FacharztprüferInnen-Angebot bundesweit das erste überhaupt ist und damit Vorbildcharakter aufweist. So hat die VertreterInnenversammlung der Bezirksärztekammer Südbaden das Thema einer Qualitätsverbesserung in Facharztprüfungen früher als andere Ärztekammern nicht nur angedacht, sondern auch beschlossen, entsprechende Qualifizierungsmaßnahmen für PrüferInnen und Prüfungsvorsitzende anzubieten und diese konkret umzusetzen. Außerdem konnte ein erfolgreiches Workshop-Konzept erarbeitet werden, dass von den TeilnehmerInnen äußerst positiv angenommen wurde.

Eine der Schwierigkeiten dieses Projektes bestand darin, dass die TeilnehmerInnen des Workshops sich aus einer Vielzahl von PrüferInnen aus den unterschiedlichsten Fachgruppen zusammensetzten, so dass es nicht in allen Schulungen möglich war, mindestens 4 PrüferInnen aus den einzelnen Fachgruppen zusammenzubringen (siehe Tabelle 2 [Tab. 2]), damit ein kollegialer Austausch über die Prüfungsziele und -inhalte sowie eine Simulationsprüfung im Rahmen des Workshops möglich war. In den ersten Veranstaltungen war dies noch kein Problem, es konnten immer eine genügende Anzahl von VertreterInnen aus 3 - 4 Fachgruppen eingeladen werden. In den letzten Veranstaltungen gab es häufiger das Problem, dass nur einzelne FachvertreterInnen am Workshop teilnahmen. In diesen Fällen war es notwendig, dass die FachvertreterInnen in der Reviewphase intensiv durch das TrainerInnenteam betreut wurden. In der Simulationsphase konnten sie auch nur eine Beobachtungsfunktion wahrzunehmen.

Eine weiterer Einschränkung besteht darin, dass bisher in Bezug auf die Schulungen noch kein Outcome geprüft werden konnte. Dies ist in der Folge angedacht.

Ein Angebot von Schulungsprogrammen für FacharztprüferInnen von Gebiets-, Schwerpunkts- und Zusatzbezeichnungen erscheint trotz oder auch gerade wegen der geringen Nichtbestehensquoten sinnvoll und notwendig. Da die Nichtbestehensquoten in den Prüfungen zur Erlangung von Gebiets-, Schwerpunkts- und Zusatzbezeichnungen bundesweit erheblich divergieren, wäre zu überlegen, nicht nur in Südbaden, sondern auch in anderen Kammerbezirken eine Qualifizierung der FacharztprüferInnen anzustreben, so wie es in anderen europäischen Ländern bereits Standard ist. Für eine gemeinschaftliche Qualitätsverbesserung erscheint es sinnvoll, ein einheitliches Konzept für das gesamte Bundesgebiet zu entwickeln und einzuführen.

Unabhängig davon sollten in Deutschland auch Überlegungen angestellt werden, andere Prüfungsverfahren in der ärztlichen Facharztweiterbildung zu etablieren. Um die für den Facharzt notwendigen Kompetenzen zu erfassen, reichen reine wissensbasierte Prüfungen nicht aus. Vielmehr ist die Prüfung des Transfers von Fachwissen in die Praxis von entscheidender Bedeutung [4]. Beispiele aus anderen europäischen Ländern weisen auf eine bessere Kompetenzmessung durch den Einsatz von longitudinalen Prüfungsformaten hin [6]. Daher wäre es sinnvoll, auch für Deutschland ein neues Prüfungsformat für die Facharztprüfungen anzudenken und eine Kombination aus mehreren longitudinalen Prüfungen sowie einer Abschlussprüfung zu implementieren. Ähnliche Überlegungen wurden auch im Rahmen des 2013 veröffentlichten Positionspapieres des Ausschusses Weiterbildung der Gesellschaft für Medizinische Ausbildung angestellt [13]. Zusätzlich könnte auch eine mindestens 90 Minuten dauernde Prüfung am Ende der Facharztweiterbildung, wie in Thüringen bereits eingeführt [7] – angedacht werden.

Die neuen Prüfungsformate könnten die bisher praktizierte minimal halbstündige bis maximal einstündige mündliche Prüfung durch zwei FachärztInnen und eine/n Prüfungsvorsitzende/n ersetzen. Allerdings muss bei allen Veränderungen des Prüfungsformates mit einer Erhöhung der Kosten gerechnet werden, wie in dem Artikel von Flum et. al, 2015 ausdrücklich erwähnt wird [6].

Dr. med. Irmgard Streitlein-Böhme, Dr. med. Götz Fabry und Dr. med. Klaus Böhme haben für die Konzeption und Durchführung der FacharztprüferInnen-Workshops Aufwandsentschädigungen von der Bezirksärztekammer Südbaden erhalten.

Die Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.