gms | German Medical Science

Prüfungen haben eine ganze Reihe von wichtigen Aufgaben: Sie besitzen einen stark lernsteigernden Effekt, geben Rückmeldungen über die Wirksamkeit von Aus- und Weiterbildungsprogrammen und schützen den Patienten [1]. Bis Mitte des zwanzigsten Jahrhunderts wurde in der Medizin vornehmlich schriftlich in Form von Aufsätzen oder mündlich geprüft [1], [2]. Aus Prüfungen abgeleitete Bewertungen stellten sich damals häufig als subjektiv, willkürlich und nicht reproduzierbar heraus [1]. Nachfolgend wurden standardisierte Tests wie Multiple Choice Prüfungen (MC-Prüfungen) oder auch Objective Structured Clinical Examinations (OSCE) [3] entwickelt (Case & Swanson 1996, Norcini & Burch 2007, Kogan et al. 2009, zitiert nach Norcini [1]). Prüfungen sollen objektiv, reproduzierbar (reliabel) und valide (gültig) sein. Ferner sollen sie akzeptiert durch Prüflinge und Prüfer sein, eine lernfördernde Komponente haben und möglichst kosteneffizient sein [4]. Mit Objektivität ist gemeint, dass die Prüfung von der Person des Prüfers, von seinen Einstellungen, Gefühlen und Motiven möglichst unabhängig sein soll. Sie bezieht sich auf die Durchführung, Auswertung und die Interpretation einer Prüfung [5]. Eine Prüfung soll bei Wiederholung annähernd das gleiche Ergebnis liefern, also reliabel sein. Die Reliabilität ist ein Maß für die Zuverlässigkeit einer Prüfung. Die Reliabilität wird als Koeffizient von 0 (keine Reliabilität) bis 1 (perfekte Reliabilität) dargestellt. Der Wert 0.80 wird häufig als minimaler Standard für eine bedeutende sog. „high stakes“ Prüfung festgelegt [6]. Eine Prüfung ist u.a. valide, wenn sie das misst, was sie zu messen vorgibt. Sie ist somit ein Maß für die Messgenauigkeit eines Tests [5]. Ein externer Standard zum Vergleich des Prüfungsergebnisses mit diesem Standard wäre für valide Prüfungen wünschenswert, ist aber in der Praxis häufig nicht verfügbar. Dann dienen häufig Experteneinschätzungen für eine Validierung. In der medizinischen Lehre kommen vor allem Konstrukte zur Anwendung, also abstrakte Konzepte und Prinzipien, die aus Verhalten abgeleitet und durch pädagogische und psychologische Theorien erklärt werden [7]. Dieser Sachverhalt wird durch den Begriff der Konstruktvalidität wiedergegeben.

Die Gesellschaft vertraut auf Prüfungen, die gewährleisten, dass Patienten sich in die Obhut von kompetenten und qualifizierten Medizinern geben können, die einen Mindeststandard erreicht haben [1]. Nach Premi sollen Facharztprüfungen sicherstellen, dass Kollegen, die diese Prüfung abgelegt haben, das Wissen und die notwendigen Fertigkeiten ihrer Fachgruppe erworben haben und eigenständig anwenden können (Premi 1994, zitiert nach Ratnapalan & Hilliard [8]). Prüfungen, die das notwendige Wissen sowie die notwendigen Fertigkeiten und Haltungen zur Berufsausübung nachweisen, sind Teil der Selbstregulierung in der medizinischen Weiterbildung. Dies wird weltweit mit zunehmender Skepsis bewertet, erst recht vor dem Hintergrund, dass die Ausbildung zum Arzt eine sehr teure Angelegenheit ist und häufig aus öffentlicher Hand finanziert wird [9]. In Australien, Großbritannien und Canada sind aus diesem Grund die Regierungen direkt mit der Regulierung der medizinischen Weiterbildung betraut (Chantler & Ashton 2009, Shaw et al. 2009, Medicare Advisory Commission 2009, zitiert nach Holmboe [9]).

Die Musterweiterbildungsordnung, die von der BAEK entwickelt wurde, hat empfehlenden Charakter in Bezug auf die Weiterbildung eines Arztes. Der Abschluss der zu dokumentierenden Weiterbildung wird auf Grund der von den Weiterbildungsbefugten erstellten Zeugnisse und einer Prüfung beurteilt. Laut Angaben der BAEK stellt die Weiterbildungsbezeichnung den Nachweis für die erworbene Kompetenz dar und dient als Qualitätssicherung der Patientenversorgung und der Bürgerorientierung. Der Begriff der Kompetenz wird hierbei nicht näher spezifiziert [10].

In der Schweiz ist die FMH (Foederatio Medicorum Helveticorum) der Berufsverband der Schweizer Ärztinnen und Ärzte. Sie ist Dachverband von über 70 Ärzteorganisation. Das Schweizerische Institut für ärztliche Weiter-und Fortbildung (SIWF) ist ein autonomes Organ der FMH und stellt für über 120 Fachgebiete eine qualitativ hochwertige Weiter- und Fortbildung der Ärztinnen und Ärzte sicher. In Zusammenarbeit mit den Fachgesellschaften erlässt das SIWF für jedes Fachgebiet ein detailliertes Weiterbildungs- bzw. Fortbildungsprogramm https://www.siwf.ch/].

Die österreichische Ärztekammer (ÖÄK) verleiht die Berechtigung zur unselbstständigen sowie zur selbstständigen und eigenverantwortlichen ärztlichen Berufsausübung. Für die Durchführung der Arztprüfung als Voraussetzung für die ärztliche Berufsausübung, hat die ÖÄK die Österreichische Akademie für Ärzte GmbH betraut [https://www.aerztekammer.at/]. Die Ausbildungsinhalte und die dazugehörigen Zeugnisse zum Erwerb eines Facharzttitels sind von der ÖÄK erstellt und vorgegeben [https://www.aerztekammer.at/ausbildungsinhalte-und-rasterzeugnisse-kef-und-rz-v-2015].

Die Kompetenzorientierung rückt in der Aus- und Weiterbildung in der Medizin seit einigen Jahren immer mehr in den Vordergrund, dies mit dem Ziel, zu gewährleisten, dass Absolventen die Herausforderungen der praktischen Tätigkeit meistern und alle hierfür notwendigen Kompetenzen besitzen [11].

Das Rollenmodell „Canadian Medical Education Directives for Specialists“ (CanMEDS) wurde von Frank et al. entwickelt, um eine umfassende Weiterbildung von Ärzten zu gewährleisten [12]. Auf der Basis einer systematischen Literaturanalyse sowie breit angelegter Experten- und Stakeholder-Befragungen wurden zur Etablierung des CanMEDS Rahmenmodells durch Frank et al. [11] sieben ärztliche Rollen definiert und in alle Weiterbildungsprogramme Kanadas integriert [12]:

1.

Medical Expert,

2.

Communicator,

3.

Collaborator,

4.

Leader,

5.

Health Advocate,

6.

Scholar,

7.

Professional.

Diesen Rollen sind zahlreiche Schlüsselkompetenzen zugeordnet. Das CanMEDS Rollenmodell wurde in Europa bereits in nationalen Lernzielkatalogen für das Medizinstudium integriert (Niederlande (Laan 2010, zitiert nach Jilg) [13], Schweiz [14], Deutschland [http://www.nklm.de]). Nicht nur die medizinische Lehre sollte kompetenzorientiert unterrichtet werden, sondern auch konsekutiv die Weiterbildung. Hierzu gehört unabdingbar auch eine kompetenzorientierte Überprüfung des Wissens, der Fertigkeiten und der Haltungen.

Bisher gibt es keine Zusammenstellung dazu, inwiefern die Facharztprüfungen der DACH-Region kompetenzbasiert gestaltet sind und die anderen genannten Qualitätskriterien für Prüfungen wie Objektivität und Reliabilität Berücksichtigung finden. Ziel dieser Arbeit ist es deshalb, eine Übersicht existierender summativ eingesetzter Facharzt-Prüfungsformate in der DACH-Region und deren Organisation zu erstellen, die Formate kritisch bezüglich Qualitätskriterien zu betrachten und Empfehlungen anhand der internationalen Literatur zu geben. Diese Zusammenstellung soll als ersten Schritt den aktuellen Stand bekannter machen und mögliche Richtungen für die Weiterentwicklung von Facharztprüfungen in der DACH-Region aufzeigen.

Folgende Homepages wurden auf Hinweise bestehender Prüfungsformate und die Organisation der Facharztprüfungen durchsucht:

1.

Homepage der Schweizerischen Instituts für ärztliche Weiter- und Fortbildung [https://www.siwf.ch/]

2.

Homepage der Österreichischen Akademie der Ärzte [https://www.aerztekammer.at/]

3.

Homepage der deutschen Bundesärztekammer [10]

Ausgehend von den Webseiten dieser nationalen Dachorganisationen, wurden die Inhalte der Homepages von Fachgesellschaften oder Landesärztekammern, die weiteren Aufschluss über die aktuell eingesetzten Prüfungsformate lieferten, ausgewertet. Die Güte der Internetrecherche ist daher abhängig von den dort gelisteten Informationen und Daten.

Die Durchsicht der einzelnen Geschäftsberichte der Landesärztekammern ergab, soweit verfügbar, einen Überblick über die Anzahl der durchgeführten Prüfungen eines Jahres und den entsprechenden Durchfallquoten. Darüberhinausgehende statistische Kennzahlen oder Kosten wurden nicht zur Verfügung gestellt.

Weiterhin wurden die eingesetzten Prüfungsmethoden zu Qualitätskriterien (Validität, Reliabilität, Objektivität, Akzeptanz, Kosteneffizienz und Einfluss auf das Lernen) von Prüfungen kritisch anhand der international vorliegenden Literatur bewertet und Kriterien für Best Practice Facharztprüfungen aus der Literatur abgeleitet.

In der Schweiz werden in 26 von 46 Fachgebieten Multiple Choice (MC)-Prüfungen eingesetzt Die Anzahl der Fragen variiert zwischen 50 und 200 Fragen. Die minimale Prüfungsdauer beträgt 120 Minuten, das Maximum liegt bei 360 Minuten. Die Fachgebiete Anästhesiologie, Allergologie/Immunologie sowie Gefäßchirurgie werden in Verbindung mit der European Union of Medical Specialists (UEMS) geprüft. Die Kardiologie plant den Anschluss an die europäische Facharztprüfung für das Jahr 2018. Folgende Fragentypen werden in der Schweiz genutzt, wobei es hier eine deutliche Varianz hinsichtlich des Vorkommens innerhalb der Fachgebiete gibt: Typ A positiv, Typ A negativ, Typ Kprim, Typ B, Typ E, Typ R, Typ Pick N werden als MC-Formate eingesetzt. Zusätzlich werden Short Answer Questions (SAQ) sowie Script Concordance Tests (SCT) genutzt. Eine gute Einführung mit Beispielen zu den einzelnen, unterschiedlichen Fragentypen liefern Swanson und Case [15]. Im Fachgebiet Psychiatrie/Psychotherapie müssen die Prüflinge in einem 2. Teil eine schriftliche Arbeit abgeben und an einem Kolloquium teilnehmen. In der Radiologie u.a. wird mit Freitext Prüfungen geprüft, die nicht näher erläutert werden. Hier steht die Diagnostik von Fällen im Vordergrund. Zum Einsatz kommt ein webbasiertes Prüfungstool. Neben dem schriftlichen Format gibt es in der Schweiz auch mündliche Prüfungen, u.a. Besprechung eines Papers, Vorstellung von Patientendossiers, Durchführung eines Kolloquiums sowie strukturierte mündliche Prüfungen (SMP). Die Dauer variiert von 20 Minuten bis hin zu 180 Minuten. Einige Fachgebiete, z.B. die Endokrinologie/Diabetologie, kombinieren hierbei eine schriftliche mit einer mündlichen Prüfung. In 23 Fachgebieten, also 50% der Facharztprüfungen in der Schweiz, finden Prüfungen mit einem praktischen Anteil statt. Im Fachgebiet der Otho-Rhino-Laryngologie sowie der Thoraxchirurgie wird z.B. praktisch im Rahmen einer Operation geprüft. Die Rheumatologie führt einen 9 Stationen umfassenden OSCE durch, wobei pro Station 10 Minuten zur Verfügung stehen. Hierbei werden nicht nur Wissen (Anatomie, Pathophysiologie u.a.), sondern auch praktische Fertigkeiten (Untersuchungstechniken) sowie kommunikative Fertigkeiten standardisiert überprüft. Im Jahr 2017 wurden durch das SIWF 1428 Facharzttitel [16] und im Jahr 2018 1434 Facharzttitel vergeben [17]. Eine Durchfallquote wird von der SIWF im Geschäftsbericht nicht veröffentlicht.

14 von 57 Prüfungen werden mit MC-Fragen durchgeführt. Das Minimum der Fragen wird mit 50 angegeben und reicht bis hin zu 200 Fragen, welche im Fachgebiet Haut- und Geschlechtskrankheiten zu beantworten sind. Den Prüflingen stehen 60 bis 300 Minuten zur Verfügung. Die Anästhesiologie und Urologie sind der europäischen Facharztprüfung angegliedert. Die Fachgebiete Pathologie und Radiologie setzen Prüfungen mit Kurzantwortfragen ein. Die Dauer umfasst 80-240 Minuten. 45 Fachgebiete prüfen in Österreich mündlich anhand von strukturierten mündlichen Prüfungen (Einsatz eines sog. „Blueprint“, vorformulierter Fragen und eines Erwartungshorizontes). Unter „Blueprint“ wird in diesem Zusammenhang ein gewichteter inhaltlicher Prüfungsplan verstanden, der sicherstellt, dass eine Auswahl an relevanten Prüfungsinhalten eine inhaltliche Gleichbehandlung eines jeden Prüflings gewährleistet. Bei den meisten Fächern wird ein Blueprint erstellt und explizit bei der Prüfungsbeschreibung erwähnt. Die Dauer der Prüfung kann zwischen 40 und 120 Minuten variieren. Einige Fächer prüfen sowohl schriftlich, als auch mündlich. Eine klinisch-praktische Prüfung gibt es aktuell in Österreich nicht. Eine Statistik über die Anzahl der in Österreich pro Jahr durchgeführten Prüfungen und entsprechender Durchfallquoten liegt uns nicht vor.

Die Facharztprüfung wird bei allen Landesärztekammern in Form einer unstrukturierten mündlichen Prüfung (UMP) abgehalten, die mindestens 30 Minuten dauert und bis zu 60 Minuten dauern kann. Diese Prüfungsform wird bei allen Facharztbezeichnungen eingesetzt und auch als „kollegiales Fachgespräch“ bezeichnet. Die Anzahl der Prüfer kann variieren. Mindestens ein Prüfer muss aus dem zu prüfenden Fachgebiet stammen. Die Prüfungsergebnisse sind zu dokumentieren. Typischerweise wird weder ein strukturierter Blueprint erstellt, noch werden im Vorfeld im Sinne einer standardisierten und strukturierten Prüfung Fragen vorformuliert und ein Erwartungshorizont angegeben. Die Landesärztekammer Hamburg stellt hier eine Ausnahme dar. Hier werden die Fragen im Vorfeld an den Prüfungsvorsitzenden überreicht. Tabelle 1 [Tab. 1] zeigt die Anzahl der Facharztprüfungen und dazugehörige Durchfallquoten. Die Daten wurden denjenigen Geschäftsberichten des Jahres 2017 der jeweiligen Landesärztekammern, die online verfügbar waren, entnommen. Eine Anfrage an die BAEK hinsichtlich einer umfassenden, bundesweiten Statistik lieferte das Ergebnis, dass eine solche Statistik nicht verfügbar sei.

MC-Prüfungen sind im Bereich der Medizin als Prüfungsmethode weit verbreitet, da sie kosteneffizient einsetzbar sind und für das Prüfen von Wissen eine hohe Validität und Reliabilität bieten können (Norcini 1985, zitiert nach Gerhard-Szep [18]). Dies setzt aber voraus, dass inhaltlich und formal hochwertige Fragen in ausreichender Anzahl pro Prüfung (mindestens 40) eingesetzt werden (Jünger 2014, zitiert nach Gerhard-Szep [18]). Case et al. betonen, dass zwei Kriterien zur Entwicklung einer guten Frage notwendig sind: Die Frage muss relevanten Inhalt prüfen und gut strukturiert sein [15]. Die MC-Fragen-Entwicklung auf qualitativ hohem Niveau ist zeitaufwendig. Mit schriftlichen Prüfungsmethoden ist es vor allem möglich, Faktenwissen zu prüfen. Kommunikative und praktische Fertigkeiten bzw. Kompetenzen mittels MC-Fragen zu prüfen ist, im Gegensatz zu einer OSCE, nicht möglich [19].

Bei Kurzantwortfragen müssen frei formulierte, kurze, stichwortartige Antworten gegeben werden. Prüfungsteilnehmer müssen spontan über die richtige Lösung nachdenken und können nicht auf vorgegebene Antwortmöglichkeiten reagieren [5]. Dies vermindert das sog. „Cueing“, welches Prüflingen die Möglichkeit gibt, eine Frage ohne Wissen richtig zu beantworten (Schuwirth 2004, zitiert nach Epstein [20]). Idealerweise werden auch hier „kontextreiche“ Fragenstämme (Fallvignetten) angeboten, die auch das Prüfen von Anwendungswissen und z.B. „Clinical Reasoning“ ermöglichen. Die Reliabilität hängt wesentlich auch von der Qualität der Bewertungen durch die Prüfer ab [20] – hier kann ein Training der Prüfer im Vorfeld Abhilfe schaffen. Die Auswertung ist anfälliger für subjektive Verzerrungen als bei MC-Fragen. Vorformulierte Erwartungshorizonte, an denen sich die auswertenden Prüfer orientieren müssen, können die Objektivität erhöhen und sollten vorliegen. Akzeptable Reliabilitätswerte erreicht man durch den Einsatz mehrerer Prüfer, die jeweils für die Auswertung unterschiedlicher Aufgaben zuständig sind [5]. Eine anschauliche Vorlage einer Aufgabenstellung liefern Rademakers et al. [21]. Zwischenzeitlich gibt es auch die Möglichkeit, die Antwortoptionen computerbasiert auszuwerten [22]. Hier sind in naher Zukunft neue Entwicklungen zu erwarten, die auf Methoden der künstlichen Intelligenz zurückgreifen.

Der SCT dient zur Überprüfung der „Clinical Reasoning“ Kompetenz von Prüflingen in Situationen klinischer Unsicherheit [23]. Es werden kurze klinische Szenarien geschildert und schrittweise weitere Zusatzinformationen gegeben. Der Prüfling soll nun im Lichte dieser neuen Informationen diagnostische, weiterführende oder therapeutische Entscheidungen treffen [24]. Anhand einer 5 Punkte umfassenden Likert Skala von -2 bis +2 muss der Prüfling angeben, inwiefern die Zusatzinformation die Krankheitshypothese, die im Szenario beschrieben ist, unterstützt oder eben nicht [25]. Die Ergebnisse der Prüflinge werden im Nachgang mit den Einschätzungen einer Expertengruppe abgeglichen; dabei erzielt die Antwort die meisten Punkte, bei der die meisten Experten zugestimmt haben (Goldstandard) [23]. Abbildung 1 [Abb. 1] zeigt ein Beispiel mit drei Fragen [25].

Zwischenzeitlich konnten verschiedene Arbeitsgruppen günstige psychometrische Eigenschaften des SCT nachweisen (Konstruktvalidität, Reliabilität und Durchführbarkeit) [23]. Brailovsky et al. (2001, zitiert nach Epstein [20]) konnten zeigen, dass die Antworten auf solche Fragen mit dem Ausbildungsstand des Prüflings korrelieren und dessen künftige Leistung bei mündlichen Prüfungen in Bezug auf dessen Fähigkeit des „clinical reasoning“ vorhersagen [20]. Kritisch ist, dass eine 5 Punkte Likert Skala zu Missverständnissen und Angabe falscher Bewertungen seitens des Expertenpanels führen kann, so dass Lineberry et al. die Verwendung einer 3 Punkte Skala bestehend aus „widerlegt“, „weder widerlegt, noch unterstützt“ und „zutreffend“ empfehlen. Zusätzlich besteht die Gefahr, dass Prüflinge ihre Antworten im Sinne der Tendenz zur Mitte angeben und damit ein besseres Prüfungsergebnis erhalten, als diejenigen, die die Likert Skala in ihren Extremen ausnutzen [26]. Zudem ist weiterhin in Diskussion, wie sinnvoll die Punktevergabe - einer Expertengruppe entsprechend – ist, zumal hierfür 10-20 Mitglieder [27] empfohlen werden und der SCT damit recht aufwändig ist.

Die mündliche Prüfung ist eine traditionelle Form der Prüfung, bei der ein oder mehrere Prüfer Fragen an den Kandidaten richten. Die mündliche Prüfung soll das Wissen bewerten, die Tiefe des Wissens erforschen und andere Qualitäten wie die geistige Beweglichkeit testen. Colton & Peterson, Foster et al. und Kelly et al. kritisierten den Einsatz von mündlichen Prüfungen in High-Stakes-Prüfungen aufgrund ihrer geringen Reliabilität (Peterson 1967, Foster et al. 1969, Kelly et al. 1971, zitiert nach Davis [28]. Bei der mündlichen Prüfung treten zahlreiche Fehlerquellen auf, denen Prüfer im Rahmen unterliegen. Beispielsweise dominiert beim Primacy-Effekt der erste Eindruck über spätere, beim Recency-Effekt setzen sich spätere Eindrücke nachhaltiger fest. Beim Halo-Effekt überstrahlt die Wahrnehmung und Bewertung einer Eigenschaft, die Wahrnehmung und Bewertung anderer Eigenschaften. Antipathie, Sympathie und die Zusammensetzung der Prüfer haben ebenso einen Einfluss auf die Bewertung der Prüfungsleistung [29]. Nach Roloff et al. steigen Reliabilität und Objektivität, wenn mehrere Prüfer unabhängig voneinander prüfen und die Anzahl der Fragen sowie die Prüfungszeit zunehmen (Roloff 2016, zitiert nach Gerhard-Szep [18]). Memon et al. haben 15 Qualitätssicherungsmaßnahmen benannt, die aus der Sicht der Literatur notwendig sind, um Objektivität, Reliabilität und Validität von Facharztprüfungen zu gewährleisten. Sie geben an, dass die mündliche Prüfung am ehesten geeignet ist „Clinical Reasoning“ und „Decision Making“ zu prüfen. Der Prüfungsinhalt sollte durch ein Expertengremium zuvor festgelegt werden. Die Prüfungsfragen sollten dahingehend ausgewählt werden, dass sie nicht nur die entsprechende Wissenstiefe, sondern auch die Breite des Stoffgebietes adäquat prüfen und eine entsprechende inter-item Reliabilität gewährleisten. Prüfer müssen zuvor in Bezug auf eine mündliche Prüfung geschult werden. Abweichungen zwischen Prüfern (inter-examiner variations) müssen überwacht und adressiert werden. Item-Erstellungs- und Implementierungsprozesse müssen standardisiert sein und eine statistische Auswertung soll Rückschlüsse auf die Reliabilität geben. Bei mündlichen Prüfungen muss in der Bewertung mit Verzerrungen (Bias) gerechnet werden und deshalb sollte dahingehend eine Qualitätssicherung durchgeführt werden [30].

Die unstrukturiert mündliche Prüfung sieht zumeist die Anzahl von zwei ungeschulten Prüfern vor, die basierend auf ihren Prüfungserfahrungen, prüfen. Hierbei gibt es typischerweise weder einen vorformulierten Erwartungshorizont, noch zuvor verschriftliche Fragen, die anhand des Curriculums bzw. Blueprint ausgerichtet sind. Bereits 1985 konnten Jayawickramarajah et al. darstellen, dass 2/3 der Fragen im Rahmen einer unstrukturierten mündlichen Prüfung ausschließlich Faktenwissen prüften. Zusätzliches Problem einer unstrukturierten mündlichen Prüfung ist die hohe Wahrscheinlichkeit des Auftretens der Konstrukt Irrelevanten Varianz (KIV), dadurch, dass eine zu geringe Anzahl an Prüfern eingesetzt wird. KIV tritt auf, wenn beispielsweise die zu prüfende Kompetenz „Clinical decision making“ durch Auftreten, Angst, Sprachfertigkeit oder Kleidung des Prüflings beeinflusst werden. Konstrukt Unterrepräsentation (KU) ist eine weitere Hürde, die im Rahmen einer unstrukturiert mündlichen Prüfung beachtet werden muss, da zum Beispiel zwei bis drei klinische Szenarien, die geprüft werden, nicht die ganze Breite des zu prüfenden Stoffgebietes abdecken können. Bedenken hinsichtlich der Validität dieser traditionellen Prüfungsform haben dazu geführt, dass diese Prüfungsform durch schriftliche Prüfungen oder durch strukturierte mündliche Prüfungen ersetzt wurden (Jayawickramarajah et al. 1985, Turnball, Danoff, & Norman, 1996, Pokorny & Frazier, 1966, zitiert nach Lamping et al. 2007 [31]).

Das OSCE-Prüfungsformat wurde in den 70iger Jahren von Harden entwickelt und prüft vor allem klinisch-praktische Kompetenzen. Durch Standardisierung wird eine höhere Objektivität erreicht [3]. Damit eine standardisierte Darstellung von Erkrankungen erreicht werden kann, werden Schauspieler speziell für diesen Einsatz trainiert [32]. Eine Reihe von Problemstellungen wird dem Prüfling in Form eines Parcours präsentiert. Die Anzahl sowohl der Stationen, als auch der Prüfer, wirkt sich positiv auf die Reliabilität aus. Trotz hoher Varianz in Studien, kann bei mehr als 10 Stationen bereits eine gute Reliabilität erreicht werden [33]. Pro Station hat der Prüfling ca. 5-15 Minuten Zeit, um die Aufgabenstellung zu bearbeiten [2]. Der Prüfer überprüft die gesehene klinische Kompetenz anhand einer Checkliste und/oder einer globalen Ratingskala. OSCEs machen es möglich, dass im Rahmen des Kontakts mit dem standardisierten Patienten (SP) durch geschickte Anamnesetechniken und eine patientenzentrierte körperliche Untersuchung, eine Diagnose gestellt werden kann. Trainierte SPs können nach Van der Vleuten und Tamblyn nicht von richtigen Patienten unterschieden werden, wiederholt zuverlässig spielen und auch wertvolles Feedback an die Prüflinge geben (Van der Vleuten 1990, Tamblyn 1991, zitiert nach Newble [2]). Die OSCE wird von Studierenden und Dozierenden im Allgemeinen positiv betrachtet (Roberts & Brown 1990, zitiert nach Rushfort [34]) auch, wenn die Studierenden die Prüfung z.T. als Stress empfinden. Der Prüfung wird im Vergleich zu anderen Prüfungen eine größere Objektivität bescheinigt (Schuwirth & Van der Vleuten 2003, zitiert nach Rushforth [34]) und hat einen positiven Effekt auf die Motivation (Bartfey et al. 2004, zitiert nach Rushforth [34]) der Prüflinge hierfür zu lernen [34].

Die nachfolgende Tabelle 2 [Tab. 2], in Anlehnung an Gerhard-Szep et al., Lubarsky et al., Epstein et al. und Van der Vleuten et al. [4], [18], [20], [25] wurde konzipiert, um die in der DACH-Region auftretenden Prüfungsformen zu vergegenwärtigen und aus Sicht der Autoren hinsichtlich beschriebener, wesentlicher Qualitätskriterien einzuordnen. Sie dient im Wesentlichen der besseren Übersicht und soll die Empfehlungen zu einer Best Practice Facharztprüfung unterstützen.

Im Folgenden werden Empfehlungen für eine Best Practice Facharztprüfung gegeben, die der aktuellen Literatur abgeleitet wurden.

Die Beachtung der folgenden Empfehlungen unterstützt, dass die resultierenden Prüfungen möglichst valide, reliabel, objektiv, akzeptiert, lehrreich und kosteneffizient sind. Dies ist notwendig, damit kompetenzorientierte Lernziele sinnvoll geprüft werden können und Prüfungen belegen, dass Prüflinge die zur eigenständigen Behandlung von Patienten notwendigen Kompetenzen erlernt haben.

1.

Einsatz verschiedener Prüfungsmethoden (Triangulation): Unterschiedliche Prüfungsmethoden (z.B. eine schriftliche (e-)Prüfung für Wissen und eine OSCE-Prüfung für praktische und kommunikative Fertigkeiten) sollten genutzt werden, um einerseits Wissen und andererseits praktische und kommunikative Fertigkeiten adäquat prüfen zu können. Erst die Kombination (Triangulation) der Ergebnisse verschiedener Prüfungsformate kann eine hohe Validität und unterschiedliche Kompetenzen sicherstellen [35].

2.

Vorab Festlegung der zu prüfenden Inhalte und Kompetenzen (Blueprinting): Ein gewichteter Prüfungsplan (sog. Blueprint) gibt den Rahmen für die Prüfung vor, indem er vor einer Prüfung sicherstellt, dass eine ausgewogene Auswahl relevanter Lernziele in die Prüfung einfließt [36]. So soll gewährleistet werden, dass die Prüfung inhaltlich gültig, fair, relevant und für das geprüfte Fach repräsentativ ist.

3.

Vorab Festlegung der Fragestellungen und des Erwartungshorizontes: Bei mündlichen und praktischen Prüfungen müssen genauso wie bei schriftlichen Formaten die Fragestellungen und der Erwartungshorizont im Vorfeld pro Frage/Station jeweils schriftlich festgehalten werden (sog. Strukturierung). Klar strukturierte Checklisten stellen bei mündlichen und praktischen Prüfungen den Erwartungshorizont unmissverständlich dar und sorgen damit für die notwendige Interpretations- und auch Auswertungs-Objektivität [18], [37].

4.

Ausreichende Anzahl an Fragen, Prüfern, Stationen/zu prüfender Lernziele: Für relevante Prüfungen wird eine Mindestreliabilität von 0,8 angegeben [4], [35]. Um diese zu verbessern, kann die Anzahl der Aufgaben und/oder deren Qualität gesteigert werden [35]. Ebenso hat die Anzahl der Prüfer einen steigernden Effekt auf die Reliabilität (Swanson 1987, zitiert nach Lynch [38]). Je mehr Prüfer prüfen, desto besser wird die Reliabilität. In mündlichen und praktischen Prüfungen ist es sinnvoller, je einen Prüfer pro Thema/Station zu haben, anstatt mehrere Prüfer gleichzeitig und dafür weniger Stationen/Themen.

5.

Qualitätssicherung der erstellten Fragen/Aufgaben: Der inhaltliche und formal-sprachliche Review und die Revision der Aufgabenstellungen sind zur Gewährleistung der Eindeutigkeit der Lösungen und hohen Qualität der Aufgaben und Fragen notwendig. Die Validität der Prüfungsergebnisse wird durch einen Reviewprozess (medizindidaktisch geschulte Experten) der Fragen und Aufgaben gestärkt [4], [39].

6.

Qualitätssicherung bei der Auswertung der Prüfung: Die Qualitätssicherung durch teststatistische Auswertung von Prüfungen ermöglicht, OSCE-Stationen und Prüfungsaufgaben gezielt zu überarbeiten, Checklisten zu prüfen und ggf. auch Schlussfolgerung auf die Qualität des Unterrichts zu ziehen. Als Parameter werden folgende empfohlen: Bei schriftlichen Prüfungen sollte zumindest eine Untersuchung bzgl. Reliabilität, Trennschärfe und Item-Schwierigkeit durchgeführt werden (außer bei kleinen Kandidatenzahlen <30, wegen des Einflusses des Zufalls). Bei mündlichen bzw. praktischen Prüfungen ist die Untersuchung der Trennschärfe und Item-Schwierigkeit und zusätzlich der Reliabilität auf Posten- und Item-Niveau, besser „OSCE-Metrics“ [40] sehr wünschenswert. Ein modernerer Ansatz zur Festlegung der Bestehensgrenze von Prüfungen, bei der ein Bestehen auch bei mehr oder weniger als 50% gelöster Aufgaben erfolgen kann, verfolgt den Ansatz der inhaltlichen Festlegung der Bestehensgrenze [36], (z.B. modifiziertes Angoff-Verfahren bei MC [41], Borderline Regression Methode bei OSCE (siehe Wood et al. [42]).

7.

Lerneffekt für die Prüflinge: Prüfungen dienen nicht nur zur Entscheidungsfindung, sondern sind ebenso ein sehr wichtiger Lernanreiz für die Kandidaten und unterstützen zudem durch die Feedbackgabe von Prüfungsergebnissen an Prüflinge zusätzlich den Lerneffekt [4]. So kann z.B. ein Feedbackbrief so gestaltet sein, dass die Prüflinge wissen, in welchen Bereichen des Blueprints sie weniger gut im Vergleich zu den anderen Aufgaben und zu den anderen Prüflingen abgeschnitten haben.

Berücksichtigung der Kosteneffizienz: Gute Prüfungen haben ihren Preis, stellen aber definitiv eine lohnenswerte Investition im Hinblick auf den Lerneffekt von Prüflingen dar [4], [39]. Es sollte jeweils die Prüfungsmethode gewählt werden, die einerseits den Prüfungsgegenstand adäquat prüfen kann (Inhaltsvalidität) und andererseits dabei noch möglichst kosteneffizient ist. Wenn es also z.B. primär um das Überprüfen von Anwendungswissen bei vielen Kandidaten geht, ist eine schriftliche Prüfung mit Vignettenfragen einer strukturierten mündlichen Prüfung in Sachen Kosteneffizienz überlegen. Der Zusammenschluss von Fachgesellschaften, kann den Aufwand z.B. für praktische Prüfungen (z.B. OSCE) mit dem Ziel der Überprüfung der CanMEDS-Rollen reduzieren (vgl. dem Schweizer Basisexamen in der Chirurgie im Bereich Wissen https://basisexamen.ch/).

Diese Arbeit geht der Frage nach, welche Facharztmethoden in der DACH-Region eingesetzt werden. Zudem werden die eingesetzten Prüfungsmethoden kritisch betrachtet und basierend auf der aktuellen Literatur Empfehlungen zur Weiterentwicklung der Facharztprüfungen beschrieben.

Mehr als 50% der Facharztprüfungen werden in der Schweiz in Form von MC-Prüfungen durchgeführt. Die Fachgebiete Anästhesiologie, Allergologie/Immunologie sowie Gefäßchirurgie werden in Verbindung mit der European Union of Medical Specialists (UEMS) geprüft. Weitere Fachbereiche planen dies. Sieben verschiedene MC-Fragen Typen werden eingesetzt, ebenso der SAQ, Freitextprüfungen (nicht näher spezifiziert) sowie der SQT. Auch schriftliche Arbeiten, die SMP, praktische Prüfungen und eine OSCE werden genutzt. Insgesamt haben 50% der Schweizer Facharztprüfungen einen praktischen Anteil (vgl. Anhang 1 [Anh. 1] und Anhang 2 [Anh. 2]).

In Österreich werden 25% der Facharztprüfungen als schriftliche Prüfungen (MC-Fragen) durchgeführt. Zwei Fachgebiete prüfen in Verbindung mit der UEMS. SAQ und SMP sind ebenfalls verwandte Prüfungsformen. Ein Blueprinting wird regelhaft eingesetzt. Eine praktische Prüfung gibt es bislang nicht (vgl. Anhang 2 [Anh. 2] und Anhang 3 [Anh. 3]).

In Deutschland findet flächendeckend eine UMP statt, die als „kollegiales Fachgespräch“ bezeichnet wird (vgl. Anhang 4 [Anh. 4]).

Positiv zu bewerten ist, dass in der Schweiz bereits 50% der Facharztprüfungen einen praktischen Prüfungsanteil haben. Um im Rahmen der Facharztprüfung auch praktische und kommunikative Kompetenzen prüfen zu können, sollte eine praktische, Kommunikations- und Kompetenzorientierte Prüfung, zusätzlich zu einer wissensorientierten Prüfungsmethode (schriftlich/SMP), eingesetzt werden. Das OSCE-Format könnte hier zum Einsatz kommen. Zur Kostenreduktion könnten z.B. zumindest Anteile der Prüfungen landesweit durchgeführt werden.

Zudem ist anhand der Literatur positiv zu werten, dass in der Schweiz und in Österreich MC-Prüfungen mit Typ A pos. Fragen in der Mehrzahl genutzt werden, um Wissen inkl. Anwendungswissen objektiv zu überprüfen und teststatistisch auszuwerten. Eine Beurteilung der überprüften Kompetenz anhand dieser Prüfungsformen ist jedoch nur dann möglich, wenn ein detaillierter Einblick in die durchgeführten Prüfungen und deren Ergebnisse ermöglicht werden kann. Die Vorbereitung von schriftlichen Prüfungen wird häufig unterschätzt und ist zeitaufwendig, da sowohl inhaltliche als auch formal-sprachliche und (medizin-)didaktische Review-Prozesse stattfinden müssen, um die Eindeutigkeit der Lösungen zu garantieren. Der Arbeitsaufwand wird hierbei vor allem in die Erstellungsphase verlagert (vgl. Gerhard-Szep [18]). Zusätzlich werden ethische und kulturelle Fragestellungen bei der Fragenerstellung häufig vermieden, da kontextreiche Fragen schwierig zu schreiben sind (Frederiksen 1984, zitiert nach Epstein) [20]. Swing et al. empfehlen hier generell den Einsatz von regelmäßigen Prüferschulungen sowie den Einsatz von Expertengruppen, die die eingesetzte Prüfungsmethode regelmäßig kritisch hinterfragen [43]. Anwendungswissen kann nicht nur schriftlich, sondern auch strukturiert mündlich geprüft werden. Neben Anwendungswissen kann eine SMP klinische Entscheidungsfindung, professionelles Denken, Selbstvertrauen und Selbstbewusstsein bewerten [30]. Zu Bedenken ist, dass jede SMP durch den hohen Raum- und Personalbedarf mit hohen Kosten verbunden ist. Blueprinting und die Erstellung eines Erwartungshorizontes sind ebenfalls erforderlich. Dauer, Anzahl und Erfahrung der Prüfer haben einen direkten Einfluss auf Gütekriterien der SMP (Roloff 2016, zitiert nach Gerhard-Szep) [18]. Eine Prüferschulung kann psychologische Fehlerquellen (siehe Kugler 2007 [29]), denen Prüfer unbewusst unterliegen, bewusstmachen und reduzieren helfen. Hier muss mit Widerstand der bisherigen Prüfer gerechnet werden, die jahrelang geprüft haben, ohne dahingehend geschult worden zu sein.

In Deutschland wird unstrukturiert mündlich geprüft, obwohl die Bundesärztekammer ausdrücklich auf ihrer Webseite hervorhebt, dass die Weiterbildungsbezeichnung als Nachweis für die erworbene Kompetenz und der Qualitätssicherung der Patientenversorgung und der Bürgerorientierung dient [44]. Diesem Anspruch werden die aktuellen Facharztprüfungen in Deutschland also nicht gerecht, da UMP nicht die erforderlichen Qualitätskriterien erfüllen (vgl. auch Tabelle 2 [Tab. 2]). Man kann daher nur vermuten, dass die UMP, einer Tradition folgend, entwickelt und bislang keiner kritischen Überprüfung unterzogen wurde. Sie UMP kann jedoch nicht empfohlen werden, wenn Landesärztekammern ihrer Verantwortung für die medizinische Qualitätssicherung zukünftig besser gerecht werden wollen. Ein erster Schritt könnte darin liegen, dass sie mit medizinischen Fakultäten in Kontakt treten, welche bereits seit einigen Jahren Erfahrungen in Bezug auf die Implementierung von strukturierten Prüfungsmethoden gesammelt haben. Auch könnte ein Erfahrungsaustausch mit Experten aus der DACH-Region erfolgen, die bereits eine Qualitätssicherung der eingesetzten Facharztprüfungen durchführen. Um unstrukturiert mündliche Prüfungen kurzfristig in strukturiert mündliche Prüfungen umzuwandeln, könnten in Deutschland die Landesärztekammern medizindidaktisch geschulte Kollegen bitten, Prüferschulungen vor Ort durchzuführen. Flum betont den Aspekt der Qualitätssicherung ebenfalls, indem sie sagt, dass es, zur Sicherstellung der Behandlungsqualität und Patientensicherheit, hilfreich wäre, Kompetenzen und Prüfungsmethoden in der Weiterbildung Allgemeinmedizin innerhalb der EU zu standardisieren [45]. Ebenso sollen Facharztprüfungen als ein Instrument zur Regulation der Inhalte der Weiterbildung angesehen werden und dem tatsächlichen Versorgungsbedarf der Bevölkerung sowie den Lernzielen und dem Curriculum gerecht werden [45].

Eine Empfehlung in Bezug auf eine Best Practice Facharztprüfung erfolgt vor dem Hintergrund, dass bislang nur vereinzelt Artikel zu Prüfungsmethoden im Bereich der Weiterbildung Stellung bezogen. Ein kombinierter Einsatz von Prüfungsmethoden ist unerlässlich (Triangulation), um das notwendige Kompetenzspektrum abdecken zu können. Ebenfalls sollte ein obligates Blueprinting (Dauphinee 1994, zitiert nach Wass), die Erstellung von Fragen und des Erwartungshorizontes vorab, eine ausreichende Anzahl an Fragen/Aufgaben, Maßnahmen der Qualitätssicherung in Bezug auf Erstellung und Auswertung von Prüfungsfragen/Aufgaben, der Einsatz von Prüfungsfeedback (Gronlund 1998, zitiert nach Norcini) sowie der Einsatz möglichst kosteneffizienter Prüfungsmethoden eingesetzt und dokumentiert werden. Unterstützt werden diese Empfehlungen durch zahlreiche Publikationen [1], [37], [46]. Caraccio et al. betonen, dass verschiedene Prüfungsformen zu kombinieren seien, damit das Kompetenzniveau von Weiterbildungsassistenten eingeschätzt werden kann (Caraccio 2013, zitiert nach Flum [45]). Taylor et al. weisen auf eine notwendige Standardisierung von Facharztprüfungen hin, deren Kosten allerdings berücksichtigt werden müssten (Taylor 1998, zitiert nach Flum [45]). David et al. und Adler et al. diskutieren an dieser Stelle zu Recht, dass Kosten, die im Rahmen der Weiterbildung entstehen, durch das DRG System abgebildet sein müssten [47], [48]. Der notwendige Einsatz von Blueprinting im Bereich der postgraduierten Weiterbildung wird durch Wass et al. unterstützt. Um den Lernerfolg bereits während der Weiterbildung zu optimieren, sollten Kompetenzen auch kontinuierlich anhand verschiedener Methoden erfasst und Feedback anhand formativer Prüfungen gegeben werden (z.B. Mini Clinical Examination (Mini-CEX), Direct Observation of Procedural Skills (DOPS), Portfolios etc.) [1], [49]. Kompetenzbasierte Curricula sollten berücksichtigen, wie Wissen, Fertigkeiten und Haltungen auf der höchsten Prüfungsebene „does“ nach Miller (Miller 1990) geprüft werden [50]. Prüfungen sollten kompetenzbasiert sein [11]. Aktuell werden zunehmend sogenannte EPAs (Entrustable Professional Activities) genutzt, um die Curriculumsentwicklung zu unterstützen und neue Wege des kompentenzbasierten Lernens und Prüfens zu erproben [51]. Eine solche professionelle Aktivität (EPA) könnte beispielsweise das Erkennen eines Notfallpatienten auf der Normalstation und die initiale Beurteilung und das Einleiten notwendiger medizinischer Maßnahmen sein. Eine Besonderheit des EPA-Ansatzes ist die Beurteilung des Lernenden anhand der vermuteten Supervisionsnotwendigkeit („Entrustment“). Der Einsatz von EPAs ist für klinisch tätige Ärzte häufig intuitiv attraktiv, allerdings muss das Potential inkl. der bestehenden Herausforderungen (vgl. auch die Literatur zu arbeitsplatzbasierten Assessments weiter untersucht werden [51], bevor ein Ersatz von qualitätsgesicherten summativen Facharztprüfungen dadurch erwogen werden könnte.

Limitiert ist diese Arbeit zum einen sicherlich dadurch, dass die im Internet recherchierten Daten nur deskriptiv dargestellt werden können. Zum anderen sind Weiterbildungscurricula, die Durchführung der Weiterbildung sowie die Gestaltung von Prüfungen eng miteinander im Sinne des „Constructive Alignment“ verzahnt. Eine weitere Limitation ist daher, dass wir in diesem Artikel vornehmlich auf die Darstellung der eingesetzten Prüfungen in der DACH – Region eingegangen sind und Weiterbildungscurricula nur am Rande erwähnt werden konnten. Ein Folgeartikel könnte jedoch die unterschiedlichen Weiterbildungscurricula und deren Umsetzung innerhalb der DACH-Region erläutern.

In der DACH-Region sind die Organisation von Facharztprüfungen, die eingesetzten Prüfungsmethoden und Qualitätssicherungsmaßnahmen sehr unterschiedlich. In Österreich und der Schweiz kommen - im Gegensatz zu Deutschland - bereits strukturierte und standardisierte Facharztprüfungsmethoden zum Einsatz, in der Schweiz auch praktische Prüfungen. Wenn Facharztprüfungen sicherstellen sollen, dass die Fachärzte über die notwendigen Kompetenzen zur Patientenversorgung verfügen, müssten diese auch derart gestaltet sein, dass sie Kompetenzen auch tatsächlich abprüfen können. Dies erscheint aktuell in allen Fachbereichen in Deutschland, aber auch in den meisten Fachbereichen in Österreich und der Schweiz, noch nicht der Fall zu sein. Daher ist es notwendig, um die Qualität der Weiterbildung zu sichern, dass in den drei Ländern noch mehr darauf geachtet wird, dass eine summative Facharztprüfung die vorgesehenen Kompetenzen der prospektiven Fachärzte auch überprüft. Empfohlen wird derzeit eine Kombination einer schriftlichen Prüfung mit einer praktischen Prüfung (z.B. OSCE), da auf diese Weise nicht nur Wissen, sondern auch weitere Kompetenzen inkl. praktischer und kommunikativer Fertigkeiten geprüft werden können (vgl. Tabelle 2 [Tab. 2]).

Wir danken Frau Dr. med. Susanne Frankenhauser, MME, Frau Dr. med. Uta Krämer und Herrn Brian Webber für die konstruktive Hilfe bei der Durchsicht des Manuskriptes.

Geschlechtergerechte Sprache: Aus Gründen der besseren Lesbarkeit wird nachfolgend die männliche Anrede verwendet. Sämtliche Personenbezeichnungen gelten gleichermaßen für beide Geschlechter.

Die Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.