gms | German Medical Science

Aufgrund des am 1. September 2007 in Kraft getretenen Bundesgesetzes vom 23. Juni 2006 über die universitären Medizinalberufe (Medzinalberufegesetz, MedBG) musste die eidgenössische Prüfung Humanmedizin zentral organisiert und neu strukturiert werden. Nach entsprechender Vorbereitungszeit wird daher seit 2011 nach Abschluss des Medizinstudiums auf Masterstufe eine nationale (eidgenössische) Prüfung auf Basis der aktuellen Lernziele durchgeführt (2011-2020: Swiss Catalogue of Learning Objectives for Undergraduate Medical Training SCLO [1], seit 2021 Principal Relevant Objectives and Framework for Integrative Learning and Education in Switzerland PROFILES [http://www.profilesmed.ch/). Nach erfolgreichem Bestehen sind die Kandidaten* dazu berechtigt, den Arztberuf unter Aufsicht auszuüben und die ärztliche Weiterbildung zu beginnen. Die Prüfung besteht aus zwei fächerübergreifenden Teilen [2]: eine Multiple Choice Prüfung (MC) und eine strukturierte klinisch-praktische Prüfung mit Einsatz von standardisierten Patienten (so genannte Clinical Skills Prüfung (CS)) [3]. Diese löst die bisherigen fachspezifischen Schlussprüfungen ab. Bei der Vorbereitung dieser neuen Prüfung besteht die Herausforderung darin, auf möglichst effiziente Weise mit den aktuell fünf medizinischen Fakultäten aus zwei Sprachregionen eine gemeinsame fächerübergreifende, anwendungsorientierte und nach mehrdimensionalem Blueprint gewichtete Prüfung zu erstellen, welche die Befähigung zur Weiterbildung auf nationaler Ebene sicherstellt, den internationalen Qualitätsstandards entspricht und juristischen Anfechtungen standhält.

Das Interesse an nationalen Abschlussprüfungen ist hoch [4], [5]. Weitere Länder denken über deren Neueinführung nach (Grossbritannien [6] und Norwegen), andere über die Vereinheitlichung auch der praktischen Prüfung bei bereits bestehender gemeinsamer schriftlicher Abschlussprüfung (Deutschland [7]). Publikationen zu den Erfahrungen und Erkenntnissen bei der gemeinsamen Erstellung von fakultätsübergreifenden oder nationalen schriftlichen Prüfungen sind jedoch spärlich [8]. Edwards und Team [9] konnten für den australischen Kontext zeigen, dass insbesondere folgende Faktoren den Erfolg einer Prüfungszusammenarbeit ausmachen: Committed group (e.g. medical schools, stakeholders), Funding (e.g. development grant), Engagement (Team meetings to build vision), Products (e.g. framework, assessment development), Ownership (e.g. Open to all medical schools). Im Weiteren liegen Publikationen zu speziellen Aspekten vor wie der automatischen Fragen-Generierung für das nationale Examen in Kanada [8], [10] oder zum Einsatz von computerbasiertem [11], [12] oder adaptivem [13] Testen in solch einem Rahmen.

Insgesamt sind nur wenige Publikationen dazu verfügbar, wie eine schriftliche Prüfung von hoher Qualität zielgerichtet für eine nationale Abschlussprüfung erstellt werden kann. Wird der zusätzliche Aspekt der zweisprachigen Durchführung berücksichtigt, so sind noch weniger Erkenntnisse vorhanden.

Der vorliegende Bericht knüpft an bisherige Publikationen zum Schweizer Staatsexamen [2], [3] an. Er stellt dabei die zentralen Schritte, Qualitätssicherungsmassnahmen und Erkenntnisse aus Sicht der Prüfungsorganisatoren des schriftlichen Teils des Schweizer Staatsexamens nach inzwischen elf Prüfungszyklen vor und bietet Interessierten eine Vergleichsmöglichkeit und Anhaltspunkte für eigene ähnliche Projekte.

Die MC-Prüfung umfasst zwei Teilprüfungen mit je 150 MC-Fragen, für die je 4.5 Stunden zur Verfügung stehen, und wird an allen fünf medizinischen Fakultäten gleichzeitig in enger Zusammenarbeit durchgeführt. Bezüglich übergreifender Informationen zu dieser Prüfung verweisen wir auf den bestehenden Übersichtsartikel [2]. Nebst inhaltlichen Experten aus den Kliniken sind Vertreter der Hausarztmedizin, methodische Experten (Expertise in Fragenerstellung, -revision und Auswertung), Informatiker, Sachbearbeiter, professionelle Übersetzer, Vertreter des Bundesamtes für Gesundheit (BAG) sowie die eidgenössische Prüfungskommission am Prüfungsprozess beteiligt. Die Prüfungskommission als wichtigstes Entscheidungsgremium besteht aus den Vizedekanen für Lehre der medizinischen Fakultäten sowie Vertretern der Hausarztmedizin, der Weiterbildung und des BAG. Die methodischen Experten konstituieren die nationale Arbeitsgruppe MC mit Vertretern der Fakultäten und des Instituts für Medizinische Lehre (IML). Abgesehen von der Rekrutierung der Fragenautoren und der Durchführung der Prüfung in den Fakultäten erfolgt die Koordination durch das IML.

Dieser Projektbericht beruht auf den Erfahrungen aus bisher elf schriftlichen eidgenössischen Prüfungen seit 2011. Nach jedem Prüfungsdurchgang werden die aktuelle Prüfung inklusive Qualitätssicherungen und Qualitätsindizes reflektiert und dokumentiert, um Bewährtes fortzusetzen und nach Optimierungsmöglichkeiten zu suchen. In einem iterativen Prozess werden die zentralen Schritte der Erstellung, Durchführung, Auswertung und Qualitätssicherung sowie die Erkenntnisse durch die Prüfungsorganisatoren zusammengetragen.

Der Prüfungsprozess wird nachfolgend detailliert erklärt. Abbildung 1 [Abb. 1] zeigt dabei die wichtigsten Schritte des Prozesses, Tabelle 1 [Tab. 1] fasst die Qualitätssicherung und die Erkenntnisse zusammen.

Rund 60 von den Fakultäten benannte Fachexperten erstellen Fragenentwürfe, die am ersten Tag eines zweitägigen Workshops in Autorengruppen (Peer-Review) diskutiert und gegebenenfalls revidiert werden. Am zweiten Workshoptag werden die neuen Fragen in Revisionsgruppen, bestehend aus mindestens einem Vertreter jeder Fakultät und Vertreter unterschiedlicher medizinischer Fachrichtungen, ein zweites Mal begutachtet und finalisiert. In den gleichen Revisionsgruppen werden zudem alle alten Fragen auf Aktualität überprüft und angepasst, die fünf Jahre zuvor erstellt wurden oder die in der vergangenen Prüfung durch statistische Abweichungen respektive Kandidatenkommentare aufgefallen waren. Nach der zentral durchgeführten formalen und sprachlichen Überprüfung der neuen Fragen durch methodische Experten des IML werden die Fragen in einem nationalen Review-Board (bestehend aus Medizinern verschiedenster Fachrichtungen aus allen Fakultäten, die die Richtlinien der Fragenerstellung dieser Prüfung gut kennen und auch selber als Autoren Fragen erstellen) auf Stufengerechtigkeit (angemessener Schwierigkeitsgrad) und klinische Relevanz überprüft, bevor sie in der Datenbank für die Zusammenstellung der nächsten Prüfung freigegeben werden. Die Fragenverwaltung findet innerhalb einer am IML entwickelten Software statt [https://www.iml.unibe.ch/themen/uebersichten/projekte].

Die Anforderungen an die Fragenautoren umfassen die inhaltlichen Grundlagen (Lernziele und darauf basierender inhaltlicher Blueprint), Informationen über die Fragetypen, die vorgegebene Standardstruktur für Fallvignetten sowie Formulierungsprinzipien gemäss Krebs [14]. Bevorzugt werden Fragen mit Fallvignetten und damit anwendungsorientierte Fragen unter anderem zu diagnostischen oder therapeutischen Entscheiden erstellt.

In den öffentlichen Vorgaben der Medizinalberufekommission (MEBEKO) ist zum Anwendungsbezug der Fragen Folgendes definiert [15]: „Mit der Clinical Knowledge Prüfung (schriftliche Prüfung) wird fächerübergreifend anwendungsorientiertes Wissen zum gesamten Spektrum humanmedizinischer Probleme geprüft“ und „Die Fragen sollen sich wenn immer möglich auf ein konkretes Problem beziehen, das in einer so genannten Fall- oder Problemvignette präsentiert wird.“ In den internen Anleitungen resp. Schulungsunterlagen für die Autoren wird dies mit Beispielen konkret spezifiziert. Jede Frage soll möglichst authentisch sein, also den Arbeitsalltag eines Arztes widerspiegeln. Dazu soll sie sich wenn möglich auf einen konkreten Fall beziehen, in dem eine Patientin oder ein Patient beschrieben wird (Alter, Geschlecht, Setting, Konsultationsgrund, Anamnese, Status/Befunde, ev. Resultate der diagnostischen Untersuchungen, ev. Anfangsbehandlung, Folgebefunde etc.), zu dem eine bestimmte Frage beantwortet werden muss, z.B. „Welches ist die wahrscheinlichste Diagnose?“, „Was ist therapeutisch am sinnvollsten?“). Zudem sollte jede Frage auch von klinischer Relevanz sein.

Zu den Fragetypen ist in den MEBEKO-Vorgaben definiert [15]: „Auswahl der einzig richtigen oder besten aus 3-5 angebotenen Wahlantworten (Typ A, positiv oder negativ formuliert) und vierfache Entscheidung richtig/falsch (Typ Kprim).“

Welche Fragen erstellt werden, wird anhand der Lernziele und des Blueprints (siehe Tabelle 2 [Tab. 2]) festgelegt. Im Blueprint ist auch die prozentuale inhaltliche Verteilung der Fragen festgelegt. Alle Autoren sind in die Lehre sowie die Erstellung von Fragen für fakultäre Prüfungen involviert. Im Rahmen des Workshops werden sie durch Infomaterial, das sie zur Erstellung ihrer Fragenentwürfe vor dem Workshop erhalten, mit den Standards der eidgenössischen Prüfung vertraut gemacht. Der Einbezug aller Fakultäten in allen Revisionsschritten (inklusive in Ausnahmefällen Streichung von Fragen) ermöglicht die Erstellung einer national gültigen und von allen Ausbildungsorten akzeptierten Prüfung.

Die Befragung der Teilnehmenden der Workshops zeigt, dass der Rahmen der Fragenerstellung seit 2017 (Workshop ohne Alltagsablenkung, Austausch mit Fachkollegen schweizweit) als sehr motivierend empfunden wird [16], im Gegensatz zu den bis 2016 dezentral und in Einzelarbeit erstellten Fragen. Zudem führt das Workshop-Format zu einem erhöhten Output an neuen Fragen mit höherer Qualität (geringerer Revisionsbedarf). Die auf zwei Tage konzentrierte Arbeit wird durch die oben genannte webbasierte, gesicherte Fragendatenbank ermöglicht.

Die Fragen werden je nach Autor auf Deutsch oder Französisch erstellt und nach dem Revisionsprozess durch professionelle Übersetzer in die jeweils andere Sprache übersetzt. Die Übersetzung wird sowohl formal und sprachlich durch methodische Experten als auch inhaltlich durch medizinische Fachexperten überprüft.

Die Qualität der Übersetzungen wird durch die mehrstufige Überprüfung sichergestellt. Nach der Prüfung werden die Kandidatenkommentare und die Beantwortungsmuster der Fragen analysiert, um Übersetzungsfehler oder fachliche Unklarheiten aufzudecken. Fragen mit einem Übersetzungsfehler werden wie andere Fragen mit möglichen formalen Mängeln aus der Bewertung ausgeschlossen.

Teilweise wurden in den Kandidatenkommentaren einzelne Übersetzungsprobleme genannt. Deshalb werden inzwischen alle Fragen, zusätzlich zum bestehenden Kontrollprozess, einer medizinischen Fachperson in ihrer Muttersprache vorgelegt.

Die Anpassung und Einführung zusätzlicher Kontrollschritte in der Übersetzungskontrolle hat dazu geführt, dass weniger Fragen aufgrund mangelhafter Übersetzungen eliminiert werden mussten.

Pro Prüfung werden 300 Fragen aus der Fragendatenbank gemäss national geltendem Blueprint (erste zwei Dimensionen siehe Tabelle 2 [Tab. 2]) zusammengestellt, der auf Basis der Lernziele entwickelt wurde [1], [http://www.profilesmed.ch/]. Der aktuelle Blueprint besteht aus drei Hauptdimensionen:

• Dimension 1: Situations as starting points,
• Dimension 2: Medical tasks und
• Dimension 3: General objectives (Fokus auf medical expert). Type of condition (acute, subacute, chronic) und setting (ambulatory practice, hospital, nursing home for elderly people, other) stellen weitere Dimensionen des Blueprints dar.

Die prozentualen Sollwerte werden nicht veröffentlicht, daher in der Tabelle auch nicht angegeben, um damit ein strategisches Auslassen einzelner Wissensgebiete beim Lernen zu verhindern. Es wird dabei ein Anteil von mindestens 20% bewährter Fragen früherer Prüfungen eingesetzt. Durch die klaren Vorgaben durch das Prüfungsreglement, inhaltlich anhand des Blueprints und der Vorgaben bezüglich der verwendeten Fragetypen wird die Kongruenz von Lernzielen und Prüfungsfragen gewährleistet.

Die repräsentative Verteilung der Inhalte wird durch den Blueprint und die Befragung der Kandidaten im Anschluss an die Prüfung anhand eines Fragebogens mit offenen und geschlossenen Fragen sichergestellt. Die Einhaltung des Blueprints wird dank der Verschlagwortung der Fragen in der Fragendatenbank unterstützt.

Die Auswertung des Fragebogens zeigt, dass vielen Kandidaten eine möglichst breite Abdeckung des Lernstoffs wichtig ist (Kommentare zu offenen Fragen des Fragebogens), und dass der Inhalt der Fragen mit den Lernzielen übereinstimmt (mit einem Median von 4 auf der Skala von 1 (überhaupt nicht einverstanden) bis 5 (absolut einverstanden), geschlossene Frage des Fragebogens). Die Einhaltung des Blueprints und die breite Abdeckung ist nur dank der detaillierten Verschlagwortung der Fragen möglich.

Die Prüfungsheftvorlagen werden aus der Fragendatenbank heraus erzeugt und gedruckt, bevor sie an die Fakultäten verschickt werden. Die Themengebiete der Fragen werden gleichmässig auf beide Prüfungshefte verteilt, auch die Textlänge beider Prüfungshefte ist gleich.

Die Qualität der Prüfungshefte wird mittels eines mehrstufigen Lektorats durch inhaltliche und methodische Überprüfung (Form und Sprache) durch Experten sichergestellt.

Trotz vorangehendem Revisionsprozess bei der Fragenerstellung und Übersetzung werden beim Lektorat der Druckvorlagen gelegentlich noch Auffälligkeiten festgestellt. Diese werden zur inhaltlichen Überprüfung durch Ärzte gegengelesen und berichtigt.

Die Kandidaten informieren sich auf der Homepage des Bundesamtes für Gesundheit sowie in fakultären Informationsveranstaltungen über den Prüfungsablauf [15] und erhalten von den Standortverantwortlichen schweizweit einheitliche Unterlagen. Zudem werden rund 300 repräsentative Fragen online in einem Self-Assessment-Tool zur Verfügung gestellt [https://www.iml.unibe.ch/angebote/assessment/pruefungsdienstleistungen/self-assessment].

Die vorbereitenden Informationen werden jährlich überprüft und nötigenfalls angepasst.

Rückmeldungen der Kandidaten im Fragebogen sowie Argumente in Einsprachen gegen das Prüfungsergebnis zeigten auf, dass nicht alle Kandidaten die vor der Prüfung zur Verfügung stehenden Informationen aktiv einholen. Deshalb werden diese den Kandidaten im Vorfeld zusätzlich persönlich zugeschickt.

Die Prüfung wird an zwei Tagen zur selben Zeit (4,5 Std.) an den fünf Fakultäten durchgeführt. Zur Prüfung treten nebst den erfolgreichen Absolventen der Masterstudiengänge der Schweiz auch Kandidaten mit nicht anerkennbaren ausländischen Arztdiplomen an, welche ausserhalb der EU/EFTA ausgestellt wurden.

Gemeinsame Richtlinien zur Prüfungsdurchführung regeln beispielsweise die Gegebenheiten der Prüfungsräume, erlaubten Hilfsmittel oder während der Prüfung vorzulesenden Instruktionen.

Einigen Kandidaten fällt es schwer, am Prüfungstag Informationen oder Anweisungen zum Prüfungsablauf aufzunehmen. Deshalb werden ihnen sämtliche Informationen zusätzlich im Vorfeld zur Verfügung gestellt. Die Vorschläge der Kandidaten im Fragebogen helfen, die Durchführung laufend zu verbessern.

Für jede verwendete Prüfungsfrage wird eine Item-Analyse (Beurteilung der Messeigenschaften der Items) durchgeführt. Primär beurteilt werden Schwierigkeit und Trennschärfe; diese bleiben im Fragen-Pool sichtbar. Bei Wiederverwendung derselben Frage kann diese somit über verschiedene Prüfungs-Jahrgänge miteinander verglichen werden. Als Trennschärfe-Index r eines Items wird mindestens 0,2 angestrebt und als Schwierigkeitsgrad ein P von 50-90%. Die multiplen Falsch/Richtig-Fragen vom Typ Kprim werden nach der am IML entwickelten Halbpunkt-Methode ausgewertet [17].

Die Prüfungsresultate und die Kommentare der Kandidaten zu mangelhaft erscheinenden Fragen werden zunächst durch methodische Experten analysiert. Auffällige Fragen werden mit mehreren klinischen Fachexperten diskutiert und, falls sich dabei formale oder inhaltliche Mängel zeigen, von der Bewertung ausgeschlossen. Zum Beispiel lässt sich bei einer Frage mit zu hoher Schwierigkeit ein „Facharzt“- Niveau feststellen, oder bei zu geringem r ein zuvor übersehener formaler Fehler erkennen.

Die Bestehensgrenze beruht auf zwei international bekannten Standardsetting-Methoden (nach Angoff und Hofstee [18], [19], [20]) sowie einer Analyse auf Grundlage des Rasch-Modells [21]. Das Rasch-Modell ist das einfachste Modell der Item-Response Theorie (IRT), bei welchem die Item-Schwierigkeiten und die Fähigkeiten der Kandidierenden geschätzt werden, um damit die Prüfungsresultate zu erklären. Das Modell erlaubt es, durch den Einsatz von Items, deren Schwierigkeit bereits über vergangene Prüfungen beobachtet und deshalb bekannt sind (sogenannte Ankeritems), die Bestehensanforderung über die Jahre konstant zu halten, auch wenn die Prüfungen in den einzelnen Jahren unterschiedlich schwierig ausfallen. Einfach gesagt ermöglicht ein Vergleich zwischen Ankeritems und dem Rest der Prüfung eine Einschätzung der Prüfungsschwierigkeit im Vergleich zu den Vorjahren und die Bestehensgrenze kann somit entsprechend angepasst werden. Auf Basis der Standardsetting-Methoden und dem Raschmodell wird dann die Bestehensgrenze durch die Prüfungskommission festgelegt.

Die endgültige Entscheidung über die Bestehensgrenze wird durch die nationale Prüfungskommission gefällt. Die bei der Auswertung entdeckten formalen oder inhaltlichen Mängel an Prüfungsfragen werden den Autoren und dem Review-Board gemeldet, damit die nächste Fragenproduktion entsprechen optimiert werden kann. Fragen mit schlechten Messwerten der Schwierigkeit und Trennschärfe und inhaltlichen Mängeln werden nicht wiederverwendet. Alle wichtigen Auswertungsschritte werden im Vieraugenprinzip durchgeführt: Eine zweite Person kontrolliert die wichtigsten Ergebnisse anhand einer Checkliste, bevor sie veröffentlicht werden. Beispielsweise: Wurde auf den Resultatelisten, in den Grafiken im Analysebericht und auf den Briefen an die Kandidaten wirklich die letztendlich durch die Prüfungskommission festgelegte und im Sitzungsprotokoll festgehaltene Bestehensgrenze angewendet? Stimmen die Antworten auf den Antwortbogen der nicht bestehenden Kandidaten tatsächlich mit den elektronisch erfassten und für die Resultateberechnung berücksichtigten Antworten überein? Die Auswertungen bilden einen zentralen letzten Schritt der Qualitätssicherung des gesamten Prüfungsprozesses, weitere Details sind unter [14], Kapitel 4, dargestellt.

Dank kontinuierlich optimierten Massnahmen zur Qualitätssicherung im gesamten Prüfungsprozess, einschliesslich der Rückmeldung der entdeckten Mängel in Prüfungsfragen an die Autoren und das Review-Board, mussten über die Jahre immer weniger Fragen aufgrund formaler oder inhaltlicher Mängel aus der Bewertung ausgeschlossen werden (rund 40 in der ersten Prüfung (13.3%), zuletzt noch rund 15 (5%)). Die Ergebnisse der bisherigen elf Prüfungsdurchführungen zeigten durchwegs reliable Prüfungsergebnisse (Cronbach Alpha im Mittel 0.90, Range 0.87-0.91).

Abbildung 2 [Abb. 2] zeigt exemplarisch die Ergebnisse der Prüfung 2020. Die Erfolgsraten der Kandidaten, die ihr Studium an einer Schweizer Fakultät abgeschlossen haben (fakultäre Kandidaten genannt), waren mit 99.5% konstant hoch, währenddem die Erfolgsraten der Kandidaten mit nicht anerkennbarem ausländischen Arztdiplom deutlich tiefer lagen. Dies könnte so interpretiert werden, dass Schweizer Kandidierende auch auf Basis des Schweizer Lernzielkatalogs unterrichtet wurden und somit bei diesen eine gute Abstimmung von Unterricht und Prüfung vorliegt, bei den ausländischen Kandidierenden jedoch nicht. Weitere Gründe könnten in den sprachlichen Schwierigkeiten der ausländischen Kandidaten liegen oder darin, dass deren Abschluss oft mehrere Jahre zurückliegt und das Wissen daher nicht mehr gleich präsent ist.

Wichtige Qualitätssicherungsmassnahmen umfassen unter anderem die gemeinsamen Richtlinien zur Fragenerstellung und Prüfungsdurchführung, die Fragenerstellung in nationalen Workshops, den mehrstufigen Revisionsprozess unter Einbezug aller Fakultäten, die Prüfungszusammenstellung auf Basis des nationalen Blueprints sowie die mehrstufige Überprüfung der Übersetzungen und des Prüfungsmaterials. Die Prüfungsanalyse inklusive Analyse der Kandidatenkommentare ist ein abschliessender wichtiger Qualitätssicherungsschritt des gesamten Prüfungsprozesses.

Während über einige dieser Prozesse einschliesslich Erfolgsfaktoren auch von Edwards und Kollegen [9] berichtet wurde, können wir zusätzlich über Aspekte der Fragenerstellung in nationalen Workshops, der Zweisprachigkeit und der Auswertung berichten. Hinzu kommt, dass der Einbezug aller Fakultäten bei der Erstellung des Blueprints sowie in allen Fragenerstellungs-, Revisions-, und Durchführungsschritten zu einer hohen Akzeptanz bei den Fakultäten führt und die Glaubwürdigkeit der Kandidatenergebnisse erhöht.

Die Korrelation der schriftlichen Prüfungsergebnisse mit denen der praktischen Prüfung (Mittelwert seit 2011: 0.56, Range: 0.48-0.65) legt eine gewisse Praxisrelevanz der Fragen nahe, da die Aufgabenstellungen im OSCE ja praxisorientiert sind. Erstrebenswert erscheint uns in Zukunft insbesondere die Überprüfung, dass diejenigen Absolventen, die diese Gesamt-Prüfung (schriftliche und praktische Prüfung) bestehen, danach auch als kompetente Ärzte ihre Patienten zielführend versorgen. Ähnlich standardisierte und qualitätssgesicherte Prüfungen aus dem Ausland legen diesen Zusammenhang nahe [22], [23], [24].

Wichtig ist zu berücksichtigen, dass im vorliegenden Artikel nur über den Multiple Choice-Teil berichtet wird, der durch den zuvor publizierten Clinical Skills-Teil [3] zu einer Gesamt-Prüfung [2] ergänzt wird. In der Publikation zum Clinical Skills Teil der Prüfung [3] wird vorgestellt, dass die konsequente Umsetzung der Prinzipien der Aktionsforschung zur erfolgreichen Weiterentwicklung des praktischen Teils der Prüfung beiträgt. Weiterhin wird vorgestellt, dass der zentral koordinierte, kollaborativ-iterative Prozess mit Einbindung von Fachexperten aus allen Fakultäten wesentlich zur Qualität der EP CS beiträgt [3]. Für die Gesamtprüfung wurden auch positive Implikationen in einer qualitativen Studie unter beteiligten Prüfungsexperten und Studiendekanen gesehen, wie beispielsweise die intensivierte und positive Zusammenarbeit der Fakultäten und die vermehrte Einführung praktischer Kurse [24].

Die Unterschiede der Bestehensraten der Absolventen der Schweizer Fakultäten gegenüber den Kandidaten mit in der Schweiz nicht anerkennbaren ausländischen Arztdiplomen kann auch als Unterstützung der Validität dieser Prüfung verstanden werden. Derartige Unterschiede in nationalen Examen wurden auch in anderen Ländern festgestellt [25]. Eine Ursache könnte darin liegen, dass sich die Ausbildung in der Schweiz an den nationalen Lernzielen [1], [http://www.profilesmed.ch/] ausrichtet und daraus für die Kandidaten aus der Schweiz eine bessere Prüfungsvorbereitung resultiert. Als weitere Ursache kommt in Frage, dass die meisten Kandidaten mit nicht anerkennbaren ausländischen Arztdiplomen ihre Weiterbildung in einem Fachgebiet vorangetrieben haben und mit den allgemeinen Prüfungsinhalten nicht mehr so vertraut sind. Zu den wichtigsten Erkenntnissen der vergangenen Jahre gehört, dass die Wertschätzung der Arbeit aller Beteiligter sowie die zentrale Organisation der Prüfungserstellung essentiell sind, um den Prozess langfristig erfolgreich durchführen zu können. Die Wertschätzung der an der medizinischen Lehre beteiligten Personen stellt einen zentralen Gesichtspunkt dar, da die klinische und wissenschaftliche Arbeit häufig höher gewichtet werden, die der individuellen Karriere förderlicher sind. Dadurch kann es schwierig werden, geeignete Personen für Lehr- und insbesondere Assessmentaufgaben zu finden. Dies scheint eine verbreitete Herausforderung zu sein, wie (inter-)nationale Umfragen zeigen [26], [27]. Gemäss unseren Erfahrungen konnte durch die Fragenerstellung im Rahmen nationaler Workshops in einem Seminarhotel unter Anerkennung der Arbeit als Lehrleistung – anstelle mehrerer kleinerer Workshops beziehungsweise individueller Heimarbeit – eine höhere Wertschätzung der Teilnehmer und im Endeffekt ein qualitativ besserer und wirtschaftlich günstigerer Weg gefunden werden [16].

Die Stärken des vorliegenden Berichts bestehen darin, dass dieser auf den langjährigen praktischen Erfahrungen der zahlreichen Beteiligten bei der Erstellung, Durchführung und Auswertung dieser nationalen Prüfung beruht, welche aktuell in zwei Landessprachen an fünf Standorten durchgeführt wird. Dabei zeigten sich die letzten elf Jahre durchwegs reliable Prüfungsergebnisse, wobei dies natürlich auch sehr durch die grosse Anzahl an Prüfungsfragen unterstützt wird.

Eine Schwäche liegt darin, dass dieser Bericht auf Erfahrungen basiert, die nicht im Einzelnen gezielt wissenschaftlich untersucht wurden. Allerdings beruhen die hier vorgestellten Erkenntnisse auf einem kontinuierlichen Verbesserungsprozess, der gut dokumentiert, nachverfolgbar und nachvollziehbar ist und von den Autoren für diesen Bericht zusammengefasst wurde.

Ausblickend lässt sich feststellen, dass die Fortentwicklung dieser Prüfung kontinuierlich weitergeht. Seit 2021 ist das neue Lernzielrahmenwerk „PROFILES“ für diese Prüfung gültig [http://www.profilesmed.ch/]. Dementsprechend basiert der Blueprint neu darauf. Dabei wurde insbesondere die Struktur des Blueprints vereinfacht. So gibt es zum Beispiel weniger Dimensionen, da die alten Dimensionen „Alter“ und „Geschlecht“ sowie ein Teil der alten Dimension „Ärztliche Handlung“ unter PROFILES bereits in den „Ausgangssituationen“ (original „Situations as Starting Points“) berücksichtigt sind und entsprechend gelöscht oder gekürzt werden konnten. Hingegen wird in der Dimension „Setting“ neu differenzierter unterschieden (Praxis, Krankenhaus, Altersheim, andere) als noch unter SCLO (stationär, ambulant), da das präzise Setting des beschriebenen Falles oft ausschlaggebend für die korrekte Antwort ist. Zudem wurde die alte Dimension Konsultationsgründe/Leitsymptome (original „Problems as Starting Points“) mit PROFILES zu „Ausgangssituationen“ (original „Situations as Starting Points“), wobei nun auch physiologische Situationen vorkommen (z.B. „Vorsorgeuntersuchungen in der Schwangerschaft“ (original „process and basic care of pregnancy“ oder „pädiatrische Vorsorgeuntersuchungen“ (original „well-baby and well-child visit“)) und Bereiche wie „Notfall“ (original „Emergency“) oder Palliativmedizin/Palliativpflege (original „Palliative care“) einen wichtigeren Platz einnehmen. Zudem ist entschieden, ab 2022 die schriftliche Prüfung an allen Standorten elektronisch auf Tabletcomputern durchzuführen. Dadurch können in Zukunft einerseits neue Fragetypen verwendet werden, die beispielsweise die Auswertung von Freitexten anhand von so genannten Long Menus [28] zu einem grossen Teil automatisiert ermöglichen, andererseits können neu auch Videos eingesetzt werden.

Um eine solche Prüfung langfristig mit hoher Qualität durchzuführen, sind gemeinsame Richtlinien, gemeinsame Workshops, Qualitätssicherungsmassnahmen mit fortlaufender Verbesserung aller Prozesse sowie die Wertschätzung der Beteiligten zentral.

*Für eine einfachere Lesbarkeit wurde die männliche Form gewählt, gemeint sind damit jedoch alle Personen.

Eine nationale Prüfung lässt sich nur durch Einsatz von unzähligen engagierten Personen bewerkstelligen. Unser ausgesprochener Dank geht insbesondere an die Teilnehmer der Workshops und Review-Boards sowie an die Standortverantwortlichen. Im Weiteren danken wir der Prüfungskommission und dem Bundesamt für Gesundheit für die gute Zusammenarbeit und wertvolle Unterstützung.

Die Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben.