gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

Die neue klinisch-praktische Schlussprüfung in Humanmedizin der Schweiz: Essentielle Schritte der Prüfungserstellung, Durchführung und Auswertung sowie zentrale Erkenntnisse aus Sicht der nationalen Arbeitsgruppe Clinical Skills

Artikel Prüfungen

  • corresponding author Christoph Berendonk - Universität Bern, Medizinische Fakultät, Institut für Medizinische Lehre, Bern, Schweiz
  • author Christian Schirlo - Universität Zürich, Medizinische Fakultät, Zürich, Schweiz
  • Gianmarco Balestra - Universität Basel, Medizinische Fakultät, Basel, Schweiz
  • author Raphael Bonvin - Universität Lausanne, Medizinische Fakultät, Lausanne, Schweiz
  • Sabine Feller - Universität Bern, Medizinische Fakultät, Institut für Medizinische Lehre, Bern, Schweiz
  • Philippe Huber - Universität Genf, Medizinische Fakultät, Genf, Schweiz
  • author Ernst Jünger - Universität Zürich, Medizinische Fakultät, Zürich, Schweiz
  • Matteo Monti - Universität Lausanne, Medizinische Fakultät, Lausanne, Schweiz
  • author Kai Schnabel - Universität Bern, Medizinische Fakultät, Institut für Medizinische Lehre, Bern, Schweiz
  • author Christine Beyeler - Universität Bern, Medizinische Fakultät, Institut für Medizinische Lehre, Bern, Schweiz
  • author Sissel Guttormsen - Universität Bern, Medizinische Fakultät, Institut für Medizinische Lehre, Bern, Schweiz
  • author Sören Huwendiek - Universität Bern, Medizinische Fakultät, Institut für Medizinische Lehre, Bern, Schweiz

GMS Z Med Ausbild 2015;32(4):Doc40

doi: 10.3205/zma000982, urn:nbn:de:0183-zma0009828

Dieses ist die deutsche Version des Artikels.
Die englische Version finden Sie unter: http://www.egms.de/en/journals/zma/2015-32/zma000982.shtml

Eingereicht: 14. Januar 2014
Überarbeitet: 30. Oktober 2014
Angenommen: 12. Januar 2015
Veröffentlicht: 15. Oktober 2015

© 2015 Berendonk et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Zusammenfassung

Zielsetzung: Seit 2011 wird in der Schweiz eine neue nationale Schlussprüfung in Humanmedizin mit einem strukturierten klinisch-praktischen Teil im OSCE Format durchgeführt. Der vorliegende Beitrag beschreibt, aus Sicht der nationalen Arbeitsgruppe, die essentiellen Schritte der Erstellung, Durchführung und Auswertung der Eidgenössischen Prüfung Clinical Skills (EP CS) sowie der jeweils eingesetzten Qualitätssicherungsmassnahmen. Schliesslich werden zentrale Erkenntnisse der vergangenen Jahre vorgestellt.

Methodik: Basierend auf den Prinzipien der Aktionsforschung wird die EP CS kontinuierlich weiter entwickelt. Auf der Grundlage systematisch dokumentierter Erfahrungen aus den Vorjahren werden in der Arbeitsgruppe anstehende Fragen diskutiert, daraus resultierende Lösungsansätze konkretisiert (Planung), in der Prüfung umgesetzt (Implementation) und anschliessend evaluiert (Reflexion). Die vorgestellten Ergebnisse sind das Produkt dieses iterativen Vorgehens.

Ergebnisse: Die EP CS wird durch Fachexperten aller Fakultäten und Fachrichtungen in einem mehrstufigen Prozess erstellt. Die Prüfung wird dezentral in Deutsch und Französisch durchgeführt und besteht aus zwölf interdisziplinären Stationen pro Kandidat. Als wichtige Qualitätssicherungsmassnahmen haben sich das nationale Review Board (inhaltliche Validierung) und die Treffen der Schauspielpatienten-Trainer (Standardisierung) erwiesen. Die statistischen Auswertungen zeigen eine gute Messzuverlässigkeit und weisen auf die Konstruktvalidität der Prüfung hin. Zu den zentralen Erkenntnissen der vergangenen Jahre gehört, dass die konsequente Umsetzung der Prinzipien der Aktionsforschung zur erfolgreichen Weiterentwicklung der Prüfung beiträgt.

Schlussfolgerung: Der zentral koordinierte, kollaborativ-iterative Prozess mit Einbindung von Fachexperten aus allen Fakultäten trägt wesentlich zur Qualität der EP CS bei. Die hier vorgestellten Prozesse und Erkenntnisse können für andere nützlich sein, welche Ähnliches vorhaben.

Schlüsselwörter: nationale Schlussprüfung, lizenzierende Prüfung, summatives Assessment, OSCE, Aktionsforschung


Einleitung

Im Jahr 2011 wurde in der Schweiz die Umstellung vom bisherigen Staatsexamen auf die neue Eidgenössische Prüfung Humanmedizin vollzogen. Anstoss und gesetzliche Grundlage für diese neue nationale Schlussprüfung ist das im Juni 2006 verabschiedete Medizinalberufegesetz (MedBG) [https://www.admin.ch/opc/de/official-compilation/2007/4031.pdf zitiert am 14.12.13]. Die im MedBG festgehaltenen Ausbildungsziele verweisen auf den für alle fünf schweizerischen Medizinischen Fakultäten verbindlichen Lernzielkatalog „Swiss Catalogue of Learning Objectives for Undergraduate Medical Training“ (SCLO) [1], der im Detail die verlangten Kompetenzen auflistet und präzisiert. Im Februar 2007 wurde vom Bundesamt für Gesundheit eine nationale Steuerungsgruppe ins Leben gerufen, welcher die Verantwortung für die strategische Ausrichtung der neuen Eidgenössischen Prüfung (EP) Humanmedizin übertragen wurde. Dieses oberste Steuerungsorgan entschied, dass die zukünftige EP Humanmedizin eine fächerübergreifende Prüfung mit zwei Teilen sein soll. Im ersten Teil wird im Multiple Choice (MC) Format schriftlich geprüft. Der zweite Teil (Clinical Skills Prüfung) besteht aus einer strukturierten klinisch-praktischen Prüfung mit Schauspielpatienten (SP) und basiert auf dem Prinzip der Objective Structured Clinical Examination (OSCE) [2].

Der übergreifende Entwicklungsprozess der gesamten EP Humanmedizin vom Konzept bis zur ersten Durchführung, mit den rechtlichen Rahmenbedingungen, dem Diskurs über die vorhandene wissenschaftliche Evidenz zum Thema summative Prüfungen und der Entwicklung des prüfungsübergreifenden Blueprints wird an anderer Stelle ausführlich beschrieben und ist nicht Bestandteil dieses Artikels [3]. Die vorliegende Arbeit befasst sich mit der Entwicklung der EP Clinical Skills (CS), wie sie seit 2011 durchgeführt wird.

Strukturierte klinisch-praktische Prüfungen als Teil lizensierender Examina am Ende der Ausbildung sind in Kanada [4] und den USA [5] bekannt und werden dort seit mehreren Jahren erfolgreich durchgeführt. Lizensierende Prüfungen sind in Europa ebenfalls verbreitet, doch stellt eine nationale strukturierte klinisch-praktische Prüfung im europäischen Kontext ein Novum dar. Zwar existiert eine Fülle von Literatur, die sich mit den verschiedensten Aspekten einer OSCE-Prüfung beschäftigt [6], aber es sind kaum Studien publiziert, welche sich mit den Besonderheiten der Entwicklung von nationalen klinisch-praktischen Prüfungen auseinander setzen. Ziel des vorliegenden Beitrags ist deshalb, die - aus Sicht der Arbeitsgruppe CS - essentiellen Schritte der Prüfungserstellung, Durchführung, Auswertung sowie Qualitätssicherungsmassnahmen und zentralen Erkenntnisse der letzten drei Jahre darzustellen.


Methodik

Die nationale Arbeitsgruppe Clinical Skills (AG CS) konstituiert sich aus Mitgliedern1 aus den fünf medizinischen Fakultäten (Basel, Bern, Genf, Lausanne, Zürich) und dem Institut für Medizinische Lehre der Universität Bern. Alle Mitglieder verfügen über langjährige praktische Erfahrungen mit den an den einzelnen Fakultäten durchgeführten OSCE Prüfungen. Das von der AG CS gewählte Vorgehen zur Konzept- und Weiterentwicklung der EP CS basiert auf den methodologischen Prinzipien der Aktionsforschung [7]. Schlüsselelemente dieser Methode sind der iterative Entwicklungsprozess (Planung-Implementation-Reflexion) und die aktive demokratische Partizipation aller Beteiligter [8]. Dabei steht nicht eine einzelne wissenschaftliche Methode im Vordergrund, sondern gemeinsam definierte Fragestellungen mit dem Ziel ein Produkt resp. Prozess (in unserem Fall die EP CS) stetig zu verbessern. Charakteristisch für die Aktionsforschung ist die Kombination aus wissenschaftlichen Fragestellungen und konkreter Umsetzung im realen Alltag, die zur Generierung von Wissen führt, welches auch ausserhalb des lokalen Kontextes von Relevanz und Interesse ist [9].

Die aktive Partizipation der AG CS Mitglieder wird durch jährlich acht halbtägige Sitzungen mit jeweils rotierender Sitzungsleitung gewährleistet. Das breite Erfahrungswissen der einzelnen Arbeitsgruppenmitglieder um Abläufe und Fallstricke, die es bei einer strukturierten praktisch-klinischen Prüfung zu beachten gilt, ist von grundlegender Bedeutung für alle folgenden Schritte. In der Phase der Planung bringen die einzelnen Mitglieder ihre Erfahrungen ein, gemeinsam werden Fragestellungen bzw. Ziele definiert, mögliche Problemfelder identifiziert und nach Lösungsmöglichkeiten gesucht. In dieser Phase der Konzepterstellung wird immer Bezug auf die vorhandene wissenschaftliche Evidenz zum entsprechenden Thema genommen. Auch wird bei entsprechenden Fragestellungen der Kontakt zum National Board of Medical Examiners der USA und zum Medical Council of Canada gesucht, um von deren langjähriger Erfahrung mit nationalen strukturierten klinisch-praktischen Prüfungen zu profitieren. Vor der Implementation wird die von der AG CS erarbeitete Umsetzungsstrategie der Prüfungskommission zur Genehmigung vorgelegt. Bestehen Unsicherheiten bezüglich der gewählten Strategie, wird das Konzept zuerst in einer fakultären OSCE Prüfung pilotiert und erst anschliessend in der EP CS eingesetzt. Im Rahmen der Evaluation wird eine Vielzahl unterschiedlicher qualitativer und quantitativer Methoden eingesetzt. In der Phase der Reflexion wird in der AG CS über die gesammelten Erfahrungen und Evaluationsergebnisse in Bezug auf Fragestellungen bzw. Ziele diskutiert. Besteht weiterer Handlungsbedarf, wird das initiale Konzept überarbeitet und der Zyklus beginnt von vorne. Diesen dreistufigen Prozess mit Planung-Implementation-Reflexion durchlaufen alle die Prüfung betreffenden Schritte. Da die Darstellung des gesamten Prozesses für jeden einzelnen Schritt den Rahmen dieser Arbeit sprengen würde, werden hier nur die Ergebnisse dieser Prozesse vorgestellt.


Ergebnisse

Die im Folgenden vorgestellten Prozesse der Prüfungserstellung, Durchführung, Auswertung und Qualitätssicherung sowie die zentralen Erkenntnisse sind in der Realität nicht als separate Entitäten zu betrachten, sondern sind miteinander verwoben und beeinflussen sich gegenseitig. Diese Aufteilung wird aus Gründen der besseren Verständlichkeit vorgenommen.

Prüfungserstellung

Fallerstellung: Der initiale Schritt der Fallentwicklung besteht in der Identifizierung eines für die Clinical Skills (CS) Prüfung geeigneten Themas. Ausgangspunkt und Grundlage der möglichen Themen bilden die „problems as starting points“ des nationalen Lernzielkatalogs und die Anforderungen des Blueprints. Ist ein Thema bestimmt, schreibt ein entsprechend dem Fallthema ausgewählter erfahrener Kliniker einen ersten Fallentwurf, welcher von methodischen Experten auf formale Kriterien beurteilt und kommentiert wird. Dieser Entwurf wird anschliessend im Rahmen eines Workshops zusammen mit einem zweiten Kliniker (aus einer anderen Fakultät und anderen Fachrichtung) sowie einem CS-Coach (Person mit Erfahrung im CS Prüfungsformat) weiter entwickelt. In diesen Workshops wird nicht nur der eigentliche Fallinhalt entwickelt, sondern auch die Gewichtung der einzelnen Assessment-Kriterien festgelegt. Mit diesem Teamansatz wird sichergestellt, dass bei der Fallerstellung die nötige medizinische Fachkompetenz vorhanden ist (Kliniker) und die prüfungsformat-spezifischen Aspekte beachtet werden (CS-Coach). Die praktische Durchführbarkeit der entwickelten Fälle wird am Workshop selbst mit Schauspielpatienten (SP) getestet. Diese Testläufe bringen wichtige Hinweise, welche die weitere Fallentwicklung oft wesentlich beeinflussen.

Aufbau der Stationen: Die vom Kandidaten im Rahmen der Interaktion mit dem SP zu erhebende Anamnese und klinische Untersuchung sowie die darauf basierenden Differenzialdiagnosen und das weitere diagnostische und therapeutische Vorgehen (sogenannte ASM Kriterien: Anamnese, Status, Management) werden mittels fallspezifischer Checklisten bewertet. Die Kommunikation zwischen Kandidat und SP (sogenannte KK Kriterien) wird hingegen mit einer an allen Stationen identischen, vier Aspekte umfassenden, generischen Skala beurteilt [10], [11].

Review Prozess: In einem nächsten Schritt wird der Fall dem nationalen Review Board vorgelegt. Dieses besteht aus klinisch tätigen Vertretern der fünf medizinischen Fakultäten und Repräsentanten der Allgemeinmedizin. Aufgabe des Review Boards ist die Beurteilung der Fälle auf ihre fachliche Korrektheit, Relevanz und Komplexität. Nach kritischer Prüfung und Diskussion legt das Review Board den entsprechenden Änderungsbedarf fest oder gibt den Fall für den weiteren Entwicklungsprozess frei.

Standardisierung: Nach erfolgter nationaler Validierung durch das Review Board wird der Fall den SP-Trainern zur Verfügung gestellt. Die SP-Trainer aller fünf Fakultäten erarbeiten in gemeinsamen Treffen ein einheitliches Verständnis der Fälle. Jeder Fall wird besprochen, gespielt und videodokumentiert. Die Videodokumentation ermöglicht, komplexe Situationen (z.B. Darstellung der psychischen Verfassung des Patienten) oder das Ausmass eines bestimmten Symptoms (z.B. neurologisches Defizit) genau festzuhalten. Im Rahmen dieser Treffen wird auch festgelegt, wie beispielsweise eine kutane Effloreszenz am besten geschminkt wird oder wie die Raumausstattung zu erfolgen hat. Bei Bedarf werden die Erfahrungen aus den SP-Trainer Treffen in den Rollenbeschreibungen weiter präzisiert oder angepasst.

Übersetzung: Nachdem in den SP-Trainer Treffen die Rollenbeschreibungen finalisiert worden sind, wird der Fall von der Originalsprache Deutsch resp. Französisch in die jeweils andere Sprache übersetzt. Um ein möglichst hohes Mass an Einheitlichkeit zu erreichen, werden alle Fälle jeweils von den zwei gleichen Ärzten in ihre Muttersprache übersetzt.

Qualitätssicherung: Mit diesem zentral koordinierten, mehrstufigen Prozess der Prüfungserstellung mit Beteiligung von inhalts- und formatspezifischen Experten aller fünf Fakultäten wird sichergestellt, dass die entwickelten Fälle fachlich korrekt sind, die formatspezifischen Anforderungen eines OSCE erfüllen, einen nationalen Validierungsprozess durchlaufen und an allen Fakultäten unter standardisierten Bedingungen eingesetzt werden können. Bezüglich der inhaltlichen Validierung ist die Aufgabe und Funktion des Review Boards von zentraler Bedeutung. Die nationalen SP-Trainer Treffen wiederum haben einen entscheidenden Einfluss auf den Standardisierungsprozess.

Prüfungsdurchführung

Die EP CS wird dezentral an den fünf medizinischen Fakultäten einmal jährlich durchgeführt. Abhängig von der Anzahl der Kandidaten an der jeweiligen Fakultät wird die Prüfung an zwei resp. drei Tagen angeboten. An jedem Prüfungstag wird mit einem unterschiedlichen Set von Fällen geprüft; die Prüfungssets des entsprechenden Tages sind aber an allen Fakultäten identisch. Der einzelne Kandidat absolviert 12 Stationen à 13 Minuten (zusätzlich zwei Minuten Rotationszeit zwischen den Stationen und drei mal 15 Minuten Pause). Die Leistung der Kandidaten in den 12 Stationen wird von erfahrenen Klinikern der jeweiligen Fakultät beurteilt. Neben der Bewertung mittels fallspezifischer und generischer Kriterien geben die Examinatoren zu jedem Kandidat zwei Gesamtbeurteilungen in Bezug auf ASM und KK ab. Diese sogenannten Globalurteile dienen dem Berechnen der Bestehensgrenze.

Qualitätssicherung: Detaillierte Informationen (inklusive Videobeispiel) zum Prüfungsablauf werden den Kandidaten rechtzeitig vor der Prüfung zur Verfügung gestellt [http://www.bag.admin.ch/themen/berufe/07918/07919/ zitiert am 14.12.13]. Erstmalig an der EP CS prüfende Kliniker werden an einer Informationsveranstaltung über das OSCE-Format orientiert und in der Handhabung des Bewertungsrasters instruiert. Während und nach der Prüfung haben die Examinatoren die Möglichkeit, inhaltliche Rückmeldungen zu den Fällen im Allgemeinen und zu den Beurteilungskriterien im Speziellen zu geben. Einzelne Mitglieder der AG CS visitieren während der laufenden Prüfung die verschiedenen Standorte und können sich so ein Bild über die konkrete Umsetzung der EP CS vor Ort machen.

Prüfungsauswertung

In einem ersten Schritt werden sämtliche Kommentare der Examinatoren gesichtet und gewertet sowie die Schwierigkeits- und Trennschärfewerte der einzelnen Beurteilungskriterien berechnet. Auf dieser Grundlage werden Kriterien, welche inhaltliche oder formale Mängel aufweisen, eliminiert. Anschliessend wird das Punktetotal eines Kandidaten an einer Station errechnet aus der Summe der gewichteten Checklistenpunkte der ASM Kriterien addiert mit der gewichteten Punktsumme der Kommunikationsskala (Punktetotal=0.75*ASM+0.25*KK). Die 12 Stationen tragen zum Prüfungstotal alle gleich bei. Das Prüfungstotal der Kandidaten berechnet sich als Mittelwert über die 12 Stationspunktetotale. Die Ergebnisse der Kandidaten werden anschliessend standardisiert, um die Prüfungsresultate über die drei Tage vergleichbar zu machen. In einem nächsten Schritt wird mittels der Borderline Regressionsmethode [12], [13] die Bestehensgrenze pro Station errechnet. Auf dieser Grundlage legt die Prüfungskommission die definitive Bestehensgrenze fest. Tabelle 1 [Tab. 1] zeigt die Anzahl Kandidaten gefächert nach Gruppen mit schweizerischem resp. aussereuropäischem Diplom und Repetenten sowie die entsprechenden Bestehensquoten.

Qualitätsindices: In Tabelle 2 [Tab. 2] sind die statistischen Qualitätsindices der EP CS seit 2011 zusammen gestellt. Diese Resultate entsprechen den Erwartungen dahingehend, dass mit den beiden Prüfungsformaten unterschiedliche Aspekte der medizinischen Kompetenz erfasst werden, die aber (selbstverständlich) eine gemeinsame Grundlage aufweisen. Zudem spricht die geringere Korrelation von KK mit MC (im Vergleich zu ASM mit MC) für die Konstruktvalidität der Gesamtprüfung MC und CS.

Qualitätssicherung: Die Datenaufbereitung und statistische Auswertung der Prüfung wird nach etablierten Richtlinien [14] zentral von einer Institution (Institut für Medizinische Lehre der Universität Bern) vorgenommen. Daneben trägt die minutiöse Analyse der Kommentare der Examinatoren zu den einzelnen Fällen, welche die Elimination inhaltlich oder formal inadäquater Beurteilungskriterien ermöglicht, zur Qualität der Prüfung bei. Die geringe Anzahl eliminierter Kriterien wiederum ist ein Mass für die Qualität des Prüfungserstellungsprozesses (2013 wurden 22 von 807 Kriterien (2.7%) eliminiert).

Zentrale Erkenntnisse der vergangenen drei Jahre

Der iterative Prozess mit Planung-Implementation-Reflexion wird von der AG CS als einer der entscheidenden Faktoren für die erfolgreiche Weiterentwicklung der EP CS angesehen. Um diesen Prozess zu veranschaulichen, soll dieser an einem Beispiel exemplarisch erläutert werden. Aufgrund von Examinatoren Rückmeldungen während den ersten beiden Durchführungen zeigte sich, dass sich dichotome Kriterien zur Beurteilung komplexer Fertigkeiten nur bedingt eignen. Basierend auf dieser Erfahrung diskutierten die Mitglieder der AG CS über mögliche alternative Beurteilungskriterien (Planung). Mit einem adaptierten Bewertungsraster sollte nicht nur beurteilt werden können ob sondern auch wie eine bestimmte Tätigkeit ausgeführt wird. Basierend auf diesen Überlegungen, sowie Konsultation der relevanten Literatur, wurden in der Prüfung 2013 mehrstufige Beurteilungskriterien pilotiert (Implementation). Im Rahmen der Evaluation zeigte sich, dass bei Stationen, die solche mehrstufigen Beurteilungskriterien enthielten, die Korrelationen der Globalurteile und der erzielten Punktzahlen höher lagen als bei Stationen ohne diese mehrstufigen Kriterien (Reflexion). Die Korrelation von Globalurteil und Punktetotal ist ein Gütekriterium zur Qualitätsbeurteilung einer OSCE Station. Entsprechend werden ab 2014 in der EP CS, wo möglich, mehrstufige Kriterien zur Beurteilung komplexer klinischer Fertigkeiten eingesetzt.

Wesentliche Erkenntnisse in Bezug auf die einzelnen Schritte der Prüfungserstellung, Durchführung und Auswertung werden im Folgenden dargestellt.

Der zentral koordinierte, kollaborative Prozess der Prüfungserstellung mit Fallerstellungsworkshops, Review Board und nationalen SP-Trainer Treffen und die Einbindung einer grossen Zahl von Klinikern aus allen Fakultäten und Fachrichtungen sind wesentliche Faktoren, die zur inhaltlichen Qualität der Prüfung beitragen. Dieser auf Konsens hin ausgerichtete Prozess trägt entscheidend zur Robustheit des einzelnen Falles und zur Qualität der Prüfung als Ganzes bei.

Im Rahmen der Prüfungsdurchführung beurteilen die Examinatoren seit 2011 die Fälle auf ihre medizinisch-inhaltliche Qualität. Zusätzlich wird seit 2013 die Qualität der SP-Performanz mittels eines standardisierten Beurteilungsrasters erfasst. Der Einsatz dieses Rasters mit seinen expliziten Messkriterien, das den SP im Vorfeld abgegeben wird, hat dazu beigetragen, dass die Qualität der SP-Performanz noch gesteigert und zwischen den einzelnen Standorten weiter harmonisiert werden konnte.

Auch in der Prüfungsauswertung entstand der Bedarf nach zusätzlichen quantitativen Parametern, welche helfen, die Qualität der einzelnen Fälle und ihren Einsatz an den einzelnen Prüfungsstandorten besser zu beurteilen. Mit einem von Pell und anderen beschriebenen Set von statistischen Parametern lassen sich unterschiedliche Qualitätsaspekte einer Station abschätzen [15]. Diese Parameter liefern wichtige Informationen für den zukünftigen Fallerstellungsprozess, da sie Hinweise geben, bei welchen Stationen eine Optimierung der Beurteilungskriterien angezeigt ist oder wo eine Standardisierung besonders anspruchsvoll ist.


Diskussion

Im vorliegenden Beitrag werden die essentiellen Schritte bei der Erstellung, Durchführung und Auswertung sowie die zentralen Erkenntnisse aus den ersten drei Durchführungen der Eidgenössischen Prüfung Clinical Skills (EP CS) aus Sicht der Arbeitsgruppe Clinical Skills vorgestellt.

Ein mehrstufiges Vorgehen zur Erstellung von OSCE Prüfungen wird in internationalen Guidelines grundsätzlich empfohlen [16]. Der zentral koordinierte, mehrstufige Prozess der Prüfungserstellung mit Beteiligung von fach- und formatspezifischen Experten aller Fakultäten führt diesen Grundsatz konsequent weiter und ist ein wesentlicher Qualitätsfaktor der EP CS. Die Durchführung und Auswertung der EP CS lehnt sich an die validierten und bewährten nationalen Clinical Skills Prüfungen aus Nordamerika an. So ist die Anzahl Stationen pro Kandidat identisch mit der United States Medical Licensing Examination Step 2 Clinical Skills [http://www.usmle.org/ zitiert am 14.12.13], [17]. Mit der strukturierten klinisch-praktischen Prüfung des Medical Council of Canada Qualifying Examination Part 2 [http://mcc.ca/examinations/mccqe-part-ii/ zitiert am 14.12.13], [18] hat die EP CS folgende Gemeinsamkeiten:

1.
Die Leistung der Kandidaten wird durch Kliniker der entsprechenden Lehrkrankenhäuser resp. Universitäten bewertet;
2.
auf der Basis von Expertenurteilen (Globalurteile) wird die Bestehensgrenze pro Station errechnet;
3.
die inhaltlich-praktischen und die kommunikativen Aspekte werden zu einem Gesamtscore addiert und
4.
die Prüfung wird in zwei Sprachen angeboten.

In Bezug auf die Bestehensquoten zeigen sich zudem Parallelen zwischen der US-amerikanischen und schweizerischen Prüfung [19].

Gesamthaft betrachtet steht eine Erkenntnis der vergangenen drei Jahre im Vordergrund: Die konsequente Umsetzung der Prinzipien der Aktionsforschung verbunden mit der aktiven Partizipation der unterschiedlichen Akteure trägt entscheidend zur erfolgreichen Weiterentwicklung der EP CS bei. Insgesamt profitiert die EP CS ganz erheblich von der Erfahrung der an den einzelnen Fakultäten durchgeführten OSCE-Prüfungen. Dieser Einfluss ist aber nicht unidirektional. Vielmehr haben die fakultären OSCE auch von den Erfahrungen mit der EP CS profitiert. Wo sich bis vor kurzem an jeder Fakultät lokal isoliert zwei bis drei Personen mit OSCE Prüfungen beschäftigten, hat sich seit Einführung der EP CS eine schweizweite „community of practice“ [20] entwickelt, die sich mit dem Thema professionell auseinandersetzt, einen regen Austausch pflegt und bestrebt ist, die strukturierte klinisch-praktische Prüfung weiterzuentwickeln. Die Entwicklung dieses Prüfungsformates, insbesondere für den Einsatz in lizensierenden Schlussprüfungen, ist nicht abgeschlossen. Auch andere Institutionen sind daran, ihre nationalen strukturierten klinisch-praktischen Prüfungen weiterzuentwickeln [21].

Weltweit gibt es zum jetzigen Zeitpunkt nur wenige Staaten mit einer nationalen, strukturierten klinisch-praktischen Abschlussprüfung [22]. Entsprechend setzen sich nur wenige wissenschaftliche Arbeiten konkret mit der Erstellung, Durchführung und Auswertung solcher Prüfungen auseinander. Die vorliegende Arbeit liefert einen ersten Beitrag, um diese Lücke zu schliessen. Die hier dokumentierten essentiellen Schritte und zentralen Erkenntnisse können Interessengruppen dienen, insbesondere im Hinblick auf die Planung von nationalen klinisch-praktischen Prüfungen. Es ist aber auch durchaus vorstellbar, das von uns beschriebene Vorgehen in „Universitätsverbünden“ anzuwenden, um eine qualitativ hochwertige Prüfung anzubieten, welche die Ressourcen und Expertise einer einzelnen Ausbildungsstätte übersteigt.

Die vorliegende Arbeit beschränkt sich auf die Sichtweise der Arbeitsgruppe CS. Wünschenswert wäre, dass zukünftig auch die Erfahrungen von Kandidaten, Dozenten und weiteren Involvierten in den Gesamtprozess vermehrt einfliessen. Eine weitere Einschränkung dieser Arbeit ist, dass eine umfassende und detaillierte Darstellung aller eingesetzten Methoden und der daraus resultierenden Ergebnisse bei einem so umfangreichen Projekt kaum möglich ist. Die dargestellte Vorgehensweise sollte es dem Leser jedoch ermöglichen, sich ein Bild der Gesamtsituation zu machen.


Schlussfolgerung

Basierend auf der methodologischen Grundlage der Aktionsforschung wurden essentielle Schritte vorgestellt, welche die erfolgreiche Durchführung und Weiterentwicklung einer nationalen strukturierten klinisch-praktischen Prüfung ermöglichen, mit welcher sich die praktischen Fähigkeiten der Kandidaten auf faire, reliable und valide Weise beurteilen lassen. Die im vorliegenden Beitrag dokumentierten Prozesse und Erfahrungen können für andere Organisationen mit ähnlichen Vorhaben nützlich sein.


Danksagung

Eine nationale Clinical Skills Prüfung lässt sich nur durch Einsatz von unzähligen engagierten Personen bewerkstelligen. Unser ausgesprochener Dank geht insbesondere an die Fallautoren, Mitglieder des nationalen Review Boards, die Schauspielpatienten Trainer, die Schauspielpatienten und Standortverantwortlichen. Bedanken möchten wir uns auch bei den Klinikern für ihren Einsatz als Examinatoren. Ohne die gute Zusammenarbeit und stete Unterstützung durch die Prüfungskommission und das Bundesamt für Gesundheit wäre eine solche Prüfung ebenfalls nicht denkbar. Ein spezieller Dank geht auch an Patrick Jucker-Kupper für die kritische Sichtung des Manuskriptes.


Anmerkung

1 Die männliche Form gilt in gleicher Weise für das weibliche Geschlecht.


Interessenkonflikt

Die Autoren erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben.


Literatur

1.
Bürgi H, Rindlisbacher B, Bader C, Bloch R, Bosman F, Gasser C, Gerke W, Humair JP, Im Hof V, Kaiser H, Lefebvre D, Schläppi P, Sottas B, Spinas GA, Stuck AE. Swiss Catalogue of Learning Objectives for Undergraduate Medical Training. Bern: Universität Bern; 2008. Zugänglich unter/available from: http://sclo.smifk.ch Externer Link
2.
Harden RM, Stevenson M, Downie WW, Wilson GM. Assessment of clinical competence using objective structured examination. Br Med J. 1975;1(5955):447-451. DOI: 10.1136/bmj.1.5955.447 Externer Link
3.
Guttormsen S, Beyeler C, Bonvin R, Feller S, Schirlo C, Schnabel K, Schurten T, Berendonk C. The new licencing examination for human medicine: from concept to implementation. Swiss Med Wkly. 2013;143:w13897. Zugänglich unter/available from: http://www.smw.ch/content/smw-2013-13897/ Externer Link
4.
Reznick R, Smee S, Rothman A, Chalmers A, Swanson D, Dufresne L, Lacombe G, Baumber J, Poldre P, Levasseur L. An objective structured clinical examination for the licentiate: report of the pilot project of the Medical Council of Canada. Acad Med. 1992;67(8):487-494. DOI: 10.1097/00001888-199208000-00001 Externer Link
5.
De Champlain A, Swygert K, Swanson DB, Boulet JR. Assessing the underlying structure of the United States Medical Licensing Examination Step 2 test of clinical skills using confirmatory factor analysis. Acad Med. 2006;81(10 Suppl):S17-20.
6.
Khan KZ, Ramachandran S, Gaunt K, Pushkar P. The Objective Structured Clinical Examination (OSCE): AMEE Guide No. 81. Part I: an historical and theoretical perspective. Med Teach. 2013;35(9):e1437-1446.
7.
Meyer J. Qualitative research in health care. Using qualitative methods in health related action research. BMJ. 2000;320(7228):178-181.
8.
Edler A. Action research in medical education: a shifting paradigm or old wine in new skins? Clin Teach. 2009;6:139-410.
9.
Lingard L, Albert M, Levinson W. Grounded theory, mixed methods, and action research. BMJ. 2008;337:a567.
10.
Hodges B, McIlroy JH. Analytic global OSCE ratings are sensitive to level of training. Med Educ. 2003;37(11):1012-1016. DOI: 10.1046/j.1365-2923.2003.01674.x Externer Link
11.
Scheffer S. Validierung des Berliner Global Rating" (BGR) -ein Instrument zur Prüfung kommunikativer Kompetenzen Medizinstudierender im Rahmen klinisch-praktischer Prüfungen (OSCE). Berlin: Charité - Universitätsmedizin Berlin, Medizinische Fakultät; 2009.
12.
Kramer A, Muijtjens A, Jansen K, Dusman H, Tan L, van der Vleuten C. Comparison of a rational and an empirical standard setting procedure for an OSCE. Objective structured clinical examinations. Med Educ. 2003;37(2):132-139. DOI: 10.1046/j.1365-2923.2003.01429.x Externer Link
13.
Wood TJ, Humphrey-Murto SM, Norman GR. Standard setting in a small scale OSCE: a comparison of the Modified Borderline-Group Method and the Borderline Regression Method. Adv Health Sci Educ Theory Prac. 2006;11(2):115-122. DOI: 10.1007/s10459-005-7853-1 Externer Link
14.
Downing S. Statistics of testing. In: Downing S, Yudkowsky R (Hrsg). Assessment in Health Professions Education. London: Routledge; 2009. S.93-117.
15.
Pell G, Fuller R, Homer M, Roberts T, International Association for Medical E. How to measure the quality of the OSCE: A review of metrics - AMEE guide no. 49. Med Teach. 2010;32(10):802-811. DOI: 10.3109/0142159X.2010.507716 Externer Link
16.
Khan KZ, Gaunt K, Ramachandran S, Pushkar P. The Objective Structured Clinical Examination (OSCE): AMEE Guide No. 81. Part II: organisation & administration. Med Teach. 2013;35(9):e1447-1463.
17.
Gilliland WR, La Rochelle J, Hawkins R, Dillon GF, Mechaber AJ, Dyrbye L, Papp K, Durning SJ. Changes in clinical skills education resulting from the introduction of the USMLE step 2 clinical skills (CS) examination. Med Teach. 2008;30(3):325-327. DOI: 10.1080/01421590801953026 Externer Link
18.
Woloschuk W, McLaughlin K, Wright B. Predicting performance on the Medical Council of Canada Qualifying Exam Part II. Teach Learn Med. 2013;25(3):237-241. DOI: 10.1080/10401334.2013.797351 Externer Link
19.
Boulet JR, Swanson DB, Cooper RA, Norcini JJ, McKinley DW. A comparison of the characteristics and examination performances of U.S. and non-U.S. citizen international medical graduates who sought Educational Commission for Foreign Medical Graduates certification: 1995-2004. Acad Med. 2006;81(10 Suppl):S116-119.
20.
Bereiter C. Design Research for Sustained Innovation. Cognitive Studies, Bulletin of the Japanese Cognitive Sci Soc. 2002;9(9):321-327.
21.
Haist SA, Katsufrakis PJ, Dillon GF. The evolution of the United States Medical Licensing Examination (USMLE): enhancing assessment of practice-related competencies. JAMA. 2013;310(21):2245-2246. DOI: 10.1001/jama.2013.282328 Externer Link
22.
McCrorie P, Boursicot KA. Variations in medical school graduating examinations in the United Kingdom: are clinical competence standards comparable? Med Teach. 2009;31(3):223-229. DOI: 10.1080/01421590802574581 Externer Link