gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

Vision und Wirklichkeit: Die Idee einer Kompetenz orientierten Prüfung deutscher Medizinstudenten wird im mündlich-praktischen Teil des Zweiten Abschnitts der Ärztlichen Prüfung noch nicht umgesetzt

Artikel Kompetenzorientiertes Prüfen

  • corresponding author Markus Huber-Lang - Universitätsklinikum Ulm, Medizinische Fakultät, Institut für klinische und experimentelle Trauma-Immunologie, Ulm, Deutschland
  • author Annette Palmer - Universitätsklinikum Ulm, Medizinische Fakultät, Institut für klinische und experimentelle Trauma-Immunologie, Ulm, Deutschland
  • author Claudia Grab - Universität Ulm, Medizinische Fakultät, Studiendekanat, Ulm, Deutschland
  • author Anja Boeckers - Universität Ulm, Institut für Anatomie und Zellbiologie, Ulm, Deutschland
  • author Tobias Maria Boeckers - Universität Ulm, Institut für Anatomie und Zellbiologie, Ulm, Deutschland
  • author Wolfgang Oechsner - Universitätsklinikum Ulm, Abteilung Kardioanästhesie, Ulm, Deutschland

GMS J Med Educ 2017;34(2):Doc25

doi: 10.3205/zma001102, urn:nbn:de:0183-zma0011024

Dieses ist die deutsche Version des Artikels.
Die englische Version finden Sie unter: http://www.egms.de/en/journals/zma/2017-34/zma001102.shtml

Eingereicht: 19. August 2016
Überarbeitet: 21. Februar 2017
Angenommen: 7. März 2017
Veröffentlicht: 15. Mai 2017

© 2017 Huber-Lang et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Zusammenfassung

Zielsetzung: Kompetenzorientierung basierend auf dem CanMEDS Model hat sich zu einem wichtigen Bildungsinhalt innerhalb der medizinischen Ausbildung entwickelt. Im Nationalen kompetenzbasierten Lernzielkatalog Medizin (NKLM) wurde diese als Ziel festgeschrieben. Es ist jedoch bisher nicht bekannt, inwiefern in den Prüfungen des medizinischen Staatsexamens tatsächlich kompetenzbasierend geprüft wird.

Methoden: In dieser prospektiven, deskriptiven, monozentrischen, exemplarischen Studie wurden 4051 Fragen/Aufgaben (gestellt von 28 Prüfer in n=7 zweitägigen mündlich-praktischen Prüfungen) an Medizinstudierende der Universität Ulm evaluiert. Die mündlichen und praktischen Fragen/Aufgaben wurden, ebenso wie die Prüfung am Patientenbett, auf die spezifischen Kompetenzrollen (gemäß NKLM Abschnitt I), die unterschiedlichen Kategorien (gemäß NKLM Abschnitt II) und die Taxonomielevel der unterschiedlichen Fragen/Aufgaben analysiert.

Ergebnisse: Im mündlich-praktischen Prüfungsteil wurden den Kandidaten zahlreiche Fragen/Aufgaben gestellt (Tag 1/2: 70±24/86±19 Fragen). Die Kompetenzrollen außerhalb des “Medizinischen Experten” wurden dabei selten adressiert. Zudem wurden praktische und kommunikative Fertigkeiten in der Prüfung am Patientenbett kaum geprüft (weniger als 3/15 min). Auffallend war die Dominanz an Fragen auf niedrigem taxonomischem Niveau.

Schlussfolgerungen: Die Daten zeigen ein deutliches Missverhältnis zwischen den Vorgaben zur Kompetenzorientierung und den tatsächlich geprüften Inhalten der mündlich-praktischen Prüfungen. Diese Diskrepanz sollte zukünftig mit einer verstärkten Prüfer-Schulung und -Evaluation begegnet werden.

Schlüsselwörter: Medizinische Kompetenz, Staatsexamen, Alignment, NKLM


1. Einleitung

1.1. Hintergrund

Das klassische Konzept der lernzielorientierten Ausbildung, das über Jahrzehnte hinweg die konzeptuelle Grundlage der Hochschullehre darstellte, wird zunehmend durch das bei weitem komplexere Konstrukt der kompetenzbasierten bzw. kompetenzorientierten Ausbildung ergänzt und erweitert. Für dieses komplexe Konstrukt stellen die 1990 publizierten 7 CanMEDS Rollen („medical expert, communicator, collaborator, manager, health advocate, scholar, professional“) weltweit eine geradezu archetypische Grundlage dar [1], [2], [3]. In Deutschland wurde kürzlich der Nationale Kompetenzbasierte Lernzielkatalog Medizin (NKLM) als Bezugsgröße für die kompetenzbasierte Medizinerausbildung auf dem Boden der geltenden Ärztlichen Approbationsordnung veröffentlicht, ebenfalls mit deutlichen Referenzen auf das CanMEDS-Konzept [4], [5].

Als Gradmesser für die erworbene Kompetenz medizinischer Absolventen kommen seit langem und mit hoher Gewichtung mündlich-praktische Prüfungen zum Einsatz [6], [7], [8], [9]. Allerdings wurden traditionelle mündlich-praktische Prüfungen häufig auch ernsthaft kritisiert, zum einen wegen ihrer oft zu geringen Reliabilität und Validität [6], [10], [11], zum anderen oft auch wegen ihres in Bezug auf die Bandbreite medizinischer Kompetenzen zu eingeengten Prüfungsspektrums. Positive Gegenbeispiele im Sinne gut strukturierter und breit kompetenzorientierter mündlicher Prüfungen wurden deutlich seltener beschrieben [12].

Zum gegenwärtigen Zeitpunkt gibt es außerhalb der vorliegenden Studie gemäß unseres Kenntnisstands keine Daten aus der direkten Beobachtung mündlich-praktischer medizinischer Staatsexamina, die auf den Grad der Kompetenzorientierung und auf das Taxonomieniveau der dort gestellten Fragen und Aufgaben abzielen.

1.2. Das Medizinische Staatsexamen in Deutschland

Zum Zeitpunkt der Durchführung unserer Studie war die Ärztliche Prüfung (Staatsexamen) in Deutschland gemäß geltender Approbationsordnung in zwei Abschnitte unterteilt (Erster Abschnitt der Ärztlichen Prüfung, nach 4 Fachsemestern, und Zweiter Abschnitt der Ärztlichen Prüfung, nach 10 Fachsemestern). Beide Abschnitte bestanden wiederum aus je einem schriftlichen und einem mündlich-praktischen Anteil, die regelhaft in direkter Folge zusammenhingen. In der heute, also zum Publikationszeitpunkt geltenden, veränderten Approbationsordnung wurden der schriftliche und der mündlich-praktische Teil des zweiten Abschnitts zu jeweils eigenständigen Abschnitten der Ärztlichen Prüfung erklärt und zeitlich getrennt. Die im folgenden beschriebenen Details beziehen sich auf die Verfahrensweisen, wie sie in der Ärztlichen Approbationsordnung und vom Landesprüfungsamt Baden-Württemberg für Medizin und Pharmazie zum Zeitpunkt der Durchführung der Studie entweder vorgeschrieben oder zumindest empfohlen waren; grundlegende Änderungen im Ablauf des hier betrachteten mündlich-praktischen Abschnitts haben sich durch die veränderte Approbationsordnung nicht ergeben.

Innerhalb der wie genannt vorgegebenen Rahmenbedingungen waren die geforderten vier bis fünf (in der Studie regelhaft vier) Examensprüfer relativ frei in Bezug auf die fachlich-inhaltliche, konkrete Ausgestaltung der gestellten Fragen und Aufgaben während der beiden Prüfungstage [13], [14]. Am ersten Prüfungstag hatten die (bis zu vier; in der Studie regelhaft drei bis vier) Kandidaten innerhalb von drei Stunden jeweils einen realen Patienten zu untersuchen, zu befragen, seine Krankheitsgeschichte zu dokumentieren und einen Fallbericht anzufertigen. Im Anschluss war vom Landesprüfungsamt ein Zeitraum von 15-20 Minuten vorgesehen, in dem der Patient vorzustellen war, und konkrete bettseitige Fertigkeiten (Untersuchungstechniken, Anamnesetechniken, etc.) sowie gezielte patientenbezogene Fragen abgeprüft werden konnten (siehe Abbildung 1 [Abb. 1]). Außerhalb des Krankenzimmers, im Prüfungsraum, wurde dann jeder Kandidat erneut geprüft (7-11 Minuten pro Prüfer nach Maßgabe des zuständigen Landesprüfungsamts). Am zweiten Prüfungstag wurde jeder Kandidat von derselben Prüfungskommission erneut für 11-15 Minuten mündlich geprüft. Fachübergreifende Fragen und Aufgaben waren zugelassen und erwünscht. Zum Bestehen des mündlich-praktischen Examensteils war mindestens die Note 4 („ausreichend“) zu erreichen.

Mit dem Bestehen der Ärztlichen Prüfung insgesamt konnte (und kann weiterhin) seitens der Kandidaten die Approbation beantragt werden, die in Deutschland und in der Europäischen Union zeitlich unbegrenzt Gültigkeit besitzt.

In der vorliegenden prospektiven, exemplarisch an einer Fakultät durchgeführten Studie wurde untersucht, inwieweit ärztliche Kompetenzen jenseits des traditionellen „Medizinischen Fachexperten“ im mündlich-praktischen Teil des abschließenden deutschen Staatsexamens geprüft werden. Darüberhinaus wurden (in Anlehnung an die von Bloom formulierten Taxonomiestufen, [15]) die Taxonomie-Niveaus der in diesem bedeutsamen Examensteil gestellten Prüfungsaufgaben untersucht.


2. Methoden

2.1. Studienaufbau

Die vorliegende Untersuchung basierte auf einer exemplarischen, prospektiven, deskriptiven Beobachtungsstudie an der Universität Ulm. Die Studie wurde durch die unabhängige lokale Ethikkommission (17122013) und das Studiendekanat der Universität Ulm genehmigt. Eine Pilotstudie mit der Beobachtung von zwei mündlich-praktischen Staatsexamina überprüfte die Machbarkeit und Durchführbarkeit der Beobachtungsinstrumente. Die Erfahrungen der Pilotierung führten zu den oben genannten Hypothesen. Die Hauptstudie beinhaltete dann die Beobachtung von Tag 1 und 2 von n=7 Examina (während des Wintersemesters 2013/14 und Sommersemesters 2014). In Übereinstimmung mit dem deutschlandweit gültigen Approbationsordnung (ÄAppO 2002/2012) war ein Beobachter pro mündlich-praktischem Examen (der selbst nicht als Prüfer beteiligt war) anwesend. Die insgesamt zwei Beobachter erfüllten folgende Kriterien: sie waren Mitglieder des Lehrkörpers der Medizinischen Fakultät, waren seit mehr als 10 Jahre aktiv in der akademischen Lehre und im Prüfungswesen tätig, fungierten seit mehr als 5 Jahre als Trainer von Prüfertrainings, hatten erfolgreich eine Weiterbildung zum Master of Medical Education (MME) absolviert, waren mit den NKLM Kriterien vertraut und waren Mitglieder der Arbeitsgemeinschaft für Lehrforschung an der Universität Ulm. Die zwei Beobachter haben sich mit den entwickelten Beobachtungsinstrumenten vorab intensiv beschäftigt. Die Inter-Rater Reliabilität (Cohen’s Kappa) zwischen den zwei Beobachtern wurde anhand einer Analyse von 50 Fragen/Aufgaben von realen Examenssituationen bezüglich der Einschätzung des Taxonomieniveaus (in Annäherung an die durch Bloom 1956 beschriebenen Kriterien [15]) und bezüglich der Zuordnung zu den verschiedenen Kompetenzrollen und fachlich-inhaltlichen Kategorien [http://www.nklm.de, Version vom 13. Okt. 2015] ermittelt. Die gefundene Inter-Rater Reliabilität von 0,78 wurde als ausreichend für die Studie angesehen. Im Falle dass eine Frage nicht direkt während der Beobachtung klassifiziert werden konnte, wurde die Fragestellung wörtlich dokumentiert und post hoc zwischen den zwei Beobachtern im Konsens geklärt (in 20 Fällen).

2.2. Beobachtungs- und Evaluationsinstrumente
2.2.1. Prüfungsdokument am Patientenbett:

Für die Datenerhebung des Examens am Patientenbett wurde ein Dokument erstellt, das sowohl die gemessene Zeit als auch die Anzahl der Fragen/Aufgaben und deren Zuordnung zu den jeweiligen Taxonomielevels festhielt.

2.2.2. Dokumentation für die Prüfung im Prüfungsraum:

Für die Datenerhebung des Examens fern des Patientenbettes (im Prüfungsraum) wurde ein einseitiges Dokument entwickelt, das die Kategorisierung jeder einzelnen Frage/Aufgabe (jedes Prüfers) für die unterschiedlichen fachlich-inhaltlichen Kategorien und für das Taxonomieniveau erlaubte, einschließlich offener Kommentare durch den Beobachter. All die beschriebenen Dokumente wurden auf ihre Machbarkeit und Durchführbarkeit in einer Pilotstudie getestet (i.R. von 2 vollständigen Examen) und anschließend geringfügig angepasst.

2.3. Zeitmessung des Patientenkontakts während des mündlich-praktischen Examens am Patientenbett

Um die Ausnutzung der Prüfungszeit für die unmittelbare Patient-Prüfling-Kommunikation, -Kontakt, -Interaktion und -Demonstration praktischer Fähigkeiten einzuschätzen, wurde die entsprechende Zeit in Sekunden mit einer handelsüblichen Stoppuhr gemessen und notiert. Die post hoc Analyse setzte dann die ermittelte Zeit in das Verhältnis zur gesamten Prüfungszeit am Patientenbett.

2.4. Einschätzung des mündlich-praktischen Staatsexamens bezüglich der Kompetenzorientierung

Nach jedem Examen wurden die Daten durch eine unabhängige Person in eine digitale Datenbasis übertragen und nach vollständiger Datenerhebung bzgl. folgender Parameter analysiert:

  • Anzahl der Fragen/Aufgaben (pro Prüfer, Prüfling, Zeiteinheit)
  • Taxonomielevel der Fragen/Aufgaben. In Anlehnung an die Bloom Einteilung [15] erfolgte eine vereinfachte dreistufige Zuordnung der medizinischen Fragen/Aufgaben; eine erste und niedrigste Taxonomiestufe beinhaltete „Wissen“ (im Sinne einer reinen Wiedergabe von Faktenwissen), eine zweite mittlere Taxonomiestufe adressierte „Analyse und Interpretation“, und eine dritte Stufe zielte auf die „Problemlösung“. Die Pilotstudie bestätigte die Machbarkeit dieser vereinfachten, 3-stufigen Zuordnung in Echtzeit während des Examens.
  • Zuordnung der Fragen/Aufgaben -falls möglich- zu einer Kompetenzrolle neben der zentralen Rolle als „Medizinexperte“ (in Übereinstimmung mit den CanMEDS und NKLM Definitionen): Kommunikator, Mitglied eines Teams, Verantwortungsträger/Manager, Gesundheitsberater und -fürsprecher, Gelehrter, Professionell Handelnder.
  • Einteilung der Fragen/Aufgaben bzgl. der fachlich-inhaltlichen Kategorien in Anlehnung an den II. Abschnitt des NKLM (siehe Abbildung 1 [Abb. 1]). Die Pilotierung wies zahlreiche Fragen zur „Systematik, Klassifikationen und Definitionen“ auf; daher haben wir diese Kategorie als einen zusätzlichen Ausleseparameter eingeschlossen.
2.5. Statistische Analyse:

Die vorliegende Analyse war auf einer exemplarischen, prospektiven, deskriptiven, monozentrische Beobachtungsstudie aufgebaut. Die Ergebnisse werden als Mittelwert ± Standardfehler (SEM) dargestellt. Es kam eine einfaktorielle ANOVA Analyse (one-way analysis of variance) mit anschließender post hoc Analyse mittels dem Student-Newmann-Keuls Test zur Anwendung. Ein Vergleich der Ausleseparameter zwischen Tag 1 und 2 erfolgte durch den Student-t Test. Ein p-Wert von p<0,05 wurde als statistisch signifikant angenommen.


3. Ergebnisse

3.1. Im mündlich-praktischen Staatsexamen werden die Kandidaten mit einer beträchtlichen Anzahl an Prüfungsfragen und Aufgaben konfrontiert

In vorliegender Studie wurden 7 je 2-tägige mündlich-praktische Staatsexamina mit insgesamt 28 Prüfern (vier pro Examen) und 26 Kandidaten (drei bis vier pro Examen) untersucht. Es wurden dabei insgesamt 4051 Aufgaben- und Fragenstelllungen analysiert. Am ersten Tag wurden jedem Kandidaten n=70±24 Aufgaben gestellt, am zweiten Tag n=86±19 Aufgaben (Daten nicht grafisch dargestellt).

3.2. Praktische und kommunikative Fertigkeiten werden auch während des Prüfungsteils am Patientenbett kaum adressiert.

Der gemäß des zuständigen Landesprüfungsamt für die Vorstellung des Examens-Patienten vorgesehene Zeitkorridor von 15-20 Minuten pro Kandidat wurde von den Prüfern perfekt eingehalten (siehe Abbildung 2 [Abb. 2], Punkt A). In diesem Zeitkorridor können wichtige Befunde Prüfungsgegenstand sein, ebenso wie spezifische praktische und kommunikative Kompetenzen des Kandidaten. Allerdings wurde mehr als 80% der bettseitig verfügbaren Prüfungszeit genutzt, um theoretische Fragen zu stellen, dementsprechend wenig Zeit (<20%) blieb für die Überprüfung praktischer Fertigkeiten am Krankenbett. Kommunikative Fertigkeiten wurden so gut wie nicht explizit adressiert. Jeder Kandidat wurde mit durchschnittlich mehr als 17±9 theoretischen Fragen am Krankenbett konfrontiert (d.h.>1 Frage/Minute). Die weitere Analyse der am Krankenbett gestellten Fragen zeigte, dass 13±2 dieser Fragen sich auf dem taxonomisch relativ niedrigen Niveau der Reproduktion reinen Faktenwissens bewegten (siehe Abbildung 2 [Abb. 2], Punkt B). Analyse- oder Interpretationsfertigkeiten wurden nur in 3±0,1 (18%) der Aufgaben adressiert, das Level der Problemlösung wurde noch seltener von den Kandidaten gefordert.

3.3. Kompetenzrollen jenseits des „Medizinischen Experten“ werden im mündlich-praktischen Staaatsexamen kaum adressiert

In direktem Bezug auf das CanMEDS-Konzept [1] werden im Abschnitt I des NKLM 7 für die ärztliche Tätigkeit wichtige Kompetenzrollen definiert: Medizinischer Experte, Gelehrter, Kommunikator, Mitglied eines Teams, Gesundheitsberater und –fürsprecher, Verantwortungsträger und Manager, Professionell Handelnder. Der traditionellen und klassischen Rolle des „Medizinischen Experten“ kommt in Lehre und Prüfung, damit im Lernprozess insgesamt, sicherlich eine zentrale Bedeutung und Wertigkeit zu. Deshalb waren wir vornehmlich interessiert zu erfahren, in welchem Maß die übrigen 6 Rollen in der mündlich-praktischen Staatsprüfung als Prüfungsgegenstände repräsentiert waren. Die Analyse zeigte, dass an beiden Prüfungstagen im Schnitt höchstens 1-2 Fragestellungen pro Kandidat auf diese übrigen Rollen entfielen (siehe Abbildung 3 [Abb. 3]). Die Rollen „Professionell Handelnder“ oder „Gelehrter“ wurden so gut wie nicht adressiert.

3.4. Die mündlich-praktische Prüfung fokussiert auf eher „traditionelle“ Prüfungsgegenstände

In Anlehnung an den Abschnitt II des NKLM (siehe Abbildung 1 [Abb. 1]), in dem unterschiedliche thematische Kategorien für die Ausbildung des kompetenten Arzts beschrieben sind, wurde für die vorliegende Studie ein Beobachtungskatalog aus 11 inhaltlich-thematischen Kategorien entwickelt. Jede in der Prüfung gestellte Aufgabe wurde mittels Strichliste einer dieser Kategorien zugeordnet. Die meisten Prüfungsfragen ließen sich eher „klassischen“ bzw. „traditionellen“ Kategorien zuordnen, nämlich (in quantitativ aufsteigender Reihenfolge) den Beobachtungskategorien „Systematik/Klassifikation/Definitionen“, „Pathomechanismen“, „Therapie“ und „Diagnosestellung“ (siehe Abbildung 4 [Abb. 4]). Nur eine Minderheit der gestellten Prüfungsaufgaben zielte auf Notfallversorgung, und praktisch keine zielte auf medico-legale, ethische oder präventionsbezogene Aspekte oder auf Aspekte der Gesundheitsförderung in der Gesellschaft. Ebenfalls so gut wie nicht vertreten waren Fragen zu Wissenschaftlichkeit/Forschung oder zu Ärztlicher Gesprächsführung. Klinisch-praktische Aufgaben („skills“), z.B. anhand von Übungsmodellen, wurden nur in geringem Maß abgeprüft, obwohl die gesetzlich-formalen Rahmenbedingungen dies an beiden Prüfungstagen ermöglicht hätten.

3.5. Die gestellten Prüfungsfragen bewegen sich auf relativ niedrigem Taxonomie-Level

Zusätzlich zu den oben genannten inhaltlich-thematischen Beobachtungskategorien wurden alle gestellten Prüfungsaufgaben von den Beobachtern „live“ je einer von drei relativ rasch zuordenbaren Taxonomie-Levels zugewiesen: „Wissen/Reproduktion“, „Analyse/Interpretation“, „Problemlösung“. Mehrheitlich (70% an beiden Prüfungstagen) wurden die gestellten Fragen von den Beobachtern der relativ niedrigen Taxonomiestufe der reinen Wissensfragen zugeordnet. Weniger als 15% der Fragen bewegten sich auf dem Level von Analyse/Interpretation, auch das Level „Problemlösung“ wurde am jeweils ersten Prüfungstag in weniger als 10%, am zweiten Prüfungstag in weniger als 20% der Prüfungsfragen adressiert. Insgesamt gab es unter taxonomischen Aspekten keine signifikanten Differenzen zwischen den beiden Prüfungstagen (siehe Abbildung 5 [Abb. 5]).

Abbildung 6 [Abb. 6] verdeutlicht, dass die beobachteten Prüfungssituationen geprägt waren von traditionellen inhaltlichen Kategorien, die auf relative niedriger Taxonomiestufe abgeprüft wurden. Selbst in der Kategorie Therapie/therapeutische Strategien wurde nicht vermehrt auf höhere taxonomische Levels wie Analyse, Interpretation oder Problemlösung gesetzt.


4. Diskussion

Ethymologisch betrachtet, leitet sich das Wort Examen vom lateinischen „examinare“ ab, was soviel wie „wiegen, abwägen, messen“ meint [16]. Um das Kompetenzprofil eines Kandidaten in einer medizinischen Abschlussprüfung möglichst genau zu messen, bedarf es der Überprüfung multipler medizinischer und persönlicher Kompetenzen [6], [17], [18], [19]. Die Ärztliche Approbationsordnung bietet mit der Kombination aus 2-tägigem MC-Test und 2-tägigem mündlich-praktischen Examen grundsätzlich diese Chance, denn jedes dieser Formate zielt bei kluger Nutzung der Formate auf unterschiedliche berufsrelevante Kompetenzen [20].

Die vorliegende Studie zeigt allerdings eine noch deutlich wahrnehmbare Diskrepanz zwischen der gewünschten, von klinischen Lehrern wie von Prüfern gleichermaßen als relevant eingestuften Kompetenzorientierung [21], [22] und der realen Prüfungssituation in der mündlich-praktischen Abschlussprüfung, in der noch immer der Trend zum Abprüfen von reinem Reproduktionswissen im Rahmen des medizinischen Fachexperten besteht. Weder unmittelbar am Patientenbett noch im Prüfungsraum wurden Rollen jenseits des Medizinischen Experten in nennenswertem Umfang in die Prüfungsinhalte mit einbezogen. Selbst die Rolle des Kommunikators, die verhältnismäßig leicht in den Prüfungsteil am Patientenbett zu integrieren wäre, war kein relevanter Prüfungsschwerpunkt, trotz ihrer Bedeutung für den ärztlichen Alltag, die sogar medikolegale Aspekte umfasst [23]. Prüfungsinhalte mit klarem Bezug zu den Rollen des „professionell Handelnden“, des „Gesundheitsberaters und -fürsprechers“ oder des „Gelehrten“, wie sie im NKLM formuliert sind, waren so gut wie nicht vorhanden. Insbesondere das Fehlen von Prüfungsinhalten der letztgenannte Rolle, des „Gelehrten“, wirkt überraschend, denn die Prüfer waren sämtlich neben ihrer klinischen Tätigkeit auch wissenschaftlich aktiv, so dass die Rolle des Wissenschaftlers durchaus einen signifikanten Raum in ihrem Berufsalltag einnimmt. In gewissem Sinn ist das Fehlen solcher Prüfungsinhalte sogar alarmierend, denn das Beherrschen wissenschaftlicher Kompetenzen stellt eine herausragende akademische Fähigkeit dar. Diese Fähigkeit wird studierendenseitig grundsätzlich positiv bewertet [24], und hat hohen Impact auf unterschiedliche Aspekte ärztlichen Handelns, wie beispielsweise klinische Entscheidungsfindung, selbstkritisches und fallbezogenes Reflektieren, evidenzbasiertes Arbeiten, sogar auf Aspekte verbesserter Patientensicherheit [25]. Für künftige Examensprüfungen wird sicherlich zu diskutieren sein, in welchem Umfang bzw. in welcher Gewichtung und in welcher Form die unterschiedlichen im NKLM definierten Rollen in die Prüfungsaufgaben einfließen können oder sollen. Aber auch innerhalb der in den untersuchten Examina hauptsächlich adressierten Rolle des „Medizinischen Experten“ kann bzw. könnte sicherlich mehr als nur rein reproduzierendes Faktenwissen geprüft werden. Mündlich-praktische Prüfungsteile bieten sich für die Überprüfung der höheren taxonomischen Levels der Miller-Pyramide prinzipiell an (Knows – Knows how – Shows how – Does). Gerade die in den aktuellen Examensregularien für den Tag 1 vorgeschriebene Prüfungszeit am Krankenbett bietet dafür den perfekten Rahmen. Das baden-würrtembergische Landesprüfungsamt empfiehlt, hierfür 15-20 Minuten pro Kandidat vorzusehen. In diesem Zeitkorridor könnten praktische (z.B. Untersuchungs-) oder auch anamnestische Kompetenzen überprüft werden, anstelle des in vorliegender Studie beobachteten theoretisch geprägten „Fragensturms“ mit Betonung reproduzierenden Faktenwissens. Theoriefragen hätten ausreichend Raum in den Prüfungsabschnitten, die sich außerhalb des Patientenzimmers abspielen. Aber auch in den Prüfungsabschnitten ohne realen Patientenkontakt bieten die aktuell geltenden Examensvorgaben den Prüfern genügend Spielraum, um die ärztliche Kompetenz der Kandidaten unter verschiedenen Perspektiven und Aspekten auszuloten, sei es beispielsweise mit Hilfe von Übungsmodellen oder von Bildsequenzen medizinischer Problemsituationen. In unserer Analyse waren die Resultate an beiden Prüfungstagen praktisch gleich: Rollen jenseits des „Medizinischen Experten“ und Inhalte jenseits der klassischen Kategorien „Diagnose und Therapie“ hatten als Prüfungsgegenstände so gut wie keine Bedeutung. Die wahrscheinlichste Erklärung für dieses Phänomen dürfte darin liegen, dass das Bewusstsein für die Prüfungsrelevanz der unterschiedlichen Rollen und Inhaltskategorien (wie sie der NKLM als Lernziel definiert) sowie das entsprechende Prüfungs-Know-How seitens der Examensprüfer noch nicht genügend ausgeprägt ist. Diesem Defizit könnte künftig abgeholfen werden, indem z.B. in Prüfertrainings ein deutlicher Fokus auf die Wertigkeit und auf die Wichtigkeit einer umfassenden Kompetenzüberprüfung sowie auf das Trainieren der entsprechenden Prüferfertigkeiten gelegt wird [9], [18], [26]. Allerdings erreichen viele dieser Trainingsangebote vor allem diejenigen Kollegen und Kolleginnen, die als Novizen in die Examensprüfungen einsteigen; bereits aktive und erfahrene Prüfer sind oft deutlich schwerer zu erreichen. Deshalb müssen zur realen Umsetzung der Idee der Kompetenzorientierung in der medizinischen Ausbildung (d.h. in der Lehre und in den Prüfungen) und zur Bewusstmachung des Mehrwerts dieser Idee gezielt weitere Maßnahmen der Fakultäts- und Personalentwicklung ausgeschöpft werden [19], [20], [27], [28], [29]. Die aktuell gültige Ärztliche Approbationsordnung erlaubt und unterstützt zwar in einem gewissen Rahmen die kreative Ausgestaltung des mündlich-praktischen Examensteils im Hinblick auf kompetenzorientiertes Prüfen, stellt aber gleichzeitig auch gewisse Hürden auf. So sind bestimmte, deutlich stärker kompetenzorientierte Prüfungsformate wie z.B. OSCE (Objective Structured Clinical Examinations) im mündlich-praktischen Staatsexamen in Deutschland bisher nicht ausdrücklich vorgesehen, im Gegensatz zu den Regelungen in der Schweiz oder auch zu den Gepflogenheiten in vielen deutschen innerfakultären Leistungsnachweisen; auch an verbindlichere Vorgaben für mehrdimensionale strukturierte mündliche Prüfungen könnte hier künftig gedacht werden [2], [12], [30], [31], [32], [33].

Unserer Kenntnis nach stellt die vorliegende Studie die erste direkte „Live“-Beobachtung und Analyse des mündlich-praktischen Staatsexamensabschnitts in Deutschland dar (zum Zeitpunkt der Studiendurchführung „mündlich-praktischer Teil des Zweiten Abschnitts der Ärztlichen Prüfung“). Einige Limitationen der Studie sind jedoch zu beachten. Die Daten wurden nur an einem Zentrum erhoben; für eine abgesicherte Übertragbarkeit der Ergebnisse müssten die Examensprüfungen weiterer Studienorte analysiert werden. Es wurde eine akzeptable Interrater-Reliabilität erreicht; weitere aus statistischer Sicht wünschenswerte Maßnahmen (mehrere Untersucher/Beobachter pro Prüfung, audiovisuelle Aufnahme der Prüfungen mit anschließender Analyse) mussten aufgrund formaler juristischer Erwägungen unterbleiben. Auch ging der Charakter der „Live“ Beobachtung als solcher mit der Einschränkung einher, dass sich die Beobachter in ihrer Echtzeitanalyse auf explizit geäußerte Aspekte der Prüfungsaufgaben beschränken mussten; implizit enthaltene Aspekte konnten keine Berücksichtigung finden. Außerdem muss betont werden, dass die Idee kompetenzorientierter Medizinerausbildung zwar deutlich weiter zurückreicht als nur bis zur Publikation des NKLM, dass aber dennoch der NKLM als solcher erst vor sehr kurzer Zeit veröffentlicht wurde [4], [34]. Insofern muss den Fakultäten, den Dozenten und den Prüfern Zeit gegeben werden, um die Kompetenzorientierung in den Curricula und in den Fachbereichen zu etablieren. Der NKLM hat Ziele formuliert; das Konzept des „constructive alignment“ würde nun deren Umsetzung sowohl in der Lehre als auch in den Prüfungen erfordern. Für die Zukunft der medizinischen Staatsexamina in Deutschland birgt der NKLM jedenfalls ein enormes Entwicklungspotential in Richtung auf Kompetenzorientierung im zentralen Prüfungswesen.


5. Schlussfolgerung

Zusammenfassend kann festgestellt werden, dass die vorliegende Studie eine deutliche Lücke zwischen den Kompetenzen und Lernzielen, wie sie etwa im NKLM formuliert sind, und den im mündlich-praktischen Staatsexamensteil nach dem Praktischen Jahr realiter überprüften Lernzielen aufdeckt. Die untersuchten Examensprüfungen folgten einer eher einfachen und traditionellen Linie, mit einer hohen Zahl an Fragen auf relativ niedrigem Taxonomielevel, und nur einem geringen Anteil praktischer Aufgaben. Gemäß des Paradigmas von „assessment drives learning“ muss der multidimensionale Kompetenzbegriff nicht nur in den Curricula, sondern auch in den Prüfungen eine wahrnehmbar wichtige Rolle spielen. Möglicherweise können derartige Weiterentwicklungen langfristig einen wirksamen Beitrag zu weiter verbesserter Patientenversorgung und Patientensicherheit leisten [35], [36].


Danksagung

Die Autoren bedanken sich bei Stephanie Denk für ihre Mithilfe bei den grafischen Darstellungen. Ganz besonderer Dank gilt Prof. Dr. med. Jana Jünger für ihre Beiträge zur verbesserten Konzeption des Studiendesigns, und Dr. Robert Blakytny für das fachlich kompetente Korrekturlesen der englischsprachigen Texte.


Liste der verwendeten Abkürzungen

  • ANOVA: Analysis of variance
  • CanMEDS: Canadian Medical Education Directives for Specialists
  • MME: Master of Medical Education
  • NKLM: Nationale Kompetenzbasierte Lernzielkatalog Medizin
  • OSCE: Objective-Structured Clinical Examination
  • SEM: Standard-Fehler (Standard error of the mean)

Ethikantrag

Die unabhängige Ethikkommission der Universität Ulm hat dem Vorhaben zugestimmt (17122013).


Datenverfügbarkeit

Die Daten sind in der Klinik für Unfallchirurgie, Hand , Plastische und Wiederherstellungschirurgie des Universitätsklinikums Ulm gespeichert. Ein Datensharing findet nicht statt, da die sehr umfangreichen Excel Files auch Daten inkludieren, die außerhalb des Fokus dieser Publikation liegen.


Interessenkonflikt

Die Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.


Literatur

1.
Frank JR, Danoff D. The Royal College of Physicians and Surgeons of Canada, Ottawa, Ontario, Canada. The CanMEDS initiative: implementing an outcomes-based framework of physician competencies. Med Teach. 2007;29(7):642-647. DOI: 10.1080/01421590701746983 Externer Link
2.
Oechsner W, Forster J. Approbierte Ärzte – kompetente Ärzte?: Die neue Approbationsordnung für Ärzte als Grundlage für kompetenzbasierte Curricula. GMS Z Med Ausbild. 2005;22(1):Doc04. Zugänglich unter/available from: http://www.egms.de/static/de/journals/zma/2005-22/zma000004.shtml Externer Link
3.
Van den Akker M, Dornan T, Scherpbier A, Egbrink M, Snoeckx LEasing the transition: the final year of medical education at Maastricht University. Z Evid Fortbild Qual Gesundhwes. 2012;106(2):92-97. DOI: 10.1016/j.zefq.2012.02.013 Externer Link
4.
Fischer MR, Bauer D, Mohn K. Finally finished! National Competence Based Catalogues of Learning Objectives for Undergraduate Medical Education (NKLM) and Dental Education (NKLZ) ready for trial. GMS Z Med Ausbild. 2015;32(3):Doc35. DOI: 10.3205/zma000977 Externer Link
5.
Hahn EG, Fischer MF. National Competence-Based Learning Objectives for Undergraduate Medical Education (NKLM) in Germany: Cooperation of the Association for Medical Education (GMA) and the Association of Medical Faculties in Germany (MFT). GMS Z Med Ausbild. 2009;26(3):Doc35. DOI: 10.3205/zma000627 Externer Link
6.
Davis MH, Karunathilake I. The place of the oral examination in today´s assessment systems. Med Teach. 2005;27(4):294-297. DOI: 10.1080/01421590500126437 Externer Link
7.
Wilson GM, Lever R, Harden RMcg, Robertson JI, Macritchie J. Examination of clinical examiners. Lancet. 1969;293(7584):37-40. DOI: 10.1016/S0140-6736(69)90998-2 Externer Link
8.
Epstein RM. Assessment in medical education. N Engl J Med. 2007;356(4):387-396. DOI: 10.1056/NEJMra054784 Externer Link
9.
Oechsner W, Geiler S, Huber-Lang M. Effects and sustainability of trainings for the oral and practical part of the German final exam in medicine. GMS Z Med Ausbild. 2013;30(3):Doc36. DOI: 10.3205/zma000879 Externer Link
10.
Van der Vleuten CP. Validity of final examinations in undergraduate medical training. BMJ. 2000;321(7270):1217-1219. DOI: 10.1136/bmj.321.7270.1217 Externer Link
11.
Newstead S. Examining the examiners: Why are we so bad at assessing students? Psych Learn Teach. 2002;2:70-75. DOI: 10.2304/plat.2002.2.2.70 Externer Link
12.
Jefferies A, Simmons B, Ng E, Skidmore M. Assessment of multiple physician competencies in postgraduate training: utility of the structured oral examination. Adv Health Sci Educ Theory Pract. 2011;16(5):569-577. DOI: 10.1007/s10459-011-9275-6 Externer Link
13.
Pabst R. Medical education and reform initiatives in Germany. Acad Med. 1995;70(11):1006-1011. DOI: 10.1097/00001888-199511000-00019 Externer Link
14.
Chenot JF. Undergraduate medical education in Germany. Medizinstudium in Deutschland. GMS Ger Med Sci. 2009;7:Doc02. DOI: 10.3205/000061 Externer Link
15.
Bloom B. Taxonomy of Educational Objectives, Handbook I: The Cognitive Domain. New York: David McKay; 1956.
16.
Kluge F. Etymologisches Woerterbuch der Deutschen Sprache. 25th ed. Berlin: De Gruyter; 2012. DOI: 10.1515/9783110223651 Externer Link
17.
Joughin G. Dimensions of oral assessment. Assess Eval High Educ. 1998;23:367-378. DOI: 10.1080/0260293980230404 Externer Link
18.
Wakeford R, Southgate L, Wass V. Improving oral examinations: selecting, training and monitoring examiners for the MRCGP. BMJ. 1995;311(7010):931-935. DOI: 10.1136/bmj.311.7010.931 Externer Link
19.
Shumway JM, Harden RM. AMEE Gude No. 25: The assessment of learning outcomes for the competent and reflective physician. Med Teach. 2003;25(6):569-584. DOI: 10.1080/0142159032000151907 Externer Link
20.
Stern DT, Wojtczak A, Schwarz MR. The assessment of global minimum essential requirements in medical education. Med Teach. 2003;25(6):589-595. DOI: 10.1080/0142159032000151295 Externer Link
21.
Jilg S, Moeltner A, Berberat P, Fischer MR, Breckwoldt J. How do supervising clinicians of a University Hospital and associated teaching hospitals rate the relevance of the key competencies within the CanMEDS roles framework in respect to teaching in clinical clerkships? GMS Z Med Ausbild. 2015;32(3):Doc33. DOI: 10.3205/zma000975 Externer Link
22.
Oechsner W, Geiler S, Huber-Lang M. The impact of a dedicated training program for oral examiners at a medical school in Germany: a survey among participants from operative and non-operative disciplines. Patient Saf Surg. 2013;7(1):22. DOI: 10.1186/1754-9493-7-22 Externer Link
23.
Tamblyn R, Abrahamowicz M, Dauphinee D, Wenghofer E, Jacques A, Klass D, et al. Physician scores on a national clinical skills examination as predictors of complaints to medical regulatory authorities. JAMA. 2007;298(9):993-1001. DOI: 10.1001/jama.298.9.993 Externer Link
24.
Pruskil S, Burgwinkel P, Georg W, Keil T, Kiessling C. Medical students' attitudes towards science and involvement in research activities: a comparative study with students from a reformed and a traditional curriculum. Med Teach. 2009;31(6):e254-e259. DOI: 10.1080/01421590802637925 Externer Link
25.
Huber-Lang M, Neugebauer E. The dual role of academic surgeons as clinicians and researchers - an attempt to square the circle? Patient Saf Surg. 2011;5:16. DOI: 10.1186/1754-9493-5-16 Externer Link
26.
Schickler A, Bruestle P, Biller S. The Final Oral/Practical State Examination at Freiburg Medical Faculty in 2012 – Analysis of grading to test quality assurance. GMS Z Med Ausbild. 2015;32(4):Doc39. DOI: 10.3205/zma000981 Externer Link
27.
Bland CJ, Starnaman S, Wersal L, Moorhead-Rosenberg L, Zonia S, Henry R. Curricular change in medical schools: how to succeed. Acad Med. 2000;75(6):575-594. DOI: 10.1097/00001888-200006000-00006 Externer Link
28.
Pruskil S, Deis N, Druener S, Kiessling C, Philipp S, Rockenbauch K. Implementation of "social and communicative competencies" in medical education. The importance of curriculum, organizational and human resource development. GMS Z Med Ausbild. 2015;32(5):Doc50. DOI: 10.3205/zma000992 Externer Link
29.
Steinert Y, Mann K, Centeno A, Dolmans D, Spencer J, Gelula M, Prideaux D. A systematic review of faculty development initiatives designed to improve teaching effectiveness in medical education: BEME Guide No. 8. Med Teach. 2006;28(6):497-526. DOI: 10.1080/01421590600902976 Externer Link
30.
Berendonk C, Schirlo C, Balestra G, Bonvin R, Feller S, Huber P, Jünger E, Monti M, Schanbel K, Beyeler C, Guttormsen S, Huwendiek S. The new final clinical skills examination in human medicine in Switzerland: essential steps of exam development, implementation and evaluation, and central insights from the perspective of the national Working Group. GMS Z Med Ausbild. 2015;32(4):Doc40. DOI: 10.3205/zma000982 Externer Link
31.
Guttormsen S, Beyeler C, Bonvin R, Feller S, Schirlo C, Schnabel K, Schurter T, Berendonk C. The new licensing examination for human medicine: from concept to implementation. Swiss licensing examination for human medicine. Swiss Med Wkly. 2013;43:w13897.
32.
Dwyer T, Glover Takahashi S, Kennedy Hynes M, Herold J, Wasserstein D, Nousiainen M, Ferguson P, Wadey V, Murnaghan ML, Leroux T, Semple J, Hodges B, Ogilvie-Harris D. How to assess communication, professionalism, collaboration and the other intrinsic CanMEDS roles in orthopedic residents: use of an objective structured clinical examination (OSCE). Can J Surg. 2014;57(4):230-236. DOI: 10.1503/cjs.018813 Externer Link
33.
Nguyen LN, Tardioli K, Roberts M, Watterson J. Development and incorporation of hybrid simulation OSCE into in-training examinations to assess multiple CanMEDS competencies in urologic trainees. Can Urol Assoc J. 2015;9(1-2):32-36. DOI: 10.5489/cuaj.2366 Externer Link
34.
Kadmon M, Bender MJ, Adili F, Arbab D, Heinemann MK, Hofmann HS, König S, Küper MA, Obertacke U, Rennekampff HO, Rolle U, Rücker M, Sader R, Tingart M, Tolksdorf MM, Tronnier V, Will B, Walcher F; Chirurgische Arbeitsgemeinschaft Lehre der Deutschen Gesellschaft für Chirurgie (CAL). Competency-based medical education: National Catalogue of Learning Objectives in surgery. Chirurg. 2013;84(4):277-285. DOI: 10.1007/s00104-012-2449-9 Externer Link
35.
Wormald BW, Schoeman S, Somasunderam A, Penn M. Assessment drives learning: an unavoidable truth? Anat Sci Educ. 2009;2(5):199-204. DOI: 10.1002/ase.102 Externer Link
36.
Nikendei C, Kraus B, Schrauth M, Briem S, Juenger J. Ward rounds: how prepared are future doctors? Med Teach. 2008;30(1):88-91. DOI: 10.1080/01421590701753468 Externer Link