gms | German Medical Science

Eine konzertierte Verknüpfung von Prüfungen und Lehre („constructive alignment“) ist für die Implementierung zahnmedizinischer Kompetenzen in der Ausbildung erforderlich [1].

Mit der Definition kompetenzorientierter Lernziele ist zudem verbunden, dass die entsprechenden Prüfungsformate die für eine konkrete Aufgabe erforderliche zielgerichtete Verknüpfung von Wissen, praktischen Fertigkeiten und professionellen Haltungen erfassen (siehe Abbildung 1 [Abb. 1]).

Eine Literaturrecherche wurde im Zeitraum vom 17.01.2014 bis 17.12.2014 in den Literaturdatenbanken der Deutschen Nationalbibliothek (DNB), MEDLINE mit der PubMed-Oberfläche, Excerpta Medica Database (EMBASE), Education Resource Information Centre (ERIC), Cochrane Library, Science Citation Index, Google Scholar durchgeführt und durch eine Handrecherche ergänzt. Es wurden außerdem verfügbare Dissertationen, Open-Access-Publikationen der German Medical Science (GMS), der BEME (Best Evidence Medical and Health Professional Education) inklusive deutschsprachiger Tagungsberichte (conference proceedings) beispielsweise der AKWLZ und der GMA evaluiert. Die Suchwörter lauteten jeweils „MCQ“; „MEQ“; „Multiple Choice“; „MC“; „Multiple Choice Questionnaire“; „SMP“; „Strukturierte Mündliche Prüfung“; „SOE“; „Structured oral examination“; „Key feature“; „OSCE“; „OSPE“; „standardized patient“; „CEX“; „miniCEX“; „entrustable professional activities“; „DOPS“; „Portfollio“, „multisource feedback“ in der Kombination mit „AND“ und „dental“; „medicine“; „education“; „assessment“.

In einem ersten Schritt wurde die Literatur anhand des Titels und des Abstracts gemäß vorher definierter Ein- und Ausschusskriterien selektiert (Einschlusskriterien Publikationszeitraum 1966 bis 2013, Publikationssprache deutsch oder englisch, thematische Relevanz. Ausschlusskriterien: Nicht-Erfüllung der Einschlusskriterien, kein Volltext in Englisch oder Deutsch erhältlich, fehlende thematische Relevanz für die Fragestellung). Anschließend wurden die verbliebenen Publikationen hinsichtlich ihrer Relevanz für die vorliegende Thematik geprüft und gegebenenfalls ausgeschlossen.

Die Artikel wurden analysiert und die Ergebnisse anlehnend am sogenannten Nutzwertindex von Prüfungen [2] in Kategorien zusammengefasst beschrieben. Hierzu gehörten die Parameter der Validität/Gültigkeit (V), der Reliabilität/Zuverlässigkeit (R), der Akzeptanz (A), der Kosten (C), der Durchführbarkeit (F) und der Einfluss auf Lernen und Lehren (EI). Anschließend wurden die Ergebnisse in Form der oben genannten Bewertungsparameter zusammengefasst. Diese Kriterien wurden 2011 von der Arbeitsgruppe von Norcini weiterentwickelt und die Parameter „Äquivalenz“ (beispielsweise hinsichtlich Prüfungen an unterschiedlichen Standorten) und „Katalytischer Effekt“ (beispielsweise hinsichtlich Folgeeffekte bezogen auf die Fakultät) hinzugefügt [3]. In dem vorliegenden Review wurden die beiden Letztgenannten fakultativ den bereits recherchierten Ergebnissen in Textform hinzugefügt. Der Schwerpunkt der Auswertung erfolgte anhand der weiter oben genannten sechs Kriterien (V, R, A, C, F, EI) in einem tabellarischen Format, um eine effektive Übersichtlichkeit und Vergleichbarkeit zu gewährleisten.

Insgesamt wurden n=223 Publikationen mithilfe der oben beschriebenen Suchstrategie identifiziert und als Grundlage für die folgenden Analysen herangezogen.

Um theoretisches Faktenwissen (d.h. deskriptives Wissen der Kompetenzebene 1) zu prüfen, bieten sich die Prüfungsformate der strukturierten mündlichen Prüfung und des Multiple Choice Questionnaire an [4], [5], [6], [7]. Beim Mehrfachantwortauswahlverfahren MCQ handelt es sich um ein schriftliches Verfahren mit mehreren vorgegebenen Antwortmöglichkeiten (geschlossene Fragen), von denen eine (single choice) oder mehrere (multiple choice, multiple select) richtig sein können. Nach kurzem Fragen-Itemstamm (Einleitung/Fragestellung) folgen Antwortmöglichkeiten bestehend aus der/den richtige/n Antwort/en und Distraktoren (falsche Antwortmöglichkeiten). MC-Klausuren können sowohl rein papierbasiert, kombiniert analog-digital mit computergestützter Auswertung der ausgefüllten Bögen oder aber auch vollständig digital an Computerarbeitsplätzen durchgeführt werden [4].

Anwendung in der Human-/Zahnmedizin

• MCQs finden aktuell in den Studiengängen der Zahn- und Humanmedizin Anwendung [6], [8].
• die wichtigsten Abschluss- und Zwischenprüfungen (Naturwissenschaftliche Vorprüfung/NVP, Zahnärztliche Vorprüfung/ZVP, Zahnärztliche Prüfung/ZP, 1. Ärztliche Prüfung/ÄP und 2. Ärztliche Prüfung/ÄP) bestehen u.a. aus MCQ. Weiterhin sind insbesondere MCQ in allen vorklinischen und klinischen Fächern beider Studiengänge vertreten, sie stellen eines der „klassischen“, vorherrschenden Prüfungsformate dar [4], [8].

Zur Prüfung von Faktenwissen bieten MCQ ein kosteneffizientes Prüfungsformat mit hoher Reliabilität und Validität, insofern die eingesetzten Fragen den Gütekriterien entsprechen. Es ist mit MCQ möglich, objektiv viele Inhalte in kurzer Zeit zu prüfen. Das Lernen oberflächlicher Fakten jedoch kann gefördert werden.

Validität/Gültigkeit

• als hoch einzustufen [9].
• Die Gütekriterien für Fragen müssen für eine ausreichende Validität erfüllt sein [10].
• Unterliegen die Fragen einem Reviewprozessen (z.B via Item Management System, IMS), sichert dies eine hohe Konstruktvalidität [11].

Reliabilität

• als hoch einzustufen [9], [11].
• Ein Cronbachs α von 0,8 ist mit mindestens 40 hochwertigen Fragen zu erreichen [6].

Akzeptanz

• Die Auswertung ist objektiv [4].
• MCQ werden dann als fair empfunden, wenn Gelehrtes und Geprüftes sich entsprechen [12].
• Die Möglichkeit „taktisch“ zu kreuzen oder durch Raten bzw. Cues („Hinweise in der Aufgabe“) zu bestehen, wird von Lehrenden kritisch gesehen [13], [14], [15], [16]

Kosten

• Gemessen an der Anzahl der Prüfungen pro Zeit, eine effektive Prüfungsform [9], [17].
• Prüfen von breit gefächerten Inhalten in einer Prüfung [5].
• Verhältnismäßig geringe Kosten [18].
• Guter Kosten-Nutzen-Index .
• Ein bereits erstellter Fragenpool kann mit verhältnismäßig geringem Aufwand aktuell gehalten werden [19].

Durchführbarkeit

• Der Arbeitsaufwand wird in die Erstellungsphase verlagert, Durchführung und Auswertung verlangen weniger Zeit und Ressourcen.
• Das Generieren des Fragenpools ist mit nicht unerheblichem Aufwand verbunden [4].
• Online Prüfung mit digitaler Auswertung möglich [5].
• Ein fakultätsübergreifender Fragenpool steigert die Effizienz durch Synergien (z.B. IMS) [20]).

Einfluss auf Lernen und Lehren

• Kann zu oberflächlichem Lernen führen [21].
• Theoretischer Kenntnisstand ist wichtiger, als praktische Fertigkeiten [4].
• Die korrekten Antworten werden bereits vorgeschlagen, passives Wiedererkennen ist dadurch möglich [14].

Die strukturierten mündliche Prüfungen (SMP, Structured Oral Examinations, SOE) sind mündliche Fachprüfungen, die durch einzelne Fachprüferinnen bzw. Fachprüfer oder als Kollegialprüfung vor einer Kommission (mehrere Prüferinnen und Prüfern / Kollegium) abgelegt werden.

Validität/Gültigkeit

• direkt abhängig vom Grad der Strukturierung [22].
• steigt mit Planung, Konzeption und Bedingungen der Prüfung [23], [24].
• Validität mehr von den Anwendern (Prüfer), als von der Methode abhängig.

Reliabilität

• steigt mit Anzahl der Fragen, der Dauer der Prüfung und sinkt mit stark differenzierender Bewertung [10].
• Reliabilität und Objektivität steigen bei einer Kollegialprüfung = mehrere Prüfer [10], [17].
• Absolute Überprüfung der Reliabilität praktisch nicht möglich [10].
• Strukturierte mündliche Prüfungen liegen mit einem Cronbachs α von 0,65 – 0,88 [25], [26], [27] über konventionellen Prüfungen mit einem Cronbachs α von 0,24 – 0,50 [25], [28], [29].

Akzeptanz

• Leistungshemmender Stress, Angst und andere Störfaktoren spielen eine, verglichen mit MCQ, größere Rolle [12].
• die Akzeptanz von Lehrenden und Lernenden wird reduziert durch:
• Intensive Betreuung durch Prüfer,
• die Begründung von Noten
• begrenzte Hinweise in begrenzter Zeit
• Fragen, eventueller Einspruch des Prüflings ohne vorliegende schriftliche Prüfung, die Differenzierung zwischen Inhalt und Art der Antwort sind u.a. dazu geeignet [12].

Kosten

• Kostenintensiver als MCQ [10]
• Relativiert sich bei high-stakes Prüfungen: hier stehen Reliabilität und Validität im Vordergrund, nicht die Kosteneffizienz [30], [31].

Durchführbarkeit

• Aufwändiger als MCQ, hohe finanzielle Belastung bedingt durch Personal- und Raumbedarf/Logistik [10].

Einfluss auf Lernen und Lehren

• Neben reinen Fakten können auch klinische Entscheidungsfindung, professionelles Denken, Selbstvertrauen und Selbstbewusstsein bewertet werden [12], [22].
• Da Studierende ihr Lernverhalten an die Prüfung anpassen [4], [5], [18] ist von einer umfassenderen Vorbereitung auszugehen.

Findet eine Kollegialprüfung statt, wird gemeinsam über die Bewertung der Leistung beraten und abgestimmt. Die abschließende Bewertung erfolgt idealerweise unter Anwendung eines inhaltlichen Blueprints (Erwartungshorizont) [7].

SMP sind ein Prüfungsformat, das die Abfrage auf Kompetenzniveau 1 (entsprechend NKLZ) und darüber hinaus im natürlichen Umfeld zahnärztlicher Interaktion ermöglicht. Hier sind jedoch die höhere finanzielle Belastung, bedingt durch hohen zeitlichen und personellen Aufwand, sowie die Beobachtungsmöglichkeit leistungshemmenden Stresses bei KandidatInnen zu beachten.

Anwendung in der Human-/Zahnmedizin

• mündliche Prüfungen unterschiedlichen Strukturierungsgrads finden in den Studiengängen der Zahn- und Humanmedizin Anwendung [8].
• die wichtigsten Abschluss- und Zwischenprüfungen (high-stakes Prüfungen) in beiden Studiengängen (NVP, ZVP, ZP, 1. ÄP und 2. ÄP) bestehen u.a. SMP unterschiedlicher Settings. Weiterhin sind SMP in allen vorklinischen und klinischen Fächern beider Studiengänge vertreten, sie stellen eines der „klassischen“, vorherrschenden Prüfungsformate dar [4], [32].

Prüfungen, die nicht nur reines Faktenwissen (= deskriptives Wissen: „knows“, [33], [34]), sondern auch die Fähigkeit, theoretisches Wissen in einem spezifischen Kontext zur Lösung eines Problems bzw. zur klinischen Entscheidungsfindung einzusetzen (= prozedurales Wissen/Handlungs- und Begründungswissen: „knows how“), erfassen sollen, erfordern ein besonderes Prüfungsformat, das diese Fähigkeit auch tatsächlich abbilden kann. Hierbei ist grundsätzlich zu beachten, dass die Fähigkeit zur Problemlösung bzw. Entscheidungsfindung sehr kontextspezifisch ist und immer auch vom jeweiligen kontextbezogenen Faktenwissen abhängt [2], [35]. Als Prüfungsformate zur Erfassung von Handlungs- und Begründungswissen kommen neben strukturierten mündlichen Prüfungen schriftliche Prüfungen im Modified-Essay-Question (MEQ)- oder Key-Feature (KF)-Format in Frage. Dabei handelt es sich um fallbasierte schriftliche Prüfungen, welche sowohl aktiv reproduzierbares Wissen als auch Problemlösungs- bzw. Entscheidungskompetenz überprüfen soll und die klinische Situation eines Entscheidungsprozesses im Zusammenhang mit Untersuchung, Diagnose und Therapie simuliert. Hierbei wird eine Patientengeschichte erarbeitet, indem auf kurze, aufeinander aufbauende Situationsbeschreibungen jeweils einige wenige (2-3) kurze Fragen folgen, die durch Freitexteingabe bzw. Auswahlmöglichkeit unter mehreren vorgegebenen Antworten beantwortet werden müssen. Vorstehende Fragen werden zum Teil durch den nachfolgenden Text erklärt, weshalb ein Vor- und Zurückblättern nicht erlaubt ist.

Anwendung in der Human-/Zahnmedizin

• in den 70er Jahren für die allgemeinärztliche Facharztprüfung des „Royal College of General Practitioners“ in Großbritannien entwickelt [36], [37], [38], [39], [40], [41].
• im Bereich der Humanmedizin sowohl im Studium als auch in der postgradualen Weiterbildung weltweit verbreitet [42], [43], [44], [45], [46], [47], [48], [49], [50].
• in Deutschland im Medizinstudium neben der Anwendung als studienbegleitendes Prüfungsformat auch im Einsatz als schriftliche, das Staatsexamen ersetzende Prüfung [51], [52] innerhalb von Reformstudiengängen (u.a. Witten/Herdecke, Köln, Bochum).
• in der Zahnmedizin bisher kaum Anwendungsbeispiele; mögliche Einsatzgebiete im Zahnmedizinstudium: Überprüfung der Problemlösungs-Kompetenz im Rahmen von POL und Selbststudium im Rahmen fallbasierten problemorientierten Lernens [53], handlungsorientiertes fallbasiertes Prüfen mit virtuellen Patientenfällen (z.B. im Zusammenhang mit dem Vorgehen bei akutem Zahnschmerz in der Endodontie) [54]

Bei Beachtung einiger Grundsätze (1. möglichst große Zahl von Fällen, 2. beim sogenannten WI-(Write-In)-Format: Qualitätskontrolle des vorgegebenen Lösungshorizontes durch mehrere BewerterInnen, 3. computerbasiertes SM (Short Menu)- oder Long-Menu-Antwortformat) stellt das MEQ-Prüfungsformat ein reliables Instrument zur Bewertung von kontextbezogenem, prozeduralem Wissen in klinischen Entscheidungssituationen dar, wobei durch die Simulation des klinischen Entscheidungsprozesses mit aufeinander aufbauenden Fragen schon während der Prüfung ein Lern- und Feedbackeffekt eintritt. Das MEQ-Format stellt somit eine sinnvolle Erweiterung der bisher in der Zahnmedizin üblichen schriftlichen Prüfungsformate dar, ist allerdings mit deutlich höherem Aufwand verbunden als die Abfrage reinen Faktenwissens mittels MCQ.

Validität/Gültigkeit

• Durch fallbasiertes, kontextreiches Fragenformat höhere Validität als bei MCQ-Format [48], [55], [56]
• Widersprüchliche Ergebnisse zur Korrelation (γ) von MEQ mit Ergebnis der Abschlussprüfung (NBME) bzw. postgradualer Performance im 1. Berufsjahr als Arzt: γ=0,3/0,03-0,26 [57], γ=0,51 [56]

Reliabilität

• Reliabilität (Cronbachs α) =0,57-0,91 [38], abhängig von mehreren Einflussfaktoren [38], [39], [40], [47], [48], [58], [59]:
• Qualität des vorgegebenen Lösungshorizontes
• Antwortformat (Freitextantwort schlechter als Auswahl aus vorgegebener Liste)
• Anzahl von Fällen und Fragen
• Anzahl der Bewerter
• → z.B.Steigerung von Cronbachs α von 0,7 auf 0,8 durch Erhöhung der Fragenanzahl von 7 auf 12 oder Erhöhung der Bewerterzahl von 1 auf 4 [40]

Akzeptanz

• Studierende bewerten MEQ i.d.R. positiv [49], [51], da Fragenformat des MEQ näher an der Praxis als ein MCQ-Test [60]
• Lehrende/Prüfende: Hoher Aufwand bei Prüfungserstellung , Schwierigkeit der Koordination [51]

Kosten

• Erstellung und Korrektur der MEQ-Prüfung sehr zeit- und personalintensiv [36], [41], [51]
• Aufwand bei der Bewertung kann durch computerbasiertes Testformat verringert werden [61]

Durchführbarkeit

• Erstellung von MEQs deutlich anspruchsvoller als bei MCQs; Schwierigkeit, Fragen zu entwickeln, mit denen tatsächlich Problemlösungsfähigkeit bzw. klinische Entscheidungskompetenz erfasst und nicht nur Faktenwissen abgefragt wird [37], [41], [42], [43], [44], [45], [46], [50], [52], [53], [54], [62]

Einfluss auf Lernen und Lehren

• MEQ-Prüfung spielt klinischen Entscheidungsprozess durch, deswegen bereits in der Prüfung Feedback- und Lerneffekt [39], [51], [60]

Bei der Key-feature-Prüfung wird vor dem Hintergrund einer spezifischen klinischen Situation ein Fall entwickelt, in dessen Kontext mehrere Fragen gestellt werden, die sich ganz gezielt nur auf solche kritischen Aktionen oder Entscheidungen (= „Key-Features“) beziehen, die zur Lösung des klinischen Problems in der dargestellten Schlüsselsituation (= „Key Feature-Problem“) entscheidend sind, bzw. häufig falsch gemacht werden [34], [63]. Die Entwicklung eines KF-Falles erfolgt in 8 definierten Schritten [34], [64], [65]:

1.

Festlegung der Domäne bzw. des Kontextes,

2.

Auswahl einer klinischen Problemsituation (Rahmenbedingung),

3.

Identifikation der kritischen Entscheidungen in dieser Situation (KFs des Problems),

4.

Auswahl und Beschreibung des klinischen Szenarios (Fallvignette),

5.

Schreiben der Fragen zu den Key-Features des Problems (1-3 Fragen pro KF),

6.

Festlegung des Antwortformates (Freitext = Write-In, Auswahl = Short Menu oder Long Menu),

7.

Erstellung des Bewertungsschlüssels und

8.

Inhaltsvalidierung.

Anwendung in der Human-/Zahnmedizin

• KF-Prüfungsformat von Bordage und Page als Ersatz für bis dahin übliche schriftliche Überprüfung prozeduralen Wissens mittels Patienten-Management-Problems (PMP) für den Einsatz in Facharztprüfung entwickelt [64], [65].
• durch Hatala & Norman [66] Transfer in die studentische Ausbildung, seitdem im Bereich der Humanmedizin als schriftliches Prüfungsformat zur Bewertung von kontextbezogenem prozeduralem Wissen sowohl im Studium als auch in der postgradualen Weiterbildung weltweit verbreitet [67], [68].
• auch im deutschsprachigen Raum anerkanntes Prüfungsformat im Bereich der Humanmedizin (siehe u.a. ausführliche Anleitungen der Medizinischen Universitäten Bern & Graz zur Planung und Durchführung von Prüfungen [34], [60], [69].
• Studien und Erfahrungsberichte zum Einsatz des KF-Formates bei schriftlicher Leistungsüberprüfung im Medizinstudium in Deutschland u.a. für die Bereiche: Innere Medizin (Uni Freiburg/ Heidelberg/München [70], Uni Heidelberg/Tübingen [71], Hämatologie & Onkologie (Uni Düsseldorf [72], Kommunikationstraining (Uni Witten-Herdecke [73]).
• im Bereich Tiermedizin umfangreiches Pilotprojekt an der TiHo Hannover [74].
• nur vereinzelte Hinweise auf Einsatz von KF-Problemen als schriftliches Prüfungsformat im Rahmen des Zahnmedizinstudiums [75], [76].

Key-Feature-Prüfungen sind ein valides und reliables Instrument zur Bewertung von kontextbezogenem prozeduralem Wissen in Zusammenhang mit der Lösung eines klinischen Problems und stellen eine sinnvolle Erweiterung der bisher in der Zahnmedizin üblichen schriftlichen Prüfungsformate dar. KFs können darüber hinaus auch zum Selbststudium mit virtuellen Patientenfällen eingesetzt werden. Aus Praktikabilitätsgründen ist die computerbasierte Form im Long-Menu-Antwortformat der papierbasierten Prüfungsform vorzuziehen. Hiermit ist außerdem das Unterbinden des Vor- und Zurückblätterns leichter zu realisieren. Zur Steigerung der Reliabilität sind viele kurze KF-Fälle (mindestens 15) mit maximal 3 Fragen besser als wenige umfangreiche Fälle mit 4 oder mehr Fragen.

Validität/Gültigkeit

• Hohe Inhaltsvalidität (92-94%) bei Beurteilung durch Lehrende / Prüfende [63], [65], [67].
• Voraussetzung für hohe Inhaltsvalidität ist Pilottestung & regelmäßiges Review der KF’s durch Studierende, Lehrende/Prüfer [34], [63], [65].
• Bei geplantem LM-Antwortformat empfiehlt sich für Pilotphase das WI-Format, um Qualität des LMs zu verbessern (Ergänzen fehlender Antworten & Distraktoren) [34]
• Korrelation von KF-Testergebnissen und anderen Prüfungsergebnissen (z.B. MCQ) nur mittelmäßig (ᴦ=0,35-0,54, [66], [70]), was durch den Bezug auf unterschiedliche Kompetenzebenen erklärt werden kann.

Reliabilität

• Reliabilität des KF-Formates höher als beim PMP-Format [65]
• Wegen hoher Fallspezifität [48] ist Reliabilität unmittelbar von Anzahl der KF-Probleme (=Fälle) abhängig → Anzahl der KF-Probleme (=Fälle) sollte möglichst hoch, Anzahl der Fragen zu Einzelfall sollte 3 Items nicht überschreiten, da ab 4 Items Reliabilität abnimmt [77].
• Bei gleicher Anzahl von KF-Fällen scheint auch gewähltes Antwortformat Einfluss auf Reliabilität zu haben:
• 15 KF-Probleme mit 1 – 4 Fragen, 2h Dauer, WI-Format: Cronbachs α=0,49 [66]
• 15 KF-Probleme mit 3 – 5 Fragen, 1,5h Dauer, computerbasiertes LM-Format: Cronbachs α=0,65 [70] → mit 25 KF’s ist α=0,75 erreichbar!

Akzeptanz

• Studierende: relativ hohe Akzeptanz [74], [78]: Bewertung als realitätsnah und die praktische Ausbildung unterstützend.

Kosten

• Erstellung und Validierung der KF-Prüfung zeit- und personalintensiv [67]

Durchführbarkeit

• Erstellung von KFs schwieriger und zeitintensiver als MCQs [60], [69].
• Benötigte Prüfungszeit abhängig vom gewählten Antwortformat: LM >WI >SM >MC [79]
• Durch computerbasierte Umsetzung können Vorteile des LM-Antwortformates (geringerer Cueing-Effekt als MCQ/ SM, höhere Interrater-Reliabilität als WI) bei überschaubarer Prüfungszeit genutzt werden [70], [72], [79].
• Prüfungszeit für 15 KF-Probleme mit 3 - 5 Fragen beträgt bei computerbasiertem Test 90 Min. [70] und bei papierbasiertem Test mit WI-Antwortformat 120 Min. [66].
• Anwendungsbeispiele [68], [71], [75], [76], [80]

Einfluss auf Lernen und Lehren

• KF-Prüfungsformat ist näher an realer Patientensituation, fördert das Lernen klinisch relevanter Sachverhalte und das handlungsorientierte fallbasierte Lernen [81]

Während der zahnmedizinischen Ausbildungen wird nicht nur theoretisches Wissen auf hohem Niveau vermittelt, sondern Studierende müssen auch manuelle Fertigkeiten entwickeln. Es bedarf daher geeigneter Prüfungsformate, die nicht nur Fakten- und Handlungswissen erfassen, sondern bei denen Studierende ihre praktische Kompetenzen zeigen können („shows how“, [33]) und diese objektiv bewertet werden. Das reine „Wissen wie etwas geht“, wird hier auf die Stufe „zeigen wie etwas geht“ gehoben.

Bei der Erstellung solcher Prüfungen sollte im Vorfeld eine Selektion der Lernziele erfolgen und nur diese ausgewählt werden, die eine praktische Kompetenzebene aufweisen. Eine Standardisierung seitens Prüfer und Prüfung erlaubt eine objektive Beurteilung der gezeigten Leistungen der Studierenden. Als Prüfungsformate bieten sich hierbei Objective Structured Clinical Examinations (OSCE), Objective Structured Practical Examinations (OSPE) und der Einsatz von Simulations- bzw. standardisierten Patienten (SP) an.

Zur Überprüfung praktischer Fertigkeiten und kommunikativer Kompetenzen eignet sich eine OSCE [14]. Die Studierenden durchlaufen verschiedene Stationen, bei denen jeweils praktische Tätigkeiten (auch Teilabschnitte einer Behandlung) oder Patientengespräche durchgeführt werden. Die Beurteilung erfolgt mithilfe einer Checkliste, die von einem Expertengremium nach Wichtung der Prüfungsinhalte erstellt wurde. Die reine Prüfungszeit pro Station beträgt ca. 5 Minuten, zum Stationswechsel (Prüfling) und zur Nachbereitung und/oder Feedback (Prüfer) sollten ca. 2 Minuten eingeplant werden.

Anwendung in der Human-/Zahnmedizin

• in der Medizin seit Einführung der OSCE weltweit in allen klinischen Fächern verbreitet.
• sowohl in der Graduierten- als auch Postgraduiertenausbildung einsetzbar [82], [83], [84], [85].
• in der Zahnmedizin finden sich in vielen Disziplinen Anwendungsbeispiele: Vorklinik [86], [87], [88], Kieferorthopädie [89], [90], Mund-Kiefer-Gesichtschirurgie [91], [92], [93], Zahnerhaltungskunde [87], [94], [95], [96], Parodontologie [97], klinische Prothetik [86], Kinderzahnheilkunde [98], Radiologie [99], Mikrobiologie [94], [97].
• interdisziplinäre OSCE [87], [94], [100], [101].
• Integration einer OSCE in das zahnmedizinische Physikum [102][.
• zur Evaluierung von kommunikativen Fertigkeiten [103], [104], Problemlösungsfähigkeit, kritischem Denken [105] auch in der Zahnmedizin angewandt.
• Sollte nach Möglichkeit in Zusammenhang mit Feedback durchgeführt werden.

Zur Überprüfung praktischer Einzelkompetenzen steht mit der OSCE eine reliable und valide Prüfungsmethode zur Verfügung, die sich bei Studierenden und Lehrenden einer hohe Akzeptanz erfreut.

Validität/Gültigkeit

• Prädiktive Validität
• signifikante Korrelation zwischen OSCE und Abschneiden bei praktischen Tests sowie praktischen Physikumsergebnissen p<0,01 [87]
• keine Korrelation zwischen OSCE und MCQ [105]
• Hohe Inhalts- und Konstruktvalidität [4], [106]
• hohe Augenscheinvalidität [107]
• akzeptable Vorhersagevalidität [108]
• Cave bei Sprachproblemen der Studierenden und hohem Stresslevel [109][
• Blueprinting beachten [106], [110]
• Festlegung der Problemfelder am Anfang beachten [110]
• Definition von Aufgaben innerhalb der Problemfelder [110]

Reliabilität

• Cronbachs α zwischen 0,11–0,97 [4]
• Hohe Reliabilität innerhalb der OSCEs, bei weniger als n=10 Stationen ca. 0,56, bei mehr als n=10 Stationen 0,74 [111]
• Unterschiedliche Empfehlungen zu Stationenanzahl:
• mindestens 19 [4]
• 14-18 für jeweils 5-10 Minuten [106], [112]
• Stationen mit SP mindestens 15 Minuten lang prüfen [110]
• Je mehr Prüfer desto höhere Werte
• [111], [113] Bewertungsmodus ausschlaggebend: Hohe Werte bei globalen Bewertungen, auch Kombi aus globalen Bewertungen und Checkliste gut, nur Checkliste am wenigsten geeignet),
• Post-OSCE-Tests erhöhen die Reliabiltät [110]

Akzeptanz

• Studierende: hohe Akzeptanz, geeignete Prüfungsform für operative Fertigkeiten [96]
• Lehrende / Prüfende: Hohe Akzeptanz [112], [114], [115], [116]

Kosten

• 181 €/Prüfling
• 86-130 € /Prüfling [4], [117]
• 2,5 h/Prüfling [118]
• 15-200 Dollar/Prüfling [117], [119], [120]
• Höhere Kosten bei Einbindung von SP [121]
• 21-200 $ pro Prüfling [122]

Durchführbarkeit

• Zeitintensive und ressourcenintensive Prüfungsform [106], [119]
• Gute Vorplanung nötig:
• gemeinsame Strukturen aufbauen hilft bei interdisziplinären OSCEs [100]
• Evaluation durch externe Prüfer empfohlen
• Qualität von SPs sicherstellen
• Stationsinhalt sollte passend zum OSCE-Szenario gewählt werden
• Peer-review prä- und post OSCE (Psychometrische Analyse mit Schwierigkeit, Trennschärfe etc. empfohlen)
• Erfahrung des Prüfers, Fachrichtung, Geschlecht und Ermüdung der Prüfer zu beachten [4], [106], [112]
• Anwendungsbeispiele [95], [102]

Einfluss auf Lernen und Lehren

• Positiver Einfluss aufs Lernen [106], [108], [123]
• stimuliert das Lernen [112]
• Stationslernen hat wenig mit Realität am Patienten zu tun [112]
• Feedback einplanen [110]

Aufgrund der zeit- und ressourcenintensiven Vorbereitung und Durchführung, empfiehlt sich eine fächerübergreifende Zusammenarbeit, um diese Nachteile zu minimieren. OSCEs können bisherige Prüfungsformen substituieren oder sinnvoll ergänzen. Eine ausreichende Anzahl der Stationen (n>10), ein Blueprinting, ein Peer-review der Stationsinhalte und des Bewertungskataloges sowie eine Balancierung der Bewertungsmodi (global, Checkliste, Kombination), die Schulung der Prüfer und ggf. die Durchführung eines Pilot-OSCE sollten bei der Erstellung einer OSCE berücksichtigt werden. Eine Spezialform der OSCE stellen sogenannte „objektive strukturierte praktische Prüfungen“ (auch OSPE genannt) dar, bei denen praktische Fertigkeiten, Wissen und/oder Interpretation von Daten in nicht-klinischer Situation erfolgt [124]. Diese können in Laboren oder an den Simulationsplätzen im SimLab durchgeführt werden. Im Unterschied zum OSCE können im Rahmen einer OSPE ganze Arbeitsprozesse bis hin zu einem „Endprodukt“ (bspw. Füllung) geprüft werden.

Mit dem OSPE kann man praktische Fertigkeiten und/oder die Interpretation klinischer Daten sicher überprüfen. Es handelt sich dabei um eine reliable und valide Prüfungsmethode zur Überprüfung praktischer Einzelkompetenzen, die sich bei Studierenden und Lehrenden einer hohen Akzeptanz erfreut.

Validität/Gültigkeit

• Hohe Validität γ>7
• hohe Konstruktvalidität

Reliabilität

• Hohe Reliabilität innerhalb der Stationen Cronbachs α 0,8 [125]
• Interrater Reliabilität ICC>0,7
• hohe Interrater Reliabilität bei gleichem Erfahrungs- und Wissenstand der Prüfer γ=0,79 bis 0,93; p<0,001

Akzeptanz

• Studierende: Hohe Akzeptanz [126], [127]
• wird als „faire Prüfung“ empfunden [128]
• wird traditionellen Prüfungsformen vorgezogen [126]
• Lehrende: relevante, faire, objektive und reliable Prüfungsform

Kosten

• keine Angaben

Durchführbarkeit

• erfordert intensive Planung und Teamarbeit [128]

Einfluss auf Lernen und Lehren

• individuelle Kompetenzen können überprüft werden, Fakten- und Handlungswissen praktisch demonstrieren zu müssen beeinflusst das Lernverhalten [128]
• zeigt Stärken und Schwächen praktischer Fertigkeiten auf [129]
• Lernstimulus [129]
• positive Lernerfahrung [130]

Ein definierter Bewertungskatalog zu den Einzelschritten innerhalb des Arbeitsprozesses ist notwendig.

Anwendung in der Human-/Zahnmedizin

• OSPE’s werden in Medizin, bspw. Pharmakologie [128], Physiologie , Forensische Medizin [130] und Zahnmedizin [131], [132] weltweit durchgeführt.
• In Deutschland primär in der präklinischen zahnmedizinischen Ausbildung eingesetzt [133].

Simulationspatienten sind für die zahnmedizinische Ausbildung gezielt geschulte (Laien-) Schauspieler, die Krankheitsbilder oder typische Gesprächsanlässe des zahn-/medizinischen Alltags (auch standardisiert) darstellen können. Einsatzgebiete reichen von der Übung oder Prüfung beispielsweise von Arzt-Patienten-Gesprächen, Untersuchungstechniken, bis hin zum Training der körperlichen Untersuchung, zum Erlernen kommunikativer Kompetenzen beispielsweise auch im Rahmen von Prüfungen (häufig im OSCE-Szenario).

Simulationspatienten können zur Prüfung von Zahnarzt-Patienten-Gesprächen und von Untersuchungstechniken eingesetzt werden. Zur Evaluation klinischer und kommunikativer Kompetenzen vor allem im Rahmen des OSCEs sind sie besonders geeignet. Dabei sollte die Komplexität des Falles auf das Prüfungsszenario abgestimmt sein.

Validität/Gültigkeit

• Zur Evaluation klinischer Kompetenzen [134]

Reliabilität

• Konsistente Prüfung
• (keine signifikanten Unterschiede zwischen Prüfungsgruppen und -zeitpunkten) [135]

Akzeptanz

• Einsatz von Simulationspatienten im Rahmen einer OSCE –Station [136]

Kosten

• 10-18 €/Prüfling [136]

Durchführbarkeit

• Komplexität der Fälle kann kontrolliert und dem Ausbildungsstand angepasst werden [137]
• Fakultätsmitglieder können relevante Lernziele bestimmen und das Rollendesign darauf abstimmen
• hoher Zeit- und Personalaufwand für SP-Selektion, Ausbildung und Monitoring für Qualitätsmanagment [137]
• Checkliste, in die alle Beobachtungen des Arzt-Patienten-Gesprächs vom SP eingetragen werden [138]
• Anwendungsbeispiele [139]

Einfluss auf Lernen und Lehren

• Steigerung der klinischen Fertigkeiten der Studierenden [140]

Anwendung in der Human-/Zahnmedizin

• Bereits seit den 1960er Jahren eingesetzte Methode in der klinischen Ausbildung [138].
• Patientenkontakt unter standardisierten Bedingungen simulierbar [139].
• SP können neben ihrer Rolle als Patient auch Feedback geben oder die Kompetenzen des Prüflings einschätzen [139].

Unter dem Oberbegriff Arbeitsplatzbasiertes Prüfen (AbA = Arbeitsplatzbasiertes Assessment) werden unterschiedlichste Prüfungsszenarien zu praktischen Kompetenzen am Patienten in komplexen Situationen zusammengefasst.

Beim Clinical Evaluation Exercise (CEX) handelt es sich um eine arbeitsplatzbasierte Prüfung im klinischen Behandlungsumfeld, die sich über einen längeren Zeitraum erstreckt (mehrere Stunden bis Tage) und Behandlungsabläufe, bei welchen in der Regel ein einziger Patient unter Praxisbedingungen zum Beispiel hinsichtlich Anamneseerhebung und Untersuchung bewertet wird. Zum Einsatz kommen maximal zwei Prüfer, die in der Regel nicht die gesamte Zeit am Patienten vor Ort anwesend sind. Häufig werden die vom Prüfling ermittelten Daten mit dem Patienten somit ohne die Anwesenheit des Prüfers erhoben. Diese Prüfungsform wird auch tCEX (traditional CEX) genannt und stellt eine sogenannte single event measure dar.

Anwendung in der Human-/Zahnmedizin

• in 60er Jahren ursprünglich von der ABIM (American Board of Internal Medicine) für Internisten entwickelt und löste im Jahr 1972 die mündliche Prüfung als Standardmethode ab [141], [142].
• seit ca. 1995 durch Mini-CEX ersetzt [143], [144].
• in der Zahnmedizin bisher keine dokumentierten Anwendungsbeispiele in der Fachliteratur.

Es handelt sich somit um ein gering valides und gering reliables Instrument zur Bewertung der praktischen Kompetenz in komplexen Situationen. Optimierungsmöglichkeiten bestehen darin, dass 1. eine möglichst große Anzahl von Patienten (Fällen), 2. eine möglichst große Anzahl von Prüfern und 3. möglichst strukturierte Evaluationsinstrumente zum Einsatz kommen. Zudem sollte bei dieser Prüfungsform ein Feedback obligat erfolgen. Insgesamt kann man festhalten, dass das CEX-Format nur unter Nutzung der möglichen Optimierungsvarianten ein sinnvolles Prüfungsformat für die Abbildung von praktischen Kompetenzen in komplexen Situationen in der zahnmedizinischen Ausbildung darstellt.

Validität/Gültigkeit

• unzureichende Inhaltsvalidität, deckt Lernziele im Curriculum unvollständig ab [145]
• künstliche Situation, entspricht nicht der Realität unter Praxisbedingungen, da zu lange und ausführlich [144]

Reliabilität

• fragliche Zuverlässigkeit, da infolge des hohen Zeitbedarfs in der Regel nur wenige CEX durchgeführt werden können [146]
• geringe Interrater-Reliabiltät [147]
• Cronbachs α bei einem Fall 0.24 und auch bei zwei Fällen lediglich 0,39 [141]

Akzeptanz

• Geringe Akzeptanz, da stark abhängig vom Prüfer [148]

Kosten

• Günstiger als OSCE, weil echte Patienten, die nicht extra geschult werden müssen [145]

Durchführbarkeit

• Relativ einfach, da keine besondere Vorbereitung nötig [141]
• Anwendungsbeispiele [142], [143]

Einfluss auf Lernen und Lehren

• Patientenbasierte, reale Situation [141]

Beim Mini-Clinical Evaluation Exercise (mCEX) handelt es sich um eine patientenbasierte Prüfungsform im klinischen Behandlungsumfeld, die sich, im Unterschied zum CEX-Prüfungsformat über einen kurzen Zeitraum erstreckt und stets Feedback beinhaltet (ca. 15 Minuten Prüfung + ca. 10 Minuten Feedback). Man kann diese Prüfungsform als dreistufig beschreiben, indem 1. beobachtet, 2. das Ergebnis festgehalten und 3. Feedback erteilt wird. Dabei wird die Prüfung von mehreren Prüfern beobachtet und nach strukturierten Vorgaben bewertet, wobei die inkludierten Behandlungsabläufe an mehreren Patienten unter Praxisbedingungen mit Schwerpunkt Kommunikation und klinische Untersuchung durchgeführt werden [144]. Die Bewertung erfolgt prinzipiell anhand zuvor festgelegter Kriterien und gilt für jeden Prüfling. Diese Kriterien können eine Ratingskala beinhalten und / oder durch Freitextkommentare definiert werden. Die Schwierigkeit bleibt bezüglich unterschiedlicher zu untersuchenden Patienten. Aus Sicht der Prüfungspyramide nach Miller steht man jedoch auf einer hohen Anwendungsebene. Es handelt sich streng genommen um eine strukturierte klinische Beobachtung.

Validität/Gültigkeit

• Höhere Validität als CEX [149]
• akzeptable Validität und Reliabilität nachgewiesen [146], [150]
• ist in der Lage, unterschiedliche Kompetenzebenen (1. Jahr, 2. Jahr etc.) valide zu unterscheiden [151]

Reliabilität

• geringe Interrater-Reliabilität [149]
• mindestens 10 Evaluationen sind nötig, um verlässliche Ergebnisse zu erhalten; eine größere Anzahl ist besser [151]
• es werden mindestens 12-14 Bewertungen pro Jahr empfohlen bei unterschiedlichen Bewertern um die Interrater-Reliabilität zu steigern [152]
• Reliabilität von G=0,4 bei 10 Bewertungen, G=0,8 bei 50 Bewertungen [151]
• Abhängig von Prüferanzahl: Bei einem Prüfer mindestens 8 Beobachtungen an unterschiedlichen Patienten, bei 2 Prüfern 4, bei 3 Prüfern 3 Beobachtungen nötig, um eine Reliabilität von 0,8 zu erlangen [153]
• Neun Items besser als 5 Items um Unterschiede in Kompetenzen abzubilden [154]

Akzeptanz

• Hohe Zufriedenheit sowohl seitens der Lehrenden als auch der Lernenden [151], [155], [156]
• Durchführung z.T. erst zögerlich, da Neuerung [156]
• Zum Teil problematisch wegen Diskrepanz zwischen Selbst- und Fremdeinschätzung [157]

Kosten

• Entstehung erheblicher Kosten infolge des hohen Zeitbedarfs [158], [159]

Durchführbarkeit

• Beobachtung von realen Arzt-Patienten-Interaktionen durch verschiedene Weiterbildner in unterschiedlichen Situationen; Feedback zu verschiedenen Krankheitsbildern an unterschiedlichen Orten mit unterschiedlichem Fokus [155]
• Gute Planung nötig, denn Feedback dauert 8-17 Minuten [155], [160]
• Relativ einfache Implementierung mit genügender Flexibilität in dentaler Umgebung [161]
• Anwendungsbeispiele [162]

Einfluss auf Lernen und Lehren

• Kompetenzsteigerung durch regelmäßiges Feedback durch Experten [163]
• Prüfer/Prüfling erhält Feedback bzw. ein konkretes Bild der klinischen Arbeit. Somit gezielte Förderung möglich [156]
• Erteilen eines konstruktiven Feedbacks muss erlernt und geübt werden, pädagogische Fähigkeiten sind nötig [164]
• Keine neuen Erkenntnisse gegenüber traditionellen Bewertungsverfahren [158]
• Kein Einfluss im Vergleich zur Kontrollgruppe [153]
• Verknüpfung zwischen der Definition von Lernzielen und den identifizierten Lerninhalten erforderlich [165]
• Prädiktive Validität zwischen OSCE und mCEX nicht nachweisbar [165]

Diese Prüfungsform wird auch häufig mCEX (mini CEX) genannt und stellt eine sogenannte single event measure dar.

Anwendung in der Human-/Zahnmedizin

• 1995 entwickelt von Norcini [144], löste in 90er Jahren tCEX ab.
• Reliabilität stark abhängig von Prüfer- und Fallanzahl [151], [153].
• in der Zahnmedizin mehrere dokumentierte Anwendungsbeispiele in der Fachliteratur (Dental Foundation Training in Großbritannien), jedoch häufig ohne genauen Angaben hinsichtlich der Evaluationsinstrumente [161], [162].

Beim mCEX handelt es sich um ein valides und reliables Instrument zur Bewertung der praktischen Kompetenz in komplexen Situationen. Optimierungsmöglichkeiten bestehen 1. in der Erhöhung der Anzahl der Antwortitems (9 besser als 5) bzw. der Anzahl der Beobachtungen (mindestens 10 Beobachtungen sinnvoll) und 2. im Angebot von Train-the-Teacher-Veranstaltungen (beispielsweise in Form von Videodemonstrationen und Rollenspielen). Es wird eine longitudinale Anwendung empfohlen, wobei die Implementierung in diversen Settings (auch in High-Stakes-Examina) vorstellbar ist. Das mCEX-Format stellt ein sinnvolles Prüfungsformat für die Abbildung von praktischen Kompetenzen in komplexen Situationen im zahnärztlichen Ausbildungsszenario dar.

Anvertraubare professionelle Tätigkeiten (Entrustable Professional Activities) schließen die Lücke zwischen der Theorie eines kompetenzbasierten Trainings und einer patientenzentrierten Umsetzung im klinischen Kontext [166]. Bekannt wurde dieses Szenario anfangs aus dem Bereich der ärztlichen Weiterbildung (postgraduate), seit 2013 auch für die medizinische undergraduate-Ausbildung [167], [168]. Bewertet wird die Integration verschiedener Wissens- und Fertigkeitsinhalte für die Lösung komplexer Aufgaben (z.B. Anamneseerhebung, klinische Untersuchung am Patienten im Zusammenhang mit unterschiedlichen Konsultationsanlässen) unter Einbeziehung existierender kompetenzbasierter Rollen, wie von CanMeds bzw. ACGME vorgegeben. Bei der Überprüfung wird eingestuft, ob der Geprüfte diese Tätigkeit unter Anleitung, Supervision, gelegentlicher Hilfestellung oder eigenständig durchführen kann [169], [170]. Damit können unterschiedliche Leistungsniveaustufen abgebildet werden [171]. Es werden keine einzelnen Lernziele, sondern eine vollständige Aktivität am Patienten geprüft [172]. Um EPAs von allgemeinen Lernzielen unterscheiden zu können, wird vorgeschlagen, den Satz in modifizierter Form: „Morgen wird es dem (Zahn)Arzt erlaubt sein, zu...“ zu vervollständigen [166]. Definitionsgemäß soll eine EPA Aktivitäten beinhalten, die in der täglichen Praxis wichtig, in der Ausführung stark fehlerbelastet sind und mehrere Kompetenzen integrieren [172], [173]. Somit besteht eine EPA aus diversen Rollen, jede Rolle aus mehreren Lernzielen und jedes Lernziel aus unterschiedlichen Leistungsniveaustufen. Die Überprüfung kann wahlweise eine direkte oder indirekte Beobachtung und Feedback beinhalten. Dabei ist es entscheidend, dass man die beobachteten Leistungen des Prüflings mit den tatsächlichen Leistungsbewertungen über einen bestimmten Zeitraum kombiniert.

Validität/Gültigkeit

• Hohe „face-validity“ [174]

Reliabilität

• Niedrige Interrater-Reliabilität [175]

Akzeptanz

• Potential für breite Akzeptanz [166]
• Hilft den Lernenden, einen eigenen Lernplan zu entwickeln [176]
• Hilft der gesamten Fakultät, eine Transparenz in der Ausbildung zu gewähren [176]

Kosten

• keine Angaben

Durchführbarkeit

• erfordert initial eine intensive, durchdachte Vorbereitung, bei der die EPA erstellt werden [177]
• es werden 20-30 EPAs für ein ganzes Ausbildungsprogramm empfohlen [177]
• Anwendungsbeispiele [178], [179]

Einfluss auf Lernen und Lehren

• EPAs verlangen zahlreiche Kompetenzen in einer integrativen, holistischen Art und Weise [177]
• Methode der Bewertung, die ihren Schwerpunkt auf den benötigten Grad der Supervision legt [180]
• Feedback ist ausschlaggebend [174]
• Benötigt Unterstützung seitens der Fakultät [175]
• Ermöglicht eine breite (panoramaweite) Sicht auf die Ausbildung [174]

Eine häufig beschriebene Kombination ist hierbei die von mCEX und MSF (Multi-Source-Feedback). Es handelt sich streng genommen um eine sogenannte multiple event measure.

Anwendung in der Human-/Zahnmedizin

• 2005 von ten Cate in den Niederlanden eingeführt, seither beschrieben in der Chirurgie, Familienmedizin, Inneren Medizin, Neurologie, Notfallmedizin, Pädiatrie, Urologie und in breiter Anwendung des „Royal Australian and New Zealand College of Psychiatrists“ [178], [179].
• in Deutschland im Medizinstudium erst in der Pilotphase [166].
• in der Zahnmedizin keine dokumentierten Anwendungsbeispiele.

Beim EPA handelt es sich um ein relativ neues, bisher wenig erforschtes Instrument zur Bewertung der praktischen Kompetenz in komplexen Situationen. Die Implementierung von EPAs erfordert initial eine intensiv durchdachte Vorbereitung bei der Festlegung der Schwerpunkte. Nach Möglichkeit sollten für einen Ausbildungsabschnitt maximal 30 EPAs interdisziplinär unter Einbeziehung von universitären und in Praxen niedergelassenen Meinungsbildnern definiert werden. EPAs verschaffen eine realistische Verknüpfung von kompetenzorientierten Lernzielen zu übergeordneten Aktivitäten. Train-the-Teacher-Veranstaltungen (mit Übungen zu Feedback) sollen die Implementierung optimieren. Eine longitudinale Anwendung wird empfohlen. Die Implementierung ist in diversen Settings (auch in High-Stakes-Examina) vorstellbar. Das EPA-Format stellt zusammenfassend eine innovative Herangehensweise für die Abbildung von praktischen Kompetenzen in komplexen Situationen im zahnärztlichen Ausbildungsszenario mit viel Zukunftspotential dar.

Beim Directly Observed Procedural Skills (DOPS) handelt es sich um eine arbeitsplatzbasierte Prüfung im klinischen Behandlungsumfeld, die sich über einen kurzen Zeitraum erstreckt und Feedback beinhaltet (ca. 15 Minuten Prüfung und ca. 10 Minuten Feedback) ähnlich dem mCEX. Auch hier handelt es sich um eine dreistufige Prüfungsform, indem 1. beobachtet, 2. das Ergebnis festgehalten und 3. Feedback erteilt wird. Hierbei werden die Behandlungsabläufe an (mehreren) Patienten unter Praxisbedingungen wie bei der mCEX, aber mit den Schwerpunkten der manuell-technische Fertigkeiten bzw. Interventionen von mehreren Prüfern beobachtet und nach strukturierten Vorgaben bewertet. Diese Prüfungsform stellt eine ebenfalls sogenannte single event measure dar.

Anwendung in der Human-/Zahnmedizin

• ursprünglich eingeführt im Vereinigten Königreich vom General Medical Council 2002 [144].
• beschrieben in der Allgemeinen Medizin, Chirurgie und Innere Medizin [181].
• in der Zahnmedizin international beschrieben in Iran (Shiraz und Mashad Universität) und im Kings College in London/GB [182], [183].

Beim DOPS handelt es sich um ein valides und reliables Instrument zur Bewertung der praktischen Kompetenz in komplexen Situationen. Optimierungsmöglichkeiten bestehen darin, dass 1. drei Prüfer während zwei Beobachtungen intervenieren, dass 2. mindestens zwei Beobachtungen durchgeführt werden und dass 3. Train-the-Teacher-Veranstaltungen durchgeführt werden. Es wird insgesamt eine longitudinale Anwendung empfohlen. Die Implementierung ist in diversen Settings (auch in High-Stakes-Examina) vorstellbar. Das DOPS-Format stellt zusammenfassend ein sinnvolles Prüfungsformat für die Abbildung von praktischen Kompetenzen in komplexen Situationen im zahnärztlichen Ausbildungsszenario dar.

Validität/Gültigkeit

• Hohe „face-validity“ [181]
• Formatives assessment tool [182]
• Signifikante Unterschiede zu MCQ; liefert unterschiedliche Einschätzungen studentischer Leistungen [182]
• Einzelnes Assessment tool, kann nicht eine umfassende Bewertung ermöglichen, es wird ein System mit verschiedenen Möglichkeiten benötigt [184]
• DOPS evaluiert die praktischen Fähigkeiten effizient [182]

Reliabilität

• Um eine hohe Reliabilität zu erlangen, sollten mindestens drei Prüfer einen Prüfling beobachten während zwei unterschiedlicher Fallszenarien [181]
• G=0,81 [185]
• Interne Konsistenz=0,94 und Interrater Reliabilität=0,81
• in der Einschätzung der Studenten nicht gut geeignet, die inter-rater reliability zu verbessern [186]
• große Unterschiede zwischen den Prüfern können die Aussagekraft der Ergebnisse beeinflussen, solange nicht eine strenge Standardisierung vorgenommen wurde [187]
• gute Reliabilität und Übereinstimmung zwischen Prüfern möglich [188]
• es werden weniger Prüfungen benötigt verglichen mit Mini-CEX [160]
• Es werden weniger Prüfer und Fälle benötigt als im Mini-CEX [181]
• Höhere Item-correlation-Werte als bei Mini-CEX=0.7-0.8 versus 0.5-0.8 [150], [189]
• Reliabilität abhängig vom Fall [181]
• Reliabilität unabhängig vom Prozess [160]

Akzeptanz

• hohe Akzeptanz bei Studierenden [186]
• Prüflinge empfinden das Szenario als sehr stressig, freuen sich aber über das erteilte Feedback [190]

Kosten

• Hohe Kosten zu erwarten [159], [191]

Durchführbarkeit

• hoher Zeitbedarf [160], [182]
• hoher Zeitbedarf für die Vorbereitung der DOPS inkl. Feedbackgabe [160]
• zur Steigerung des Lerneffekts ist es nötig, unmittelbar nach Durchführung Feedback zu geben und klar Stärken und Schwächen anzusprechen [192]
• Prüfer müssen im Vorfeld geschult werden [12]
• Durchführbarkeit gegeben, wenn nur ein Prüfer eingesetzt wird [193]

Einfluss auf Lernen und Lehren

• in der Wahrnehmung der Prüflinge ein positiver Einfluss auf Unabhängigkeit und Lernprozess [186]
• DOPS Assessment verbessert die klinischen praktischen Fähigkeiten [192]
• Positiver Effekt durch die direkte Beobachtung der lernenden Person [192]
• fördert einen tief gehenden Ansatz für Lernen im klinischen Kontext [21]
• positiver Einfluss auf die Reflexion beim Lernen [181]
• 70% der Prüflinge sind der Ansicht, dass DOPS hilfreich sind, um praktische Fertigkeiten zu verbessern [194]
• Gegenüber Kontrollgruppe signifikant besseres Resultat bei DOPS hinsichtlich praktischer Fertigkeiten [195]
• Auch in Peer-Arrangements im präklinischen und klinischen Kontext anwendbar [183]

Bei dem Portfolio-Prüfungsszenario handelt es sich um eine vorgegebene, an Lernzielen orientierte Sammlung von studentischen Lernaktivitäten mit geplanter Selbstreflexion inklusive eines Feedbacks [20]. Die Sammlung wird dem Lernprozess entsprechend konzipiert, wobei folgende Aspekte darin Berücksichtigung finden können:

1.

Erfahrungen (was wurde getan, gesehen, geschrieben, erstellt?),

2.

Lernprozess (das Bewusstsein, dass das Erfahrene für die zukünftige Tätigkeit oder Entwicklung bedeutsam ist),

3.

Nachweise (Belege, Scheine),

4.

Lernbedürfnis (Zukunftsorientierung) und

5.

Lernbedingungen [196].

Es handelt sich um eine sogenannte multiple event measure.

Anwendung in der Human-/Zahnmedizin

• Portfolio based learning (portfoliobasiertes Lernen) eingeführt 1993 vom Royal College of General Practitioners, Portfolio assessing (portfoliobasiertes Prüfen) 1998 von Shulman beschrieben [197], [198].
• publiziert in der Allgemeinmedizin, HNO, Innere Medizin, Pädiatrie, Public Health an den Universitäten Maastricht (NL), Nottingham (GB), Arkansas (USA) [196].
• in Deutschland im Medizinstudium in Köln [196].
• in der Zahnmedizin international beschrieben [199], [200], [201].

Beim Portfolio handelt es sich um ein hoch valides und reliables Instrument zur Bewertung der praktischen Kompetenz in komplexen Situationen, das die gesammelten kumulativen Informationen über Leistung und Entwicklung bewertet. Optimierungsmöglichkeiten bestehen darin, dass man 1. mehrere unabhängige Prüfer implementiert, dass 2. der eigentliche Mentor nicht gleichzeitig Prüfer sein sollte und dass 3. Train-the-Teacher-Veranstaltungen (Feedback) durchgeführt werden. Eine longitudinale Anwendung wird empfohlen. Die Implementierung in diversen Settings (auch in High-Stakes-Examina) ist vorstellbar. Das Portfolio-Format stellt somit ein sinnvolles Prüfungsformat für die Abbildung von praktischen Kompetenzen in komplexen Situationen im zahnärztlichen Ausbildungsszenario dar.

Validität/Gültigkeit

• gute Validität, wenn eine geeignete Auswahl aus allen benötigten Kompetenzfeldern getroffen wird [202], [203]

Reliabilität

• Cronbachs α: 0.8 bei 4 Prüfern [204]
• Cronbachs α: 0.8 bei 15 Portfolioinhalten und 2 Prüfern [202]
• Nutzung eines kompetenzbasierten Masterplans, klare Bewertungskriterien, Richtlinien und erfahrene Bewerter bei der Entwicklung und Bewertung [202], [203]
• einheitliche Bewertung schwierig [200]

Akzeptanz

• Portfolios werden als zeitaufwendig, angsterzeugend und wenig effektiv eingestuft [205]
• Die Akzeptanz von Portfolios sinkt, je länger sich Studierende damit beschäftigen [205]

Kosten

• keine Angaben

Durchführbarkeit

• Typische Inhalte sind beispielsweise: 7 Fallberichte, 2 Präsentationen, 3 Selbstreflektionen [202]
• Typische Inhalte sind beispielsweise: Diagnosen, Behandlungspläne [202]
• problematisch, da ein Konflikt entsteht, wenn Portfolios zum Bewerten und zum Lernen eingesetzt werden [205]
• Schwierigkeiten, selbstkritisch und ehrlich zu sein [205]
• Interviews mit den Studierenden zum Inhalt des Portfolios verbessert die Durchführbarkeit [206]
• Anwendungsbeispiele [199], [201]

Einfluss auf Lernen und Lehren

• Ermöglicht, Fähigkeiten zu evaluieren, die mit anderen Werkzeugen nicht evaluiert werden können [200]
• Inhalt des Portfolios muss mit den Lernzielen übereinstimmen [202]
• steigert Selbsterkenntnis und regt zum kritischen Denken an [205]
• steigert die Fähigkeit, unabhängig zu lernen und verknüpft Theorie mit Praxis [205]
• hoher Zeitbedarf für Prüfer und Prüfling [200], [207]
• Ermöglicht für die Lernenden ein gutes Feedback [207]
• Kalibrierung und Validierung extrem wichtig [200]
• Liefert kumulative Informationen über Leistung und Entwicklung [205]
• Wenn bekannt ist, dass das Portfolio zum Bewerten benutzt wird, wirkt sich das auf den Inhalt und Lernwert aus, da versucht wird, Lehr-Erwartungen zu erfüllen [205]
• Effekt häng stark von der Unterstützung, Anleitung, der Zeit und dem Feedback der Lehrenden ab [205]

Bei der 360°-Evaluation oder Multisource Feedback (MSF, Multirater Feedback) handelt es sich um eine arbeitsplatzbasierte Prüfung im klinischen Behandlungsumfeld, wobei für die Beurteilung verschiedene Personengruppen aus dem Arbeitsumfeld des Prüflings involviert werden (Peers, ZahnÄrzte, Pflegepersonal, Patienten, Administratoren etc.). Den Schwerpunkt der Beobachtung bilden Professionalität und das Arbeiten im Team sowie Handeln als Verantwortungsträger [208], [209]. Diese werden von mehreren Prüfern beobachtet und nach strukturierten Vorgaben bewertet. Der sogenannte „Supervisor“ erhält eine besondere Rolle in diesem Prüfungsszenario: diese Person sammelt alle Ergebnisse und überbringt sie dem jeweiligen Prüfling. Damit bleiben die einzelnen Feedbackgeber anonym. Man erhält ein umfassendes Bild durch die zahlreichen Rückmeldungen und eine hohe Akzeptanz durch die Wahl der Beurteiler. Narrative Kommentare und metrische Bewertungsskalen können miteinander kombiniert werden. Es handelt sich um eine sogenannte multiple event measure.

Anwendung in der Human-/Zahnmedizin

• seit 1970 in der Medizin, weit verbreitet in Nordamerika (Kanada und USA) Europa (England, Holland) und Asien [210], [211].
• beschrieben in der Allgemeinen Medizin, Inneren Medizin, Chirurgie, Gynäkologie, Psychiatrie, Pathologie, Röntgenologie etc. [210].
• in der Zahnmedizin angewendet im Royal College of Surgeons of England, University Bristol, UK Committee of Postgraduate Dental Deans.
• validierte Instrumente für die Evaluation vorhanden (PAR: Physicians Achievement Review, SPRAT: Sheffield Peer Assessment Tool).

Es handelt sich um ein hoch valides und reliables Instrument zur Bewertung der praktischen Kompetenz in komplexen Situationen.

Validität/Gültigkeit

• kann insbesondere die Evaluierung zwischenmenschlicher und kommunikativer Fähigkeiten erleichtern [212]
• gute Validität [213]

Reliabilität

• Review: Um Cronbachs Alpha-Werte von mindestens 0,9 zu erreichen müssten 8 medizinische Prüfer, 8 nicht-medizinische Prüfer und 25 Patienten beteiligt werden [210]
• Hohe Interne Konsistenz (=0,8) bei fünf Prüfern zu zwei beobachteten Gelegenheiten [214]
• Um Cronbachs Alpha-Werte von 0,8 zu erreichen müssten mindestens 11 Prüfer beteiligt werden [215]
• Cronbachs Alpha-Wert 0,98 [216]
• Problematisch wegen der erforderlichen Anzahl von Prüfern [217]

Akzeptanz

• Auf einer Skala 1-7 seitens der Prüflinge mit 4,5 bewertet [214]
• Auf einer Skala 1-7 seitens der Prüfer mit 5,3 bewertet [214]
• ggf. eine zu positive Einschätzung, da der Anonymisierung nicht getraut wird [217]

Kosten

• Kosten vor der Durchführung berücksichtigen [159]

Durchführbarkeit

• Auf einer Skala 1-7 seitens der Prüflinge mit 4,4 bewertet [214]
• Auf einer Skala 1-7 seitens der Prüfer mit 5,1 bewertet [214]
• In der Regel Überprüfung der Einschätzung mittels Fragebogen, daher einfach durchzuführen [159]
• für eine valide Auswertung wird eine gewisse Anzahl an Bewertungen benötigt, die nicht immer erzielt werden kann [217]
• idealerweise wird das Feedback über einen längeren Zeitraum erhoben [217]
• gut implementierbar, selbst in einem „busy hospital“ [211], [218]

Einfluss auf Lernen und Lehren

• Generelle Verbesserung in der klinischen Tätigkeit, in der Kommunikation mit Kollegen und Patienten [219]
• Auf einer Skala 1-7 seitens der Prüflinge mit 4,2 bewertet [214]
• Auf einer Skala 1-7 seitens der Prüfer mit 4,4 bewertet [214]
• Verbesserung des Evaluierungsprozesses, Gewinn weitergehender Informationen und verschiedener Perspektiven[217]
• Unterschiedliche Resultate: Verbesserung der Kommunikation und des Verhaltens nach einem 360-Grad-Feedback [220]
• großer Zeitaufwand und keine Verbesserung der Bewertungen als Folge des Feedbacks [221]
• man kann schwache Performer früh identifizieren [218]
• auch von SP an Studierende [222]

Zu den Erfolgsfaktoren gehören 1. eine klare Zieldefinition und 2. die Quelle des Feedbacks. Hierbei spielen die Wahl der Prüfer durch den Prüfling, die Glaubwürdigkeit und die Vertrautheit der Prüfer mit der zu beurteilenden Situation und die Anonymität der Einzelrückmeldungen eine wichtige Rolle. Optimierungsmöglichkeiten bestehen darin, dass 1. ca. fünf Prüfer zu zwei beobachteten Gelegenheiten eingesetzt und dass 2. Train-the-Teacher-Veranstaltungen (hinsichtlich der Fähigkeit konstruktives Feedback geben zu können) durchgeführt werden. Die Kombination der Fremdeinschätzung mit der Eigenbeurteilung des zu Beurteilenden kann hilfreich sein, ebenso wie die finale gemeinsame Festlegung von Lernzielen für die Zukunft inklusive der Besprechung (und Dokumentation) konkreter Lern- und Unterstützungsmöglichkeiten. Eine longitudinale Anwendung wird empfohlen. Auch die Implementierung in diversen Settings (auch in High-Stakes-Examina) ist vorstellbar. Das MSF-Format stellt somit ein sinnvolles Prüfungsformat für die Abbildung von praktischen Kompetenzen in komplexen Situationen im zahnärztlichen Ausbildungsszenario dar.

Das Repertoire der hier in der Übersicht aufgeführten Prüfungsmethoden erweitert das Spektrum der bereits etablierten fakultätsinternen Prüfungen – zumeist die MCQ-Fragen und (strukturierte) mündliche Prüfungen – erheblich. Jede der vorgestellten Methoden deckt unterschiedliche Anforderungen und somit verschiedene Kompetenzlevel ab. Dies ist besonders von denen zu beachten, die sich mit der Planung, Durchführung und Auswertung der Prüfungen im Fach Zahnmedizin beschäftigen.

In der Planung und Umsetzung eines Curriculums ist nicht nur die Wahl des Prüfungsformates entscheidend, sondern auch die allgemeinen Funktionen einer Prüfung zu beachten, die wiederum einen Einfluss auf das Curriculum haben [223]: Prüfungen können summativ oder formativ eingesetzt werden. Summative Prüfungen werden meist am Ende einer Lehrveranstaltung bzw. nach der Vermittlung einer Kompetenz eingesetzt, um den Lernerfolg zu bewerten. Bei formativen Prüfungen steht eine reflexive Begleitung des Lernprozesses im Vordergrund und entscheidet nicht über Bestehen oder Durchfallen in einer Lehrveranstaltung bzw. Kompetenzvermittlung. Eine solche Prüfung spiegelt den Studierenden ihren aktuellen Wissensstand wider und soll den Lernprozess in der reflexiven Ermittlung von eigenen Schwächen unterstützen. Rein formative Prüfungen sind in Zeiten dünner Personaldecken und geringer zeitlicher Ressourcen leider nur bedingt anzutreffen, sind aber ein ideales Mittel, den Lernprozess zu fördern.

Im Rahmen der Erstellung des NKLZ wurde deutlich, dass in Zukunft neben den etablierten Prüfungsmethoden, wie mündliche Prüfungen oder MC-Klausuren, auch andere Prüfungsformate benötigt werden, die insbesondere die in der Zahnmedizin erforderlichen praktischen Fertigkeiten sowohl im Skills-Lab als auch in der Patientenbehandlung erfassen. Dabei sollte sich die jeweilige Prüfungsform an der angestrebten Kompetenzebene orientieren.

Die in dieser Übersichtsarbeit dargestellten Prüfungsformen ermöglichen einen schnellen Einstieg in die jeweilige Methode und verweisen auf weiterführende Literatur für den Interessierten, da eine ausführliche Darstellung jeder einzelnen Prüfungsform den Charakter dieser Übersichtsarbeit sprengen würde. Neben dem theoretischen Wissen um eine Prüfungsform, ist auch der direkte Erfahrungsaustausch mit Kollegen der eigenen oder anderen Fakultäten wichtig, die die entsprechende Methode bereits anwenden, um weitere Informationen zu erhalten. Von daher ist es wünschenswert und vielleicht auch eine Aufgabe der AG Prüfungen, ein Netzwerk von Kollegen aufzubauen, die Erfahrungen mit speziellen Prüfungsformen bereits gesammelt haben und als Ansprechpartner bei Fragen gerne zur Verfügung stehen. Aus diesem Netzwerk heraus könnten je nach Bedarf auch Fortbildungsangebote entwickelt werden, die bei der Umsetzung und Implementierung einer neuen Prüfungsform eine große Hilfe sein können.

Mit der zu erwartenden neuen Approbationsordnung für Zahnärzte wird die zahnmedizinische enger mit der medizinischen Lehre verknüpft und auf ein zeitgemäßes Niveau gebracht. Die im NKLZ beispielhaft genannten und in dieser Publikation ausgeführten Prüfungsmethoden zeigen die verschiedenen Möglichkeiten auf Kompetenzlevel zu prüfen. Nach einer gewissen Zeit des Erfahrungssammelns mit universitären Prüfungen in der zahnmedizinischen Lehre und ihrer wissenschaftlichen Überprüfung sollen zusätzliche geeignete Prüfungsmethoden auch in die Vorgaben der zahnärztlichen Approbationsordnung aufgenommen werden und somit auch die Qualität der staatlichen Prüfungen optimieren.

Zusammen mit der Einführung des NKLZ ist das Sammeln von Erfahrungen bei der Organisation, Vorbereitung, Durchführung und Nachbereitung der vorgestellten Prüfungsformen für die nächsten Jahre eine wichtige Aufgabe, wobei sich hier die Zahnmedizin die bereits seit 2002 entwickelten Kompetenzen der Humanmediziner zu Nutze machen kann. Auf der anderen Seite kann sich die Zahnmedizin aber mit ihrem jahrelangen Wissen in der Überprüfung der praktischen Kompetenzen in den Austausch und entsprechende Erfahrungen in die Entwicklung einbringen. Unser gemeinsames Ziel sollte es sein, Prüfungsformate für die verschiedenen Kompetenzlevel für Zahn- und Humanmedizin in Zusammenarbeit der medizinischen Fakultäten weiterzuentwickeln.

Die Autoren danken allen Mitwirkenden, die mitgeholfen haben, dieses Review zu initiieren, zu erstellen, zu revidieren und zu finalisieren. Besonderer Dank gebührt dem Vorstand der AKWLZ, namentlich Frau Prof. P. Hahn, MME (Universität Freiburg) und Herrn Prof. H.-J Wenz, MME (Universität Kiel), für die detaillierten Rückmeldungen und Verbesserungsvorschläge zum vorliegenden Manuskript.

Die Autoren erklären, dass sie keine Interessenkonflikte in Zusammenhang mit diesem Artikel haben.

Die Nennung der Autoren erfolgt in alphabetischer Reihenfolge.