gms | German Medical Science

Die suffiziente Vermittlung und Prüfung klinisch-praktischer Fertigkeiten bereits während des Medizinstudiums gewinnt vor dem Hintergrund sich wandelnder Anforderungen im Gesundheitswesen und geplanter Reformen der Medizinerausbildung zunehmend an Bedeutung [1], [2], [3], [http://kpj.meduniwien.ac.at/fileadmin/kpj/oesterreichischer-kompetenzlevelkatalog-fuer-aerztliche-fertigkeiten.pdf]. So wurde beispielsweise in Österreich vor kurzem der ein Kompetenzlevelkatalog für ärztliche Fertigkeiten an allen drei staatlichen Medizinuniversitäten implementiert [4]. Knapper werdende Zeit- und Personalressourcen stellen für die universitäre Lehre besondere Herausforderungen dar. Lehrformate und didaktische Methoden werden sich in Zukunft nicht nur durch ihre Güte im Hinblick auf die Performanz auszeichnen müssen, sondern auch Aspekte der Kosteneffizienz werden mehr in den Fokus des Interesses rücken [5], [6], [7], [8].

Über die Effizienz diverser Lehr- und Prüfungsmethoden zum Erwerb klinisch-praktischer Fertigkeiten wird in der aktuellen Literatur viel diskutiert [9], [10], [11], [12], [13]. MiniCEX (mini clinical evaluation exercise) und DOPS (direct obeservation of clinical skills) haben als Workplace-Based-Assessment (WBA)-Instrumente schon länger Eingang in die Ausbildung vor allem junger Mediziner gefunden [14], [15], [16], [17], [18], [19], [20], [21], [22], [23]. In jüngster Zeit findet dieses Format auch Anwendung als WBA am Ende des Medizinstudiums [24]. Ob DOPS auch in einem studentischen Skills-Lab-Setting etwa am Beginn des klinischen Studienabschnitts ein funktionierendes Instrument im Teaching und Assessment klinischer Skills sein können, ist derzeit in der Literatur nicht hinreichend geklärt [24]. Ebenfalls ungeklärt ist die Frage, ob wiederholtes Prüfen, etwa mittels DOPS, einem herkömmlichen Üben hinsichtlich der Performanz praktischer Fertigkeiten überlegen ist. Karpicke und Blunt kamen auf dem Gebiet kognitiver Skills in einer prospektiv randomisierten Studie zum Ergebnis, dass repetitives Prüfen elaborativem Lernen überlegen ist [25]. Übertragen auf ein studentisches Skills-Lab würden DOPS das repetitive Prüfen, ein traditioneller Kleingruppenunterricht mit Tutoren das elaborative Lernen darstellen. DOPS stellen im Prinzip ein Assessmentinstrument im Kontext eines Arbeitsplatzes dar [14], [15]. Simulation ist ein zuverlässiges Instrument, um eine studentengerechte Lernumgebung im Sinne eines simulierten Workplace zu schaffen [26].

Wir haben in einer prospektiv randomisierten Studie folgende Fragestellungen untersucht:

• Funktionieren DOPS in einem studentischen Skills-Lab-Setting überhaupt?
• Ermöglichen DOPS im Vergleich zu einem Tutorsystem eine Verbesserung der Performanz kompetenzlevelbasierter praktischer Fertigkeiten?
• Wie stellt sich die Assessmentqualität von DOPS in diesem Setting dar?

Zusätzlich wurden auch relevante Begleitaspekte, sogenannte curriculare Side-Effects, welche sich durch die Implementierung der DOPS ergeben haben, analysiert.

Im Zeitraum von April 2013 bis Juni 2013 wurde an der MUI (Medizinische Universität Innsbruck) im Rahmen des chirurgischen Praktikums eine prospektiv randomisierte Studie durchgeführt. Das Studienkonzept wurde vor Beginn der Studie der Ethikkommission der MUI zur Kenntnis gebracht, von dieser wurden keine Einwände gegen die Durchführung in der eingereichten Form erhoben.

Neben der federführenden Univ. Klinik für Visceral-, Transplantations- und Thoraxchirurgie (VTT) sind folgende klinische Institutionen, nach jeweiliger Klinikgröße anteilig, am chirurgischen Praktikum beteiligt: Univ. Klinik für Anästhesie und Intensivmedizin, Univ. Klinik für Unfallchirurgie, Univ. Klinik für Orthopädie, Univ. Klinik für Herzchirurgie, Univ. Klinik für Gefäßchirurgie, Univ. Klinik für Plastische, Rekonstruktive und Ästhetische Chirurgie, Univ. Klinik für Urologie, Univ. Klinik für Neurochirurgie.

Es wurden insgesamt 193 Studierende einer Jahrgangskohorte (n=258) in die Studie eingeschlossen. Die Studierenden wurden in 2 Gruppen randomisiert. In beiden Gruppen wurden vier kompetenzlevelbasierte praktische Fertigkeiten vermittelt: Chirurgische Abdominaluntersuchung, Harnkatheteranlage, rektal-digitale Untersuchung, Handhabung zentralvenöser Katheter. Gruppe A wurde mittels DOPS gelehrt und geprüft, ausschließlich von Dozenten der VTT. Die Vergleichsgruppe B wurde mit einem Tutorsystem unterrichtet, von Dozenten aller anderen oben angeführten Institutionen. Das Tutorsystem war ein Kleingruppenunterricht, bei dem ein die ganze Zeit anwesender ärztlicher Tutor die Studierenden unterrichtet bzw. betreut ohne näher definierte didaktische Struktur oder Methode.

Die Randomisierung in Gruppe A „DOPS“ und Gruppe B „Tutor“ fand im Rahmen der Anmeldung nach dem Zufallsprinzip statt. Dafür wurde die Reihenfolge der Anmeldung herangezogen (beginnend bei 1, ungerade Zahl DOPS, gerade Zahl Tutor). Es ergab sich eine Ausgangsgruppengröße für die Auswertung von je n=109. Die Kurse fanden in Kleingruppen zu maximal 5 Studierenden zeitlich parallel, jedoch räumlich getrennt statt. Die Dauer jedes Skills-Lab Kurses betrug insgesamt 5 Tage, pro Tag 90 Minuten. Am ersten Tag erhielten alle Studierenden gemeinsam eine theoretische Unterweisung in den vier Skills anhand detailliert ausgearbeiteter Handouts für die Lehrenden. An den folgenden Tagen 2 bis 4 fand, nach Gruppen getrennt, der praktische Unterricht statt. In den DOPS-Gruppen wurde repetitiv geprüft, mit dem Ziel (mindestens) 6 DOPS pro Student. Am Tag 5 wurden die Studierenden einem OSCE (objective structured clinical examination) mit vier Stationen unterzogen, entsprechend den genannten Skills. Die verfügbare Zeit für eine OSCE-Station betrug 5 Minuten. Die OSCE-Prüfungsbögen korrespondierten inhaltlich 1:1 mit den Handouts für die Lehrenden (siehe Abbildung 1 [Abb. 1]).

Das Einschlusskriterium für die Studie war die Anmeldung zur curricularen Pflichtveranstaltung „Chirurgisches Praktikum“. Um die Validität der Daten zu garantieren wurde penibel darauf geachtet, dass es zu keiner Vermischung der Gruppen während der Kurswoche kam. Folgende Ausschlusskriterien wurden bereits vor Studienbeginn festgelegt:

1.

Gruppenvermischung/eigenmächtiges Wechseln der Gruppe (z.B. DOPS 1 Tag in Tutorgruppe)

2.

Studierende der DOPS-Gruppe, welche mehr als einen Tag während des Kurses abwesend waren (DOPS Mindestanzahl nicht erreichbar)

3.

Erasmus-Studenten, da diese nicht an Prüfungen teilnehmen müssen und dazu auch nicht verpflichtet werden können.

Die Skills Harnkatheter und rektale Untersuchung wurden an Phantomen der Firma Limbs and Things, Modelle Katheterisierungssimulator und Rectal Examination Trainer MK2 gelehrt und geprüft. Die Fertigkeit chirurgische Abdominaluntersuchung wurde im Kurs anhand der Studierenden gegenseitig gelehrt. Für den OSCE wurden studentische Schauspieler herangezogen, die von Oberärzten und fortgeschrittenen Assistenten der VTT eingeschult wurden. Die Fertigkeit ZVK wurde anhand von realen Modellen von Subclaviakatheter (ZVK1)und Port-a-Cath (ZVK2), welche an den Universitätskliniken Innsbruck im klinischen Alltag verwendet werden, gelehrt und geprüft.

Beim OSCE waren hinsichtlich der Gruppenzuteilung der Prüflinge sowohl Prüfer als auch Schauspieler geblindet.

Die vier OSCE-Prüfungsbögen wurden nach dem in Innsbruck üblichen Design erstellt (siehe Abbildung 1 [Abb. 1]). Form, Items und Layout der DOPS-Formulare entsprachen dem der Originalpublikationen von Norcini und Darzi [14], [15].

Bei der Auswertung der OSCE-Daten wurde der Cut-Off zur Kalkulation der Performanz zwischen „vollständig erfüllt“ und „teilweise bzw. nicht erfüllt“ gelegt. Somit wurden nur Item-Ergebnisse der Kategorie „vollständig erfüllt“ als positiv gewertet. Die einzelnen Items wurden bei der OSCE-Auswertung entsprechend der Gliederung des Prüfungsbogens in zwei Fraktionen aufgegliedert: eine Fraktion „Skills“, sozusagen die reinen technischen Fertigkeiten der Aufgabenstellung und in eine Fraktion „Kommunikation“. Die OSCE-Ergebnisse wurden für jede Fertigkeit einzeln und nach Monaten getrennt ausgewertet und die Ergebnisse in absoluten Zahlen (Punkten) und %-Werten ausgedrückt.

Die statistische Auswertung der OSCE-Ergebnisse erfolgte mittels t-Test. Ein p<0,05 wurde als statistisch signifikant gewertet.

Die DOPS-Auswertung erfolgte ebenfalls aufgetrennt in eine Skills-Fraktion mit den Items „Vorbereitung/Nachsorge/Sicherheit“, „Technische Fertigkeit“, „Klinische Urteilsfähigkeit“, „Organisation und Effizienz“ und eine kommunikative Fraktion, welche die restlichen Items wie „Professionelles Verhalten“ umfasste.

Bei der Auswertung der DOPS wurden die Ergebnisse in den Kategorien „erwartungsgemäß“ und „überdurchschnittlich“ als positiv gewertet und addiert. Die jeweiligen Prozentwerte wurden kalkuliert und den OSCE Ergebnissen gegenübergestellt.

Sämtliche Tutoren und Prüfer waren fortgeschrittene Assistenzärzte oder habilitierte Oberärzte. Alle erhielten eine spezifische Einschulung auf OSCE, die Dozenten der VTT zusätzlich im Rahmen dieser Schulungen eine Einschulung auf DOPS. Besonderes Augenmerk wurde dabei auf die Erzielung einer ausreichend hohen Trennschärfe in der Beurteilung sowohl bei DOPS als auch OSCE gelegt. Zeit- und Personalaufwand wurden im Studiendesign in beiden Gruppen als ident festgelegt. Daraus resultierte die Zielvorgabe von insgesamt 6 DOPS pro Student (d.h. 2 pro Tag). Gerechnet auf eine 5er Gruppe und 90 Minuten pro Tag ergab dies eine Dauer von 9 Minuten pro DOPS als Summe von Beobachtungs- und Feedbackzeit.

Von den 193 Studierenden umfasste die DOPS-Gruppe 52 (26,9%) Studierende, die Tutorgruppe 141 (73,1%) Studierende. Insgesamt wurden 756 Einzel-OSCE´s durchgeführt, davon entfielen auf die DOPS-Gruppe 209 (27,6%) und auf die Tutorgruppe 547 (72,3%). Von den 193 Studierenden absolvierten 180 (93,3%) jeweils alle 4 Einzel-OSCE´s, 13 (6,7%) Studierende weniger als 4. Da diese Studierenden eindeutig einer Gruppe (DOPS oder Tutor) nach den oben angeführten Kriterien zuzuordnen waren, wurden diese in der Wertung belassen. In der DOPS-Gruppe bzw. in der Tutorgruppe absolvierten 90,8% bzw. 89,8% alle OSCE-Stationen.

Der Unterschied der Gruppengrößen (DOPS n=52, Tutor n=141) erklärt sich aus der Bereinigung der Datensätze durch obige Ausschlusskriterien: Dabei stellten der Gruppenshift von DOPS-System in Richtung Tutosystem und nicht verwertbare DOPS-Bögen die häufigsten Gründe dar, darüberhinaus sind einige „DOPS-Gruppen“ gar nicht zum Praktikum erschienen und somit gänzlich ausgefallen.

Über das gesamte Semester betrachtet ergibt sich zwischen beiden Gruppen kein Unterschied an positiven OSCE-Ergebnissen: 90,8% (DOPS) versus 89% (Tutor).

Analysiert man die Prüfungsergebnisse der einzelnen Monate, so ergibt sich ein differenzierteres Bild: im April war die DOPS-Gruppe der Tutorgruppe mit 94,1% gegenüber 87,5% statistisch signifikant (p < 0,05) überlegen. In den folgenden Monaten glichen sich die OSCE-Resultate beider Gruppen weitgehend an. So betrugen die Prozentsätze an vollständig erfüllten Skills im Mai für die DOPS-Gruppe 91,2%, für die Tutorgruppe 91,1%, im Juni 89,3% versus 90,8% (siehe Abbildung 2 [Abb. 2]).

Auch in der getrennten Auswertung der einzelnen Fertigkeiten in den Folgemonaten Mai und Juni lässt sich kein wirklicher Trend erkennen, in beiden Gruppen liegen die Prozentwerte eng beieinander. So betrugen die prozentuellen Mittelwert im Mai für DOPS-Gruppe 91%, für die Tutor-Gruppe 90,8%, im Juni 90% versus 90,5% respektive.

Die Analyse der kommunikativen Fähigkeiten ergibt ein insgesamt schlechtes Abschneiden in beiden Gruppen. So lagen die prozentuellen Mittelwerte über alle Monate bei 76,6% (DOPS) und 78,4% (Tutor).

Insgesamt wurden 320 DOPS durchgeführt. Die Auswertung der Skills-bezogenen DOPS-Items ergab in Summe 92,4% positive Ergebnisse, welche gut mit den 90,8% positiven OSCE-Ergebnissen der DOPS-Gruppe übereinstimmten

Bei den kommunikativen Items wurden bei den DOPS 91,3% positive Ergebnisse erreicht. Hier fand sich eine wesentlich schlechtere Übereinstimmung mit den positiven OSCE-Ergebnissen von 76,6% (siehe Tabelle 1 [Tab. 1]).

Es ergab sich erwartungsgemäß pro Student berechnet kein Unterschied hinsichtlich Zeit- und Personalaufwand (Studiendesign). In beiden Gruppen wurden jeweils 5 Studierende pro Tag 90 Minuten von einem Dozenten geprüft (DOPS-Gruppe) bzw. betreut (Tutor-Gruppe). Der zeitliche Aufwand der Personalteachings betrug insgesamt 6 Stunden. Von einem Instruktor wurden die Dozenten/Prüfer in unterschiedlich großen Gruppen (bis etwa max. 15 Personen) unterrichtet, VTT-Dozenten und Dozenten der anderen Institutionen jeweils getrennt.

DOPS führen im studentischen Skills-Lab Setting zu einer hohen Performanz klinischer Fertigkeiten. Verglichen mit dem Tutorsystem zeigte sich ein statistisch signifikanter Performanzunterschied (p<0,05) zugunsten der DOPS-Gruppe jedoch nur im ersten Monat des Semesters (April). In den Monaten Mai bis Juni und über das gesamte Semester gerechnet war dann kein signifikanter Unterschied in den Ergebnissen mehr feststellbar (siehe Abbildung 2 [Abb. 2] und Tabelle 1 [Tab. 1]). Daraus lässt sich schließen, dass DOPS in einem studentischen Skills-Lab Setting gut funktionieren und einem Tutorsystem (Kleingruppenunterricht) mit ausschließlich akademischen Lehrern hinsichtlich der Performanz zumindest ebenbürtig sind.

Unsere Daten zeigen bei den Skills eine hohe Übereinstimmung zwischen DOPS- und OSCE-Ergebnissen. Wir wagen daraus mit aller Vorsicht abzuleiten, dass

in einem studentischen Skills-Lab Setting DOPS als Assessment, zumindest im Sinne einer pass/fail Beurteilung, ausreichend sein können. Das würde bedeuten, dass man auf einen OSCE bei vergleichbarer Assessmentqualität für dieses Setting verzichten und sich dadurch einiges an Personal- und Zeitressourcen sparen könnte. Unter der Voraussetzung „Prüfungszeit ist auch Lehrzeit“ könnten so in gleicher Zeit entweder mehr Skills vermittelt werden oder die Kurse zeitlich (beispielsweise um einen Tag) verkürzt werden. Dies stellt unserer Meinung nach einen interessanten curricularen Nebeneffekt der DOPS-Implementierung in der studentischen Lehre dar. Gegenüber dem Tutorsystem bieten DOPS bei gleichem Personal- und Zeitaufwand den wesentlichen Vorteil, neben der Vermittlung von praktischen Fertigkeiten auch strukturiertes Feedback und Assessment liefern zu können.

Die zeitliche Annäherung der Skills-Performanzraten nach initialer Überlegenheit der DOPS-Gruppe erklärt sich möglicherweise mit einer Wechselwirkung der DOPS auf das Tutorsystem. Mit fortschreitender mentaler Verankerung bei den Dozenten/Prüfern flossen offenbar DOPS-Elemente insbesondere das Feedback und das repetitive Prüfen ins Tutoring ein und führten möglicherweise zu einer Angleichung der Unterschiede. Ursprünglich war geplant, dass ausschließlich Dozenten der Allgemeinchirurgie (VTT) die DOPS-Gruppen betreuen sollten und Dozenten aller anderen mitbeteiligten Kliniken die Tutorgruppen. Dies ließ sich aus praktisch-organisatorischen Gründen nur in den Anfangswochen des Semesters aufrechterhalten, in der Folge mussten VTT-Dozenten häufig auch Tutorgruppen, dennoch immer räumlich getrennt, betreuen.

Im Gegensatz zu den positiven Performanzraten bei den handwerklichen Skills sind die OSCE-Resultate bei den kommunikativen Fertigkeiten mit rund 77% positiven Prüfungsergebnissen in beiden Gruppen deutlich schlechter. Das zeigt einerseits das Erreichen einer gewissen Prüfungstrennschärfe, was ein besonderer Schwerpunkt bei den Schulungen war. Andererseits zeigen diese Daten klar, dass gerade hier bei den Studierenden offenbar gröbere Defizite vorliegen. Daraus ergibt sich ein klarer didaktischer Handlungsbedarf hinsichtlich einer Intensivierung der Vermittlung kommunikativer Fertigkeiten. Mit welcher Methode das geschehen soll bleibt offen. Eigentlich hätten wir uns von der DOPS-Gruppe hier bessere Werte erwartet. Die bewusste Fokussierung auf die handwerkliche Performanz im Rahmen der Studie stellt möglicherweise eine Erklärung für die schlechteren OSCE-Ergebnisse dar, nicht jedoch für die schlechtere Übereinstimmung DOPS-OSCE bei den kommunikativen Fertigkeiten im Vergleich zu den eigentlichen Skills.

Zusammenfassend stellen DOPS im studentischen Skills-Lab eine funktionierende und effiziente Methode in der didaktischen Vermittlung klinischer Skills dar. Durch die hohe Übereinstimmung zwischen DOPS und OSCE bei den praktischen Fertigkeiten könnte man überlegen, DOPS auch als alleiniges Assessment-Tool in diesem Setting zur Beurteilung der Performanz einzusetzen. Darüberhinaus scheint die DOPS-Implementierung auch die didaktische Kultur universitärer Institutionen positiv zu beeinflussen.

Die Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.