gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

Überprüfen der Art des Feedbacks innerhalb Mini Clinical Evaluation Exercise (Mini-CEX): eine Analyse von 1427 Mini-CEX-Bewertungsformularen

Artikel Feedback

Suche in Medline nach

  • corresponding author Diantha Soemantri - Faculty of Medicine Universitas Indonesia, Department of Medical Education, Jakarta, Indonesia
  • author Agnes Dodds - University of Melbourne, Melbourne Medical School, Department of Medical Education, Melbourne, Australia
  • author Geoff Mccoll - University of Queensland, Faculty of Medicine, Executive Dean, St. Lucia Queensland, Australia

GMS J Med Educ 2018;35(4):Doc47

doi: 10.3205/zma001193, urn:nbn:de:0183-zma0011938

Dieses ist die deutsche Version des Artikels.
Die englische Version finden Sie unter: http://www.egms.de/en/journals/zma/2018-35/zma001193.shtml

Eingereicht: 2. März 2018
Überarbeitet: 20. Juli 2018
Angenommen: 16. August 2018
Veröffentlicht: 15. November 2018

© 2018 Soemantri et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Zusammenfassung

Hintergrund: Trotz steigender Anwendungszahlen der Mini Clinical Evaluation Exercise (Mini-CEX) Prüfung, die in der medizinischen Grundausbildung zunehmend genutzt wird, haben Studien einige Einschränkungen im Zusammenhang mit dem abgegebenen Feedback (Rückmeldung) gezeigt.

Diese Studie überprüft das schriftlich abgegebene Feedback auf Mini-CEX-Formularen, um die Nutzbarkeit dieser als Lernhilfsmittel für Studenten zu bestimmen.

Methoden: 1427 Mini-CEX-Bewertungsformulare wurden von Medizinstudenten aus deren letztem Studienjahr gesammelt. Das schriftliche Feedback, das sich auf Stärken und Schwächen der Studierenden bezieht, wurde kategorisiert und mit den Variablen der Komplexität der klinischen Fälle, der klinischen Position der Gutachter und der klinischen Leistungsbewertung der Studierenden korreliert.

Ergebnisse: Die Anzahl der allgemeinen Feedback-Kommentare bezüglich der Stärken und der Weiterentwicklung der Studenten betrug 953 (65,3%) bzw. 604 (38,64%). Weniger als 30% der Rückmeldungen zu jeder Domäne wurde als spezifisches Feedback kategorisiert. Signifikante Zusammenhänge wurden zwischen dem Feedback zu den Stärken eines Studenten und der Komplexität der klinischen Fälle (Χ2=17,48, p<0,01) sowie der klinischen Position der Gutachter (Χ2=37,10, p<.01) gefunden. Ebenfalls bestand ein Zusammenhang zwischen dem Feedback zur Weiterentwicklung der Studierenden und der klinischen Position der Gutachter (Χ2=27,22, p<0,01).

Schlussfolgerung: Basierend auf den Mini-CEX-Formularen der Studentengruppe, die in dieser Studie untersucht wurde, kann man schließen, dass das in den Mini-CEX Bewertungsformularen abgegebene schriftliche Feedback allgemeiner Natur und wenig spezifisch war. Dieser Befund zeigt auf, dass klinische Lehrer besser für die Bereitstellung von Feedback ausgebildet werden müssen.

Schlüsselwörter: Feedback, klinisch, Bewertung


1. Einführung

Die Mini-Clinical-Evaluation Exercise (Mini-CEX) Prüfung [1] wurde ursprünglich für die postgraduierte medizinische Ausbildung entwickelt, um eine Evaluierung der Eignung des angehenden Mediziners für die reale klinische Praxis zu erlauben.

Die Prüfung wurde entwickelt, um traditionelle Übungen wie zum Beispiel das lange Diskutieren von Einzelfällen zu ersetzen, welche mehrere Limitationen aufwiesen. Solche Einschränkungen beinhalten die Zahl und Verschiedenheit der behandelten Fälle, benötigte Zeit für eine vollständige Anamnese, Komplexität des klinischen Kontexts und die Schwierigkeit, Gutachter zu finden, die die benötigte Zeit aufbringen können [1], [2]. Trotz der Zunahme der Verwendung von Mini-CEX in der medizinischen Grundausbildung [3], [4], [5], gibt es bisher nur wenige Untersuchungen der Nützlichkeit von Mini-CEX insbesondere im Hinblick auf die Bereitstellung von Feedback.

Laut sozialwissenschaftlicher und medizinischer Ausbildungsliteratur wird ein Feedback am besten beschrieben als „spezifische Information über den Vergleich zwischen der eigenen Leistung und einem Standard, mit dem Ziel die Leistung des Lernenden zu verbessern“ [[6], S. 189]. In einer umfangreichen Übersichtsarbeit zur wissenschaftlichen Evidenz für die Effektivität von Feedback, kamen Hattie und Timperley zum Ergebnis, dass ein wirksames Feedback den Lernenden beim Beantworten von drei Fragen helfen wird: wohin man geht, wie man geht, und was das nächste Ziel ist [7]. Deshalb sollte ein Feedback noch weiter über das Ergebnis eines bestimmten Lernprozesses hinausgehen.

Eingebettet im Min-CEX-Format ist die direkte Beobachtung von Studenten, denen bestimmte Fähigkeiten abgefragt werden, und das sofortige spezifische Feedback, welches auf einem vorgefertigten Bewertungsformular unmittelbar nach der Beobachtung abgegeben wird. All diese Merkmale der Mini-CEX Prüfung orientieren sich an den charakteristischen Eigenschaften wirksamen Feedbacks [8], [9], die insbesondere eine zeitnahe Rückmeldung an denjenigen beinhalten, der ein Feedback erwartet.

Das Feedback sollte auch spezifisch sein, abgeleitet von der Beobachtung und auf Fehler behebende Maßnahmen fokussiert. Zusätzlich sollten Studenten die Möglichkeit zur Erklärung des Feedbacks haben. Dies steht im Einklang mit der Praxis von Mini-CEX Prüfungen, wo die Studenten die Chance bekommen, die Rückmeldung zu lesen und Fragen zu dessen Klarstellung zu stellen.

Abgesehen von einer Studie von Norcini et al. [2], die eine signifikante Verbesserung der Bewertungen von Mini-CEXPrüfungen im Laufe mehrerer Treffen demonstrierte, gab es bisher nur wenig Forschung über die Qualität der an Studenten abgegebenen Rückmeldung. Auch bezüglich der Frage, wie Studenten die Mini-CEX Prüfung wahrnehmen, existieren verschiedene Meinungen, einige schätzten sie [4], [10], [11], während andere die Prüfung als ein Routineverfahren mit kleinem Lerneffekt betrachteten [12], [13].

Holmboe, Yepes, Williams & Huot kategorisierten das Feedback in vier hierarchische Gruppen (vom ineffektivsten bis hin zum effektivsten): Abgabe von Empfehlungen, Ermöglichung einer Reaktion des Lernenden, Frage nach Selbstbeurteilung und Einigung auf einen Aktionsplan [14]. Sie fanden in ihrer Studie heraus, dass das am häufigsten abgegebene Feedback während der Mini-CEX Treffen in die Kategorie der geringsten Wirksamkeit (Empfehlungen geben) fiel [14]. Mangel an Erfahrung und Übung, Unbehagen der Gutachter und fehlende Zeit sind einige Faktoren, die als Ursachen für die Mängel dieser Art von Feedback [3], [14] vorgeschlagen wurden. Diese Situation könnte die Nutzbarkeit von Mini-CEX als Lernwerkzeug erheblich verringern.

Durch die Implementierung der Mini-CEX Prüfung sind Studenten mitverschiedenen Fällen in unterschiedlichen klinischen Situationen konfrontiert und erhalten vor allem die Möglichkeiten, im Laufe Zeit nützliches Feedback zu bekommen. Jedoch könnte der geringe Lerneffekt der Mini-CEX Prüfung auf der schlechten Qualität der abgegebenen Rückmeldung innerhalb des Mini-CEX Bewertungsformulars stammen [3], [12], [13], [14]. Deswegen analysierten wir die Bewertungsformulare einer Gruppe von Medizinstudenten, die sich im letzten Studienjahr an einer großen australischen medizinischen Schule befanden, um unser Verständnis über die Qualität der schriftlichen Rückmeldung innerhalb der Mini-CEX Treffen zu verbessern.


2. Methode

Am Ende des letzten Semesters des MBBS (Bachelor of Medicine, Bachelor of Surgery) Studiengangs an einer großen australischen medizinischen Schule wurden alle Mini-CEX Bewertungsformulare von drei der insgesamt fünf städtischen medizinischen Schulen gesammelt (das für den Unterreicht verwendete Formular ist in Abbildung 1 [Abb. 1] dargestellt).

Das erfolgreiche Ablegen der Mini-CEX Prüfung ist die Voraussetzung um ein Fach zu bestehen, und jeder Student musste mindestens sechs vollständig ausgefüllte Bewertungsformulare vorlegen können (je zwei Formulare für jedes der drei klinischen Fächer: Medizin, Chirurgie und Allgemeinarztpraxis). Die Studie wurde von der Ethikkommission unserer Universität genehmigt.

Quantitative Daten wurden mit Hilfe von IBM SPSS Version 19 (IBM Corp.) analysiert. Die klinischen Rollen der Gutachter wurden gemäß der Hierarchie von Krankenhausangestellten im australischen medizinischen Umfeld klassifiziert in die Kategorien Oberarzt, Facharzt und Arzt in Ausbildung; eine weitere Kategorie bildeten niedergelassene Allgemeinmediziner. Um die Mini-CEX bewerten zu können, erhielten die Gutachter jedes klinischen Faches Trainingssitzungen, wobei deren Inhalt wahrscheinlich abhängig vom Sitzungsleiter etwas variierte. Die Gutachter erhielten auch Anleitungen, wie sie die Bewertungsformulare auszufüllen hatten.

Das Handbuch mit der Kodierung der Kategorien für das schriftliche Feedback wurde anhand einer kleineren Auswahl der Mini-CEX Bewertungsformulare für die von Holmboe et al. vorgeschlagenen Feedback-Kategorien entwickelt (Abgabe von Empfehlungen, Ermöglichung einer Reaktion des Lernenden, Frage nach Selbstbeurteilung und Einigung auf einen Aktionsplan) [14]. Nach der Auswertung einer Subgruppe von Antworten wurden diese Kategorien in eine Variable mit Werten „allgemeines Feedback“ und „spezifisches Feedback“ dichotomisiert.

Jeder Eintrag innerhalb des spezifischen Feedbacks zu den Stärken des Studenten wurde weiter in die entsprechende klinische Leistungsdomäne eingeordnet. Vorschläge für die Weiterentwicklung des Studenten wurden in drei Kategorien aufgeteilt: allgemeines Feedback, spezifisches Feedback, und Feedback welches mehr als bloße Ratschläge beinhaltet. Ähnlich wie bei dem Feedback zu den Stärken eines Prüflings, wurde ein spezifischer Vorschlag für die weitere Entwicklung auch in die entsprechende klinische Leistungsdomäne eingeordnet. Wir führten eine Inhaltsanalyse durch [15], um jeden Feedback-Eintrag im Bewertungsformular in die passende Kategorie einzusortieren.

Nach diesem Procedere wurde ein unabhängiger Gutachter gebeten, das Feedback aus 10% (n=140) zufällig ausgewählter Mini-CEX Bewertungsbögen zu klassifizieren; damit konnte die Übereinstimmung zwischen den verschiedenen Gutachtern mit Hilfe des Doppel-Zufallsmodells der Intraklassenkorrelation (two-way random model of intra-class correlation, ICC [16]) analysiert werden. In die ICC Analyse gingen nur die Hauptkategorien für das Feedback ein (kein Feedback, allgemeines oder spezifisches Feedback), da der Fokus darauf lag, ob das Feedback allgemeiner oder spezifischer Natur war, nicht welcher klinischen Leistungsdomäne es entsprach. Falls ein Kommentar mehr als einer Feedback-Kategorie zugeordnet werden konnte, ging nur die höchste Kategorie in die Analyse ein. Wenn zum Beispiel ein Kommentar aus sowohl allgemeinem wie auch spezifischem Feedback bestand, so wurde er durch die höhere Kategorie (spezifisches Feedback) dargestellt. Die ICC Koeffizienten für das Feedback zu den Stärken und zur weiteren Entwicklung eines Prüflings betrugen 0,793 (p<0,001, 95% KI=0,721-0,847) bzw. 0,946 (p<0,001, 95% KI=0,961-0,980). Beide ICC Koeffizienten wurden als hoch angesehen [17], was eine relative hohe und umfangreiche Übereinstimmung zwischen den Gutachtern


3. Ergebnisse

Es wurden 1427 Mini-CEX Bewertungsformulare von Medizinstudenten im Abschlussjahr gesammelt. Tabelle 1 [Tab. 1] enthält eine vollständige Beschreibung der Hintergrunddaten der Mini-CEX- Bewertungsformulare sowie der in diesen Beurteilungen verwendeten klinischen Fälle.

3.1. Rückmeldungsdaten zur klinischen Leistungsfähigkeit

Jedes Mini-CEX-Bewertungsformular enthielt mehr als eine Art von Feedback-Möglichkeiten um die Stärken der Studenten zu beurteilen. Daher überstieg die Gesamtzahl der Kommentare die Anzahl der Formulare. Die Anwendung des Verschlüsselungshandbuchs ergab, dass 65,3% der Rückmeldungen zu den Stärken der Studenten allgemeines Feedback war (wie in Tabelle 2 [Tab. 2] gezeigt). Darüber hinaus hatten 16.6% der Bewerter die Feedbackspalte leer gelassen.

604 (38,64%) schriftliche Kommentare zur Weiterentwicklung der Studenten lagen in Form von allgemeinen Vorschlägen vor (wie in Tabelle 3 [Tab. 3] gezeigt). Es gab nur einen Rückmeldungskommentar, der in die Kategorie von Rückmeldungen passte, die mehr als nur Vorschläge liefern.

Es gab 211 (14,8%) Mini-CEX-Auswertungsformulare, die weder Rückmeldungen zu den Stärken der Studierenden noch Vorschläge zur Weiterentwicklung enthielten. 31 der Formulare enthielten nur Vorschläge für die Weiterentwicklung der Studenten. In den 239 Formularen, die nur aus Feedback zu den Stärken der Studenten bestanden, wurden mehr als 50% dieser Kommentare als allgemeine Rückmeldungen kategorisiert.

Es wurde eine Kontingenztabelle der Beziehung zwischen klinischer Fallkomplexität und Feedback über die Stärke der Studenten (Kategorien keine Rückmeldung, allgemeines und spezifisches Feedback) erstellt. Es gab einen signifikanten Zusammenhang zwischen Rückmeldung und klinischer Fallkomplexität (Χ2 = 17,48, p<0,01). Die Untersuchung der angepassten standardisierten Residuumswerte (ASR-Werte) zur Identifizierung der Unterkategorien, die zu den signifikanten Zusammenhängen beitragen, ergab eine signifikante Verbindung zwischen hochkomplexem Fall und keiner Rückmeldung (ASR=1,96). Dies kann so interpretiert werden, dass, wenn die Komplexität des klinischen Falles, der für die Mini-CEX Prüfung verwendet wurde, hoch war, signifikant weniger Bewerter als erwartet keine Rückmeldung abgaben.

Um die Gruppe „Feedback, welches mehr als nur Vorschläge beinhaltet“ in die Kategorie der „spezifischen Vorschläge“ einzubeziehen, wurde eine Umschlüsselung vorgenommen, da es nur einen Rückmeldungskommentar gab, der mehr als Vorschläge enthielt. Daher waren der Chi-Quadrat-Test und der Exakte Test nach Fisher nicht sinnvoll [16]. Der Chi-Quadrat-Test für die klinische Fallkomplexität und die Kontingenztabelle zur Rückmeldung über die Weiterentwicklung (Kategorien kein Vorschlag [leere Spalte], allgemeine und spezifische Vorschläge) zeigte eine nicht signifikante Verbindung (Χ2=10,43, p> 0,05).

Um eine Chi-Quadrat-Analyse durchzuführen, wurden die Kategorien für die klinische Stellung der Gutachter verringert (Oberarzt, Facharzt oder Allgemeinmediziner). Es gab einen signifikanten Zusammenhang zwischen dem Feedback zur Stärke der Studierenden und der klinischen Stellung der Beurteiler (Χ2=37,10, p<0,01). Die Untersuchung der ASR-Werte ergab einen signifikanten Zusammenhang zwischen Oberarzt und spezifischer Rückmeldung sowie zwischen Allgemeinmediziner und spezifischer Rückmeldung (ASR=1,96). Diese Ergebnisse zeigen, dass von den Oberärzten deutlich weniger Gutachter als erwartet Feedback zur Stärke der Studenten abgaben. Andererseits lieferten deutlich mehr Gutachter als erwartet spezifisches Feedback falls diese Allgemeinmediziner waren.

Es ließ sich feststellen, dass die klinische Stellung des Gutachters einen signifikanten Zusammenhang mit der Rückmeldung zur Weiterentwicklung der Studenten aufwies (Χ2=27,22, p<0,01). Die Untersuchung der ASR-Werte ergab einen signifikanten Zusammenhang zwischen Oberarzt und spezifischem Vorschlag, Allgemeinmediziner und kein Vorschlag, und Facharzt und kein Vorschlag (ASR=1,96). Wenn es sich bei den Gutachtern um Oberärzte handelte, gaben deutlich mehr Bewerter als erwartet den Studierenden konkrete Entwicklungsvorschläge. Wenn der Mini-CEX-Gutachter Facharzt war, gaben wesentlich weniger Bewerter als erwartet keine Vorschläge. Dies steht im Gegensatz zu den Erkenntnissen im Bezug auf Allgemeinmediziner, bei denen deutlich mehr Allgemeinmediziner als erwartet keine Rückmeldung für die Entwicklung der Studenten abgegeben haben.

Eine weitere Analyse unter Verwendung des Spearman-Korrelationstests bezüglich der Beziehung zwischen den Bewertungen der klinischen Leistung der Studenten und dem Feedback deutet an, dass es keine signifikanten Beziehungen zwischen der Rückmeldung zu den Stärken der Studenten und einer Domäne der klinischen Leistung gab. Für jeden Bereich der klinischen Leistung, der im Mini-CEX-Formular aufgelistet war, gab es eine negative, schwach signifikante Beziehung mit dem Feedback, das für die Entwicklung der Studenten abgegeben wurde (r-Wert im Bereich von -22 bis -28, p<0,01). Je höher die Bewertung für einen bestimmten Bereich der klinischen Leistung, desto weniger wahrscheinlich war die Rückmeldung spezifisch. Diese signifikanten Zusammenhänge müssen jedoch aufgrund der großen Stichprobe mit Vorsicht betrachtet werden.

3.2. Bewertung der klinischen Leistung der Studenten

Die Ergebnisse zeigten, dass es bei den analysierten 1427 Bewertungsformularen keine Gutachter gab, die einem Studenten eine Bewertung von 1 für die klinische Gesamtleistung gaben. Die Mindestbewertung in fast allen Bereichen betrug drei (befriedigend), mit dem Mittelwert in jedem Bereich zwischen 4,53 und 4,77 (Standardabweichung zwischen 0,814 und 0,728). Nur im Zeit-Management-Bereich gab es eine Bewertung von 2, obwohl der Mittelwert auch 4,56 (Standardabweichung 0,779) war.

Beziehungen zwischen den Domänen der klinischen Leistungen offenbarten sich als moderat bis stark positiv (r Werte zwischen 0,59 und 0,79). Dieses Ergebnis deutet eine Tendenz an, in jedem Bereich, in dem ein bestimmter Student bewertet wird, eine ähnliche Beurteilung abzugeben.


4. Diskussion

Die Ergebnisse zeigen, dass die häufigste Rückmeldung, die in den Mini-CEX-Bewertungsformularen gegeben wurde, entweder eine allgemeine Rückmeldung zur Stärke der Studenten oder allgemeine Vorschläge waren. Weniger als 30% der Rückmeldungskommentare waren darauf ausgerichtet, die Leistungen der Studenten auf eine bestimmte Art und Weise zu verbessern, und die Anzahl spezifischer Rückmeldungskommentare zur Sicherung guter Praxis war noch geringer. Bei der Korrelation mit Variablen im Zusammenhang mit der Bereitstellung einer Rückmeldung, wie der klinischen Stellung des Bewerters, der klinischen Fallkomplexität und der Bewertung der klinischen Leistung der Studenten, wurden mehrere signifikante Zusammenhänge gefunden.

Die meisten schriftlichen Rückmeldungen, entweder zur Stärke der Studenten oder zu ihrer Weiterentwicklung, wurden als allgemeines Feedback kategorisiert. Wenn die Feedbackkategorien von Holmboe et al. [14] angewendet wurden, gab es nur einen Rückmeldungskommentar, der als Kategorie 4 („Vereinbarung über einen Handlungsplan“) betrachtet werden würde. Der Rest der schriftlichen Rückmeldungen wurde als Kategorie 1 eingestuft („Empfehlungen geben“). Fernando, et al. [3] und Jackson und Wall [12] fanden auch heraus, dass es immer noch Probleme gibt, eine Rückmeldung zu geben, die mehr als nur Vorschläge beinhaltet.

Feedback innerhalb der Mini-CEX Prüfung muss sich nicht nur auf das Ergebnis einer Aufgabe konzentrieren, sondern vor allem auf den Lernprozess der mit der Aufgabe verbunden ist. Balzer, Doherty und O'Connor [18] diskutierten die Unterschiede zwischen Ergebnis-Feedback und kognitivem Feedback, wobei Letzteres vorzuziehen ist. Bei der Bereitstellung von Feedback ist es wichtig, den Lernenden in den Mittelpunkt der Aufmerksamkeit zu rücken, da dies die Rezeptivität und Nützlichkeit der Rückmeldung erhöhen wird [19], [20], [21], [22]. Daher ist es wichtig, die Bedürfnisse und Antworten der Studenten während der Feedback-Bereitstellung im Mini-CEX anzuerkennen, und die Studenten müssen dabei unterstützt werden, ihre eigenen Mängel und Stärken zu erkennen.

Es gab einige Mini-CEX-Formulare, die keine Rückmeldungen enthielten oder entweder nur allgemeine Rückmeldungen über die Stärke der Studenten oder Entwicklungsvorschläge enthielten, auch wenn die Anzahl dieser gering war. Dies verdient weitere Aufmerksamkeit, da eines der wichtigen Ziele von Mini-CEX darin besteht, den Studenten eine unmittelbare Rückmeldung zu geben. Bewerter müssen auch verstehen, dass beides, sowohl positive als auch negative Rückmeldungen, sehr wichtig sind. Ein ausgewogenes Verhältnis zwischen den Rückmeldungen über die Stärken der Studenten und der Rückmeldung zur Weiterentwicklung der Studenten ist von wesentlicher Bedeutung, um die Nützlichkeit der Rückmeldung und die Aufnahmefähigkeit der Studenten dafür zu erhöhen [23].

Die vorliegende Studie fand heraus, dass die Rückmeldung für die Entwicklung der Studierenden umso weniger spezifisch ist, je höher die Bewertung der klinischen Leistung der Studierenden ist. Die Bewerter könnten dabei in Betracht ziehen, dass Studenten mit hohen Punktzahlen in ihrer Mini-CEX Prüfung keine weitere Rückmeldung für ihre eigene kontinuierliche Entwicklung benötigen. Dies ist eine Ansicht, die geändert werden muss, da jede Leistung eines Studenten Rückmeldung erfordert, um Fehler zu korrigieren, positive Aspekte beizubehalten oder sie sogar weiterzuentwickeln. Die Abgabe einer Rückmeldung für jede studentische Leistung wird die Funktion von Mini-CEX als Lernwerkzeug unterstützen. Die Analyse zeigte auch, dass es, wenn der klinische Fall sehr komplex war, wahrscheinlicher war, dass die Bewerter eine Rückmeldung zu den Stärken der Studenten abgaben. Es gab jedoch keinen signifikanten Zusammenhang zwischen der Fallkomplexität und der Rückmeldung über die Entwicklung der Studenten.

In Bezug auf den Zusammenhang der klinischen Stellung der Bewerter mit der abgegebenen Rückmeldung wurden vielfältigere Ergebnisse gefunden. Oberärzte gaben eher spezifische Rückmeldungen zur Entwicklung, aber sie gaben eher weniger spezifische Rückmeldungen zu den Stärken der Studenten. Allgemeinmediziner gaben einerseits mit höherer Wahrscheinlichkeit mehr spezifisches Feedback zu den Stärken der Studenten; andererseits gaben sie weniger Rückmeldung für die Entwicklung der Studierenden. Interessanterweise gaben Fachärzte, bei denen nicht erwartet wird, dass sie als Mini-CEX-Gutachter tätig sind, mehr Rückmeldung für die Entwicklung der Studenten. Ein angemessenes Training für Fachärzte im Bereich des medizinischen Unterrichts und der Beurteilung könnte hilfreich sein, um ihre Fähigkeit zu verbessern, Studenten zu bewerten und angemessenes Feedback zu geben.

Fernando et al. [3] verwendeten eine andere Kategorie von Assessoren, als sie den Zusammenhang zwischen Feedback und Typ von Bewertern basierend auf 396 Mini-CEX-Sitzungen analysierten. Trotz der geringen Signifikanz und der begrenzten Generalisierbarkeit war die Möglichkeit für akademische Auszubildende (Lehrende und Forschende), Vorschläge für Entwicklungs- und Handlungspläne abzugeben, höher als bei Ober- und Assistenzärzten. Sie argumentieren, dass die Vertrautheit mit Lehr- und Bewertungsgrundsätzen, einschließlich der Frage, wie man Rückmeldung geben kann, die mögliche Ursache hierfür ist. Diese Ergebnisse bestätigen des Weiteren die Notwendigkeit eines strukturierten Gutachtertrainings, um ihre Fähigkeit zur Abgabe einer Rückmeldung zu standardisieren.

Die Verteilung der Mini-CEX-Bewertungen in der vorliegenden Studie deutete immer noch auf ein Ungleichgewicht hin, zum Beispiel gab es nur etwa 3% der Mini-CEX-Bewertungen in der Notfallsituation entweder in der Medizin oder in der Chirurgie-Rotation. Medizinstudenten haben im Vergleich zu den Postgraduierten, für die die Mini-CEX Prüfung ursprünglich konzipiert wurde, eine kürzere Rotationsdauer in jedem klinischen Praktikum und eine begrenzte Exposition gegenüber klinischen Fällen. Daher kann es von Vorteil sein, wenn den Studenten ein strukturierteres Mini-CEX zur Verfügung gestellt wird, einschließlich der Auswahl klinischer Fälle und Einstellungen durch die Ausbilder.

Die medizinische Fakultät erwartet, dass die Bewerter Oberärzte oder Allgemeinmediziner sind, jedoch gibt es immer noch Ärzte in Ausbildung, die als Mini-CEX Gutachter fungieren. Eine ähnliche Situation trat auch in der Studie von Fernando et al. [3] auf. Die Variabilität der Bewerter ist einerseits ein wichtiger Aspekt von Mini-CEX, um unterschiedliche Perspektiven hinsichtlich der Leistung eines Studenten zu erhalten, aber andererseits muss ein System vorhanden sein, das sicherstellt, dass jeder Bewerter das von den Studierenden erwartete Leistungsniveau kennt und die Fähigkeit hat, eine stichhaltige und zuverlässige Benotung zu erstellen.

Es gibt eine Reihe von möglichen Erklärungen für die hohen Bewertungen von Studenten. Die Mini-CEX Prüfung wird an dieser speziellen Universität als Hürdenbewertung verwendet. Jeder Student muss innerhalb eines Semesters sechs Mini-CEX-Bewertungsformulare einsenden und kann hierfür die besten sechs aus mehreren seiner Mini-CEX auswählen. Die hohen Bewertungen können ihre Ursache auch in der Tendenz der Bewerter haben, niedrige Punktzahlen für Studenten zu vermeiden. In der Studie, die Mini-CEX in einem Bachelor-Studiengang untersuchte, fanden Hill und Kendall heraus, dass Gutachter sehr zögerlich waren, niedrige Bewertungen abzugeben, wenn sie auf sich allein gestellt waren, insbesondere weil sie keine Bestätigung von einem anderen Gutachter über die Richtigkeit ihrer Bewertung erhalten konnten und auch weil sie unmittelbar im Anschluss ihre Rückmeldung abgeben mussten [4]. Basierend auf einer Untersuchung der Forschung zu Mini-CEX von 1995-2009, kamen Hawkins, Margolis, Durning und Norcini zu dem Schluss, dass hohe Bewertungen in Mini-CEX üblich waren und einer der plausiblen Gründe waren die Bedenken der Prüfer bezüglich der Auswirkungen ihrer Bewertungen auf Studenten [24].

Die Komplexität des klinischen Falls hatte keine Beziehung auf die Bewertung der klinischen Leistung der Studenten. Die sieben Bereiche der klinischen Leistung waren jedoch korreliert. Dieser Befund zeigt, dass in gewissem Maß die Beurteilung kein unabhängiges Maß für jeden Bereich der klinischen Leistung sein kann. Hill, Kendall, Galbraith und Crossley [25] und Margolis et al. [26] identifizierten sehr starke positive Beziehungen zwischen Benotungen in den Bereichen und sie könnten die Fähigkeit von Mini-CEX beeinträchtigen, einen individuellen Kompetenzbereich zu bewerten. Hawkins, et al. argumentierte, dass es für die Prüfer schwierig sein könnte, die Leistungen der Studenten in mehrere Bereiche aufzuschlüsseln, oder dass die Bereiche selbst korrelieren [24].

Die in der vorliegenden Studie erzielten mäßigen bis starken positiven Beziehungen deuten darauf hin, dass das Bewertungssystem in gewissem Maße auch nützlich sein kann, um die Leistung der Studierenden in mehreren Komponenten zu unterscheiden, oder dass es in dieser speziellen Gruppe von Studierenden eine recht hohe Anzahl von Studierenden gab, die eine signifikant gute oder schlechte Leistung in einem bestimmten Bereich zeigten. Diese Situation kann zu einem positiven Zusammenhang führen, der nicht so stark ist wie er in anderen Studien identifiziert wurde.


5. Schlussfolgerungen

Die Funktion der Mini-CEX Prüfung als Lernmittel liegt in ihrer Fähigkeit, Medizinstudenten eine Chance zur direkten Beobachtung und nützliches Feedback anzubieten. Allerdings zeigt die vorliegende Studie, dass die Funktion von Mini-CEX für die Bereitstellung von spezifisch schriftlichen Feedbacks noch nicht erreicht wurde.

Unsere Ergebnisse suggerieren, dass das Konzept des studentenbezogenen Feedbacks während des Rückmeldungsprozesses unterstrichen werden muss, ohne die Tatsache zu ignorieren, dass die klinische Fallkomplexität und die Position der klinischen Gutachter die Art des abgegebenen Feedbacks wahrscheinlich beeinflussen.

Strukturierte Ausbildung für klinische Lehrer und Mini-CEX-Gutachter zur Verbesserung der Fähigkeit zur Bereitstellung spezifischen und studentenbezogenen Feedbacks ist somit wichtig, um das Lerninstrument Mini-CEX zu optimieren.


Interessenkonflikt

Die Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.


Literatur

1.
Norcini JJ, Blank LL, Arnold GK, Kimball HR. The Mini-CEX (Clinical Evaluation Exercise): A preliminary investigation. Ann Intern Med. 1995;123(10):795-799. DOI: 10.7326/0003-4819-123-10-199511150-00008 Externer Link
2.
Norcini JJ, Blank LL, Duffy FD, Fortna GS. The Mini-CEX: A method for assessing clinical skills. Ann Intern Med. 2003;136(6):476-481. DOI: 10.7326/0003-4819-138-6-200303180-00012 Externer Link
3.
Fernando N, Cleland J, McKenzie H, Cassar K. Identifying the factors that determine feedback given to undergraduate medical students following formative mini-CEX assessments. Med Educ. 2008;42(1):89-95.
4.
Hill F, Kendall K. Adopting and adapting the mini-CEX as an undergraduate assessment and learning tool. Clin Teach. 2007;4:244-248. DOI: 10.1111/j.1743-498X.2007.00185.x Externer Link
5.
Kogan JR, Hauer KE. Use of the Mini-Clinical Evaluation Exercise in internal medicine core clerkships. J Gen Intern Med. 2006;21(5):501-502. DOI: 10.1111/j.1525-1497.2006.00436.x Externer Link
6.
Van de Ridder M, Stokking K, McGaghie W, Ten Cate O. What is feedback in clinical education? Med Educ. 2008;42(2):189-197. DOI: 10.1111/j.1365-2923.2007.02973.x Externer Link
7.
Hattie J, Timperley H. The Power of feedback. Rev Educ Res. 2007;77(1):81-112. DOI: 10.3102/003465430298487 Externer Link
8.
Ende J. Feedback in clinical medical education. JAMA. 1983;250(6):777-781. DOI: 10.1001/jama.1983.03340060055026 Externer Link
9.
Hesketh EA, Laidlaw JM. Developing the teaching instinct, 1: Feedback. Med Teach. 2000;24(3):245-248. DOI: 10.1080/014215902201409911 Externer Link
10.
Dewi SP, Achmad TH. Optimising feedback using the mini-CEX during the final semester programme. Med Educ. 2010;44(5):509. DOI: 10.1111/j.1365-2923.2010.03677.x Externer Link
11.
Hauer KE. Enhancing feedback to students using the Mini-CEX (Clinical Evaluation Exercise). Acad Med. 2000;75(5):524. DOI: 10.1097/00001888-200005000-00046 Externer Link
12.
Jackson D, Wall D. An evaluation of the use of the mini-CEX in the foundation programme. Br J Hosp Med. 2010;71(10):584-588. DOI: 10.12968/hmed.2010.71.10.78949 Externer Link
13.
Malhotra S, Hatala R, Courneya C. Internal medicine residents' perceptions of the Mini-Clinical Evaluation Exercise. Med Teach. 2008;30(4):414-419. DOI: 10.1080/01421590801946962 Externer Link
14.
Holmboe E, Yepes M, Williams F, Huot SJ. Feedback and the Mini Clinical Evaluation Exercise. J Gen Intern Med. 2004;19(5 Pt 2):558-561. DOI: 10.1111/j.1525-1497.2004.30134.x Externer Link
15.
Namey E, Guest G, Thairu L, Johnson L. Data Reduction Techniques for Large Qualitative Data Sets. In: Guest G, MacQueen KM (Hrsg). Handbook for Team-based Qualitative Research. Plymouth: Altamira Press; 2008. S.137-162.
16.
Field A. Discovering statistics using SPSS. 2nd ed. London: Sage Publications; 2009.
17.
Fleiss JL. The design and analysis of clinical experiments. New York: John Wiley & Sons; 1986.
18.
Balzer WK, Doherty ME, O'Connor RJ. Effects of cognitive feedback on performance. Psychol Bull. 1989;106(3):410-433. DOI: 10.1037/0033-2909.106.3.410 Externer Link
19.
Butler DL, Winne PH. Feedback and self-regulated learning: A theoretical synthesis. Rev Educ Res. 1995;65:245-281. DOI: 10.3102/00346543065003245 Externer Link
20.
Menachery EP, Knight AM, Kolodner K, Wright SM. Physician characteristics associated with proficiency in feedback skills. J Gen Intern Med. 2006;21(5):440-446. DOI: 10.1111/j.1525-1497.2006.00424.x Externer Link
21.
Shute VJ. Focus on formative feedback. Rev Educ Res. 2008;78(1):153-189. DOI: 10.3102/0034654307313795 Externer Link
22.
Watling C, Driessen E, Van der Vleuten CPM, Vanstone M, Lingard L. Understanding responses to feedback: The potential and limitations of regulatory focus theory. Med Educ. 2012;46(6):593-603. DOI: 10.1111/j.1365-2923.2012.04209.x Externer Link
23.
Boehler ML, Rogers DA, Schwind CJ, Mayforth R, Quin J, Williams RG, Dunnington G. An investigation of medical student reactions to feedback: A randomised controlled trial. Med Educ. 2006;40(8):746-749. DOI: 10.1111/j.1365-2929.2006.02503.x Externer Link
24.
Hawkins RE, Margolis MJ, Durning SJ, Norcini JJ. Constructing a validity argument for the Mini-Clinical Evaluation Exercise: A review of the research. Acad Med. 2010;85(9):1453-1461. DOI: 10.1097/ACM.0b013e3181eac3e6 Externer Link
25.
Hill F, Kendall K, Galbraith K, Crossley J. Implementing the undergraduate mini-CEX: A tailored approach at Southampton University. Med Educ. 2009;43(4):326-334. DOI: 10.1111/j.1365-2923.2008.03275.x Externer Link
26.
Margolis MJ, Clauser BE, Cuddy MM, Ciccone A, Mee J, Harik P, Hawkins RE. Use of the Mini-Clinical Evaluation Exercise to rate examinee performance on a multiple-station clinical skills examination: A validity study. Acad Med. 2006;81(10 Suppl):56-60. DOI: 10.1097/01.ACM.0000236514.53194.f4 Externer Link