gms | German Medical Science

GMS Zeitschrift für Medizinische Ausbildung

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 1860-3572

Retrospektive Anpassung der Selbsteinschätzung ärztlicher Kompetenzen – Beachtenswert bei der Evaluation praktischer Weiterbildungskurse

Forschungsarbeit Humanmedizin

Suche in Medline nach

  • corresponding author Michael Nagler - Universitätsklinik für Hämatologie und Hämatologisches Zentrallabor, Inselspital, Bern, Schweiz
  • S. Feller - Universität Bern, Medizinische Fakultät, Institut für Medizinische Lehre, Abteilung für Assessment und Evaluation, Bern, Schweiz
  • author Christine Beyeler - Universität Bern, Medizinische Fakultät, Institut für Medizinische Lehre, Abteilung für Assessment und Evaluation, Bern, Schweiz

GMS Z Med Ausbild 2012;29(3):Doc45

doi: 10.3205/zma000815, urn:nbn:de:0183-zma0008156

Dieses ist die Originalversion des Artikels.
Die übersetzte Version finden Sie unter: http://www.egms.de/en/journals/zma/2012-29/zma000815.shtml

Eingereicht: 24. Juni 2011
Überarbeitet: 18. Dezember 2011
Angenommen: 17. Januar 2012
Veröffentlicht: 15. Mai 2012

© 2012 Nagler et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielfältigt, verbreitet und öffentlich zugänglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Zusammenfassung

Zielsetzung: Die Wirksamkeit von praktischen Weiterbildungskursen wird häufig mittels Selbsteinschätzungsinstrumenten evaluiert. Diese Studie analysiert den Effekt eines Basiskurses in laparoskopischer Chirurgie auf die Selbsteinschätzung ärztlicher Kompetenzen durch die Teilnehmer.

Methodik: Der dreitägige Kurs beinhaltete das Vermitteln von Fachwissen und das Üben von praktischen Fertigkeiten. Im Rahmen der Kursevaluation wurde ein Fragebogen zur Selbsteinschätzung eingesetzt

1.
zu Beginn des Kurses ('vorkurslich'),
2.
am Ende des Kurses ('nachkurslich') und
3.
am Ende des Kurses in Bezug auf die Kompetenzen vor dem Kurs ('retrospektiv vorkurslich').

Ergebnisse: An 10 Kursen füllten 89 von 110 Teilnehmern (81%) alle Fragebogen aus. Davon befanden sich 83% in chirurgischer Weiterbildung, 82% hatten noch keine Erfahrung als selbstständiger Operateur. Zu Beginn des Kurses schätzte sich die überwiegende Mehrheit der Teilnehmer als 'mittel befähigt' oder 'voll befähigt' ein, sowohl hinsichtlich verschiedener Tätigkeitsniveaus als auch spezifischer Kompetenzbereiche. Am Ende des Kurses zeigten sich im Rückblick deutliche Revisionen der Selbsteinschätzungen nach unten. Hinsichtlich der 'Tätigkeit als Operateur unter Aufsicht' und den meisten am Kurs geübten praktischen Fertigkeiten erreichten diese Differenzen Signifikanzniveau (p<0.01). Im Gegensatz dazu fanden sich bei der Einschätzung des am Kurs vermittelten Fachwissens beziehungsweise der nicht im Zentrum des Trainings stehenden Teamfähigkeit und Konzentrationsfähigkeit keine signifikanten Unterschiede.

Schlussfolgerungen: Wenig erfahrene Chirurgen passen die Selbsteinschätzung ihrer 'vorkurslichen' Kompetenzen nach Absolvieren eines praktischen Weiterbildungskurses nach unten an. Beim ausschliesslichen Vergleich der 'vorkurslichen' und 'nachkurslichen' Selbsteinschätzung – ohne 'retrospektiv vorkursliche' Einschätzung – kann die Wirkung des Trainings unterschätzt werden. Es gilt, dieses Phänomen bei derartigen Evaluationen mit Einsatz von Selbsteinschätzungsfragebogen zu beachten.

Schlüsselwörter: medical education, evaluation studies, diagnostic self evaluation, clinical competence, laparoskopy/*education


Einleitung

Beim Training ärztlicher Kompetenzen interessiert in erster Linie, ob dieses wirksam ist und die angestrebten Ziele erreicht werden [1], [2]. Kirkpatrick schlägt in seinem Evaluationsmodell vor, den Effekt von Trainings auf vier Stufen zu beurteilen. Auf der ersten Stufe wird die Zufriedenheit der Lernenden ('Reaction') erfragt, auf der zweiten Stufe der Lernzuwachs ('Learning'), die dritte Stufe untersucht die Anwendung des Gelernten im beruflichen Alltag ('Behavior') und die letzte Stufe beurteilt die Auswirkungen der Trainings im beruflichen Alltag ('Outcomes'/ 'Results') [3], [4]. Das Modell wird verschiedentlich kritisiert, weil für den Lernprozess bedeutsame Faktoren wie etwa Persönlichkeitseigenschaften, Lernkultur und Art der Lehrmittel vernachlässigt werden [5]. Zudem konnten für die kausale Verbindung der Stufen 1 bis 4 kaum Hinweise gefunden werden [5]. Des weiteren gibt es wenig Belege für die Annahme, dass Kriterien der Stufe 4 in jedem Fall wichtiger sind als die Kriterien der Stufen 1 bis 3 [5]. Gleichwohl gelang es Kirkpatrick mit seinem 4-Stufen-Modell, die komplexen Prozesse der Evaluation von Weiterbildungsprogrammen zu vereinfachen, zu systematisieren und die Beurteilung von 'Behavior' und 'Outcomes' als wichtige Kriterien zu etablieren [5]. Die Beurteilung dieser Kriterien ist aber häufig aufgrund des komplexen Untersuchungsgegenstandes oder fehlender finanzieller Mittel nicht möglich, weshalb meist nur die Stufen 1 und 2 mittels Selbsteinschätzungsinstrumenten beurteilt werden.

Die Fähigkeit zur Selbsteinschätzung und Selbstreflexion werden als ärztliche Kernkompetenzen angesehen [6]. Sie dienen der Identifikation eigener Stärken und Schwächen, dem unentbehrlichen Vertrauen in die eigenen Kompetenzen sowie der notwendigen Selbstbeschränkung im Hinblick auf die ärztlichen Tätigkeiten [7]. Im Lernprozess können dank Selbsteinschätzung und Selbstreflexion Ziele formuliert und Gelerntes im Sinne einer Feedback-Funktion evaluiert werden. Eine kürzlich veröffentlichte Übersichtsarbeit zeigte jedoch, dass Ärzte die eigenen Kompetenzen nur eingeschränkt beurteilen können. Besonders beunruhigend fanden die Autoren, dass die am wenigsten kompetenten Ärzte sich am meisten überschätzen [8]. Diese Beobachtung wurde in anderen Untersuchungen bestätigt, wonach wenig kompetente Personen die eigenen Kompetenzen und die anderer Personen nicht angemessen beurteilen können [9], [10], [11]. Zu Beginn eines Trainings kann es während der Erhebung der Ausgangsdaten zu einer deutlichen Selbstüberschätzung durch Unerfahrene kommen [12]. Geeignete Trainings können jedoch nicht nur die Kompetenzen verbessern, sondern auch zu einer realistischeren Selbsteinschätzung führen [12], [13].

Die Literatur legt somit nahe, dass die Evaluation der Wirksamkeit von Trainings ausschliesslich mit Hilfe von Selbsteinschätzungsinstrumenten mit systematischen Fehlern behaftet sein kann.

Die medizinische Weiterbildung, die lange nach dem Lehrling-Meister-Prinzip [14] organisiert war, findet nun vermehrt in Kursen statt. Insbesondere in den chirurgischen Disziplinen wurden strukturierte Weiterbildungskurse notwendig, weil immer mehr spezialisierte Verfahren hohe technische Fertigkeiten benötigen [15], [16]. Verschiedene Untersuchungen konnten Belege für deren Wirksamkeit insbesondere im Falle der laparoskopischen Chirurgie erbringen [17], [18], [19].


Fragestellungen

Am Beispiel eines praktischen Weiterbildungskurses in laparoskopischer Chirurgie soll untersucht werden, ob und wie sich die Selbsteinschätzung ärztlicher Kompetenzen im Verlauf dieses Trainings verändert. Zudem soll der mögliche Einfluss auf die Wirksamkeitseinschätzung derartiger praktischer Weiterbildungskurse diskutiert werden. Dabei stellen sich die folgenden Fragen:

1.
Wie schätzen die Kursteilnehmer ihre Kompetenzen ein
1.1.
zu Beginn des Kurses ('vorkurslich'),
1.2.
am Ende des Kurses ('nachkurslich') und
1.3.
am Ende des Kurses in Bezug auf ihre Kompetenzen vor dem Kurs ('retrospektiv vorkurslich')?
2.
Verändert sich die Selbsteinschätzung aufgrund des Kursbesuches ('nachkurslich' im Vergleich zu 'vorkurslich' bzw. 'retrospektiv vorkurslich' im Vergleich zu 'vorkurslich')? Wenn ja, in welchen Kompetenzbereichen?
3.
Wenn ja, besteht ein Unterschied zwischen Kompetenzbereichen, in denen ein Training erfolgt, im Vergleich zu Kompetenzbereichen ohne Training?

Methodik

Die vorliegende Untersuchung wurde in 10 Basiskursen zur laparoskopischen Cholezystektomie am European Surgical Institute der Fa. Ethicon Endo-Surgery in Norderstedt, Deutschland durchgeführt.

Weiterbildungskurs

In dreitägigen Kursen wurden Fachwissen vermittelt und Fertigkeiten im komplexen operativen Umfeld geübt. In einer ersten Phase wurden Basiskenntnisse unterrichtet und grundlegende Fertigkeiten trainiert. Während insgesamt 3¼ Stunden fanden Vorträge zu anatomischen, physiologischen und klinischen Grundlagen sowie zum Operationsablauf statt. Eine Videodemonstration (1½ Stunden) widmete sich möglichen Fehlern und Gefahren. Eine praktische Demonstration zeigte den Umgang mit laparoskopischen Instrumenten (ca. 1 Stunde). Übungen zu manuellen Fertigkeiten umfassten Naht- und Knüpftechniken in mikrochirurgischer Umgebung (ca. 2 Stunden) sowie an der Computersimulation (ca. 2 Stunden). In einer zweiten Phase wurden die gelernten Fertigkeiten in das Umfeld der laparoskopischen Chirurgie übertragen. Hierfür fanden Nahtübungen am offenen und anschliessend am geschlossenen Abdomen ('Pelvitrainer') statt. Zuletzt wurde dem simulierten Operationsumfeld ein Organmodell (Schweineleber) hinzugeführt, an welchem die Teilnehmer eine laparoskopische Cholezystektomie durchführten (6 Stunden). Während des Trainings wurde in Gruppen gearbeitet und fortlaufend Feedback gegeben. Die Kurse zielten damit auf einen Kompetenzzuwachs hinsichtlich Fachwissen und manueller Fertigkeiten im laparoskopischen Umfeld.

Fragebogen und Datenerhebung

Zur Selbsteinschätzung verschiedener Aspekte laparoskopischer Kompetenzen wurde ein Fragebogen entwickelt (siehe Tabelle 1 [Tab. 1]). Ein komplettes Item ist in Tabelle 2 [Tab. 2] dargestellt. Einerseits wurde das Zutrauen in verschiedene Tätigkeiten erfragt, z.B. 'Fühlen Sie sich befähigt, bei laparoskopischen Operationen selbstständig zu operieren'. Dabei mussten sich die Teilnehmer bei vier Tätigkeitsniveaus auf einer 5-stufigen Skala entscheiden zwischen 0 'trifft nicht zu' bis 4 'trifft voll und ganz zu'. Anderseits wurde das Zutrauen in verschiedenen laparoskopischen Kompetenzbereichen erfragt: 'Wie schätzen Sie Ihre Fähigkeiten ein hinsichtlich...?'. Dabei benutzten die Teilnehmer eine 5-stufige Skala von 0 'niedrig' bis 4 'sehr hoch'. Zur Darstellung wurden die Daten nach Fachwissen, Fertigkeiten, Urteilsvermögen und professionellem Verhalten geordnet (siehe Tabelle 1 [Tab. 1]). Einer psychometrischen Analyse hinsichtlich Gütekriterien wurde der Fragebogen bis anhin nicht unterzogen.

Die Teilnehmer von 10 Basiskursen zur laparoskopischen Chirurgie in den Jahren 2000 und 2001 erhielten je einen Fragebogen zu Beginn und am Ende des dreitägigen Kurses. Dabei beurteilten sie ihre aktuellen laparoskopischen Kompetenzen zu Beginn des Kurses ('vorkurslich') und am Ende des Kurses ('nachkurslich'), sowie am Ende des Kurses im Rückblick auf die Kompetenzen vor dem Kurs ('retrospektiv vorkurslich').

Datenauswertung

Die Daten wurden pseudonymisiert erfasst, die Auswertung erfolgte mit SPSS® 15.

Zur Präsentation der Ergebnisse bezüglich der ersten Fragestellung wurden die Antwortstufen 0 und 1 zur Kategorie 'wenig befähigt', Stufe 2 zur Kategorie 'mittel befähigt' sowie Stufen 3 und 4 zur Kategorie 'voll befähigt' zusammengefasst und tabellarisch dargestellt. Zur Beantwortung der Fragestellungen 2 und 3 (Vergleich der Selbsteinschätzungen 'nachkurslich' vs. 'vorkurslich' bzw. 'retrospektiv vorkurslich' vs. 'vorkurslich') wurden Wilcoxon-Tests angesichts signifikanter Abweichungen von der Normalverteilung gerechnet. Da die Vergleiche auf der Ebene mehrerer Fragebogen-Items durchgeführt wurden, kam die Bonferroni-Holm-Korrektur zur Anwendung. Hierbei wird der grösste Kennwert der Einzelvergleiche auf einem Signifikanzniveau von α`=α / m (d.h. 0.05 / Anzahl der Einzelvergleiche) bewertet. Ist er signifikant, wird der nächst grössere Kennwert auf einem Signifikanzniveau von α / (m-1) getestet etc., bis der nachfolgende Kennwert kein Signifikanzniveau mehr erreicht [20].


Ergebnisse

Die Basischarakteristika der untersuchten Stichprobe sowie die Erfahrungen der teilnehmenden Chirurgen vor Teilnahme am Weiterbildungskurs sind in Tabelle 3 [Tab. 3] dargestellt.

Selbsteinschätzung der Kompetenzen

'Vorkurslich' schätzten mehr als die Hälfte der Teilnehmer ihre Fähigkeit als gering ein, selbstständig zu operieren, während sich die meisten Teilnehmer für eine Tätigkeit als Operateur unter Aufsicht, als erster Assistent und als Kameraassistent 'mittel befähigt' bis 'voll befähigt' fühlten (siehe Tabelle 4 [Tab. 4]). In Bezug auf die verschiedenen Kompetenzbereiche wurden 'vorkurslich' das eigene Fachwissen ('Kenntnisse über laparoskopische Operationen') und die eigenen Fertigkeiten ('Manuelle Geschicklichkeit', 'Beherrschung der chirurgischen Basistechniken', 'Sorgfältiger Umgang mit dem Gewebe' sowie 'Navigation und Orientierung im Operationsfeld') von mehr als 90 % der Teilnehmer als 'mittel' bis 'hoch' eingeschätzt. Auch Aspekte professionellen Verhaltens wie 'Problemmanagement und Umgang mit Fehlern', 'Teamfähigkeit' sowie 'Konzentrationsfähigkeit und Umgang mit Stresssituationen' wurden 'vorkurslich' von den meisten Teilnehmern als 'mittel' bis 'hoch' eingeschätzt. Hinsichtlich 'Kenntnisse über Instrumente und technisches Equipment' schätzten gut die Hälfte der Teilnehmer das eigene Fachwissen im mittleren Bereich ein (siehe Tabelle 5 [Tab. 5]).

'Nachkurslich' zeigte sich ein signifikanter Anstieg der Selbsteinschätzung in den verschiedenen Tätigkeitsniveaus, mit Ausnahme der 'Tätigkeit als Kameraassistent' (siehe Tabelle 6 [Tab. 6]). In den Kompetenzbereichen 'Kenntnisse über laparoskopische Operationen' und 'Kenntnisse über Instrumente und technisches Equipment' sowie 'Navigation und Orientierung im Operationsfeld' schätzten die Teilnehmer die eigene Fähigkeit 'nachkurslich' signifikant höher ein. In den übrigen Kompetenzbereichen zeigte sich 'nachkurslich' eine ähnliche Selbsteinschätzung wie vor Absolvierung des Kurses (siehe Tabelle 7 [Tab. 7]).

Im Vergleich 'vorkurslich' und 'retrospektiv vorkurslich' zeigte sich eine signifikante Veränderung der Selbsteinschätzung einzig beim Tätigkeitsniveau 'Tätigkeit als Operateur unter Aufsicht': 'vorkurslich' schätzten sich 74% der Teilnehmer dazu als 'voll befähigt' ein, retrospektiv 'vorkurslich' sank der Anteil auf 57% (siehe Tabelle 4 [Tab. 4]; 5 [Tab. 5]). In den spezifischen Kompetenzbereichen zeigte sich in den meisten am Kurs geübten praktischen Fertigkeiten ein signifikanter Unterschied ('Manuelle Geschicklichkeit', 'Beherrschung der chirurgischen Basistechniken', 'sorgfältiger Umgang mit dem Gewebe'; Ausnahme 'Navigation und Orientierung im Operationsfeld), zudem in den Kompetenzbereichen 'Problemmanagement und Umgang mit Fehlern' sowie 'Klinisch-chirurgisches Urteilsvermögen'. Der Anteil der Teilnehmer, die ihre Kompetenzen 'vorkurslich' als 'niedrig' einschätzten, stieg 'retrospektiv vorkurslich' deutlich an. Im Gegensatz dazu zeigte sich bei der Einschätzung des am Kurs vermittelten Fachwissens ('Kenntnisse über laparoskopische Operationen', 'Kenntnisse über Instrumente und technisches Equipment') und der nicht im Zentrum des Training stehenden 'Teamfähigkeit' kein signifikanter Unterschied (siehe Tabelle 6 [Tab. 6]; 7 [Tab. 7]).


Diskussion

Die vorliegende Untersuchung erbrachte Evidenz für die Selbstüberschätzung ärztlicher Kompetenzen durch unerfahrene Chirurgen. Erstens beurteilten die Teilnehmer ihre laparoskopischen Kompetenzen vor Absolvieren dieses praktischen Weiterbildungskurses als mittel bis hoch, sowohl hinsichtlich der verschiedenen Tätigkeitsniveaus (Ausnahme 'Tätigkeit als selbständiger Operateur') als auch hinsichtlich der einzelnen spezifischen Kompetenzbereiche. Dies ist insofern erstaunlich, als sich alle Teilnehmer für einen Kurs zum Training laparoskopischer Kompetenzen angemeldet hatten und die Minderheit der antwortenden Teilnehmer den Facharzttitel Chirurgie abgeschlossen hatte. Zweitens zeigten unsere Daten eine wesentliche Anpassung der Selbsteinschätzung nach dem Besuch des Weiterbildungskurses. In neun von zehn spezifischen Kompetenzbereichen schätzten mehr als 85% der Teilnehmer ihre Kompetenzen 'vorkurslich' als mittel bis hoch ein. 'Retrospektiv vorkurslich' fand hier eine deutliche Revision der Selbsteinschätzung nach unten statt. Nur noch rund ein Viertel (resp. rund ein Drittel) der Teilnehmer schätzte ihre Kompetenzen in 5 (respektive 3) Bereichen als mittel bis hoch ein. In dem – hinsichtlich der Zielgruppe des Kurses – wichtigsten Tätigkeitsniveau ('Tätigkeit als Operateur unter Aufsicht') und in 5 von 10 spezifischen Kompetenzbereichen, insbesondere bei den meisten praktischen Fertigkeiten, erreichte diese Anpassung Signifikanzniveau. Kein statistisch signifikanter Unterschied fand sich jedoch bei dem am Kurs vermittelten Fachwissen ('Kenntnisse über laparoskopische Operationen' und 'Kenntnisse über Instrumente und Equipment'). Ebenso kam es zu keiner statistisch signifikanten Differenz der selbst eingeschätzten 'Teamfähigkeit' sowie 'Konzentrationsfähigkeit und Umgang mit Fehlern'. Diese Aspekte professionellen Verhaltens waren nicht Gegenstand des Trainings und die Teilnehmer erhielten hierzu auch kein Feedback.

Unsere Resultate im Bereich der laparoskopischen Chirurgie bestätigen die Ergebnisse anderer Studien, wonach unerfahrene Chirurgen zur Selbstüberschätzung tendieren [10], [13]. Ebenso unterstützen sie frühere Publikationen, wonach durchgeführte Trainings über den Kompetenzzuwachs [17], [18], [19] und das erhaltene Feedback zu verbesserten 'metakognitiven Fähigkeiten' und zu einer realistischeren Selbsteinschätzung führen können [12], [13]. Es darf aber zugleich nicht ausser Acht gelassen werden, dass auch retrospektive Einschätzungen sozialpsychologischen Einflussfaktoren (z.B. 'soziale Erwünschtheit' und fehlende Selbstwert-Bedrohung der rückblickend am Kursende nach unten korrigierten Selbsteinschätzung) und Verzerrungsphänomenen (z.B. 'Hindsight Bias' / Rückschaufehler) unterliegen können [21].

In der vorliegenden Studie haben wir uns auf die Untersuchung der Selbsteinschätzung im Verlauf eines typischen praktischen Weiterbildungskurses beschränkt. Eine zusätzlich durchgeführte objektive Beurteilung des Kompetenzzuwachses hätte die Aussagekraft der Ergebnisse ergänzt. Da objektive Bewertungsmassstäbe im Bereich der chirurgischen Fähigkeiten nur beschränkt existieren [22] und deren Anwendung mit erheblichem Ressourcenbedarf einhergeht, haben wir darauf verzichtet.

Die erhobenen Daten legen nahe, dass die Effekte der initialen Selbstüberschätzung die Resultate von Kursevaluationen mittels Selbsteinschätzungsinstrumenten beeinflussen. Insbesondere kann es bei einem ausschliesslichen Vergleich 'vorkurslich' – 'nachkurslich' zu einer Unterschätzung des Trainingseffektes kommen. Als Konsequenz der vorliegenden Untersuchung sollte die retrospektive Anpassung der Selbsteinschätzung in der Evaluation von Trainings berücksichtigt werden. Auch wenn diese 'retrospektiv-vorkursliche' Selbsteinschätzung ihrerseits kein objektives Mass oder Gold-Standard bieten kann, liefert sie jedoch weitere wertvolle Anhaltspunkte, um das Ausmass der initialen Selbstüberschätzung einzuordnen. Wenn das 'Erkennen' dieser initialen Selbstüberschätzung und deren Korrektur in den Lernzielkatalog von Trainingsmassnahmen einbezogen wird, könnte es einen wichtigen Beitrag im Lernprozess der Teilnehmer darstellen.


Danksagung

Die Autoren danken Ethicon Endo-Surgery, Norderstedt (Deutschland) und insbesondere Herrn Thomas Bürger für die Möglichkeit zur Durchführung der Untersuchung im Rahmen des Weiterbildungskurses in laparoskopischer Chirurgie. Wir danken Frau Dr. rer. nat. Anja Rogausch für die Überarbeitung der statistischen Analysen.


Interessenkonflikt

Die Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben. M. Nagler war in den Jahren 2000 bis 2002 als studentische Hilfskraft für verschiedene Projekte bei Ethicon-Endo Surgery, Norderstedt (Deutschland) angestellt. Andere mögliche Interessenskonflikte in Zusammenhang mit dem vorliegenden Artikel bestehen nicht.


Literatur

1.
Musick DW. A conceptual model for program evaluation in graduate medical education. Acad Med. 2006;81(8):759-765. DOI: 10.1097/00001888-200608000-00015 Externer Link
2.
Fabry G, Lammerding-Köppel M, Hofer M, Ochsendorf F, Schirlo C, Breckwoldt J. Hochschuldidaktische Qualifizierung in der Medizin IV: Messung von Wirksamkeit und Erfolg medizindidaktischer Qualifizierungsangebote: Ein Positionspapier des GMA-Ausschusses Personal- und Organisationsentwicklung für die medizinische Lehre der Gesellschaft für Medizinische Ausbildung sowie des Kompetenzzentrums für Hochschuldidaktik in Medizin Baden-Württemberg. GMS Z Med Ausbild. 2010;27(4):Doc62. DOI: 10.3205/zma000699 Externer Link
3.
Kirkpatrick DL. Evaluating Training Programs: The Four Levels. San Francisco/CA: Berrett-Koehler; 1994.
4.
Kirkpatrick DL. Evaluation of training. In: Craig RL (Hrsg). Training and development handbook: A guide to human resource development. New York: McGraw Hill; 1976.
5.
Bates R. A critical analysis to evaluation practice: the kirkpatrick modell and the principle of benevolence. Eval Prog Plan. 2004;27:341-347. DOI: 10.1016/j.evalprogplan.2004.04.011 Externer Link
6.
Gordon MJ. A review of the validity and accuracy of self-assessments in health professions training. Acad Med. 1991;66(12):762-769. DOI: 10.1097/00001888-199112000-00012 Externer Link
7.
Eva KW, Regehr G. Self-Assessment in the Health Professions: A Reformulation and Research Agenda. Acad Med. 2005;80(10 Suppl):S46-54. DOI: 10.1097/00001888-200510001-00015 Externer Link
8.
Davis DA, Mazmanian PE, Fordis M, Van Harrison R, Thorpe KE, Perrier L. Accuracy of physician self-assessment compared with observed measures of competence: a systematic review. JAMA. 2006;296(9):1094-1102. DOI: 10.1001/jama.296.9.1094 Externer Link
9.
Chi MT, Glaser R, Rees E. Expertise in problem solving. In: Sternberg R (Hrsg). Advances in the psychology of human intelligence. Hillsdale/NJ: Erlbaum; 1982. S.7-75.
10.
McPherson SL, Thomas JR. Relation of knowledge and performance in boy's tennis: Age and expertise. J Exper Child Psychol. 1989;48:190-211. DOI: 10.1016/0022-0965(89)90002-7 Externer Link
11.
Hofer M, Galonska L, Sievers K, Önenköprülü B, Heussen N. Evaluation eines Trainingskonzepts "Plenardidaktik" für Dozenten in Vorlesungen. GMS Z Med Ausbild. 2010;27(3):Doc47. DOI: 10.3205/zma000684 Externer Link
12.
Kruger J, Dunning D. Unskilled and unware of it: how difficulties in recognizing one's own incompetence lead to inflated self-assessments. J Pers Soc Psychol. 1999;77(6):1121-1134. DOI: 10.1037/0022-3514.77.6.1121 Externer Link
13.
Hodges B, Regehr G, Martin D. Difficulties in recognizing one`s own incompetence: novice physicians who are unskilled and unaware of it. Acad Med. 2001;76(10 Suppl):S87-89. DOI: 10.1097/00001888-200110001-00029 Externer Link
14.
Ericsson KA. Deliberate practice and the aquisition and maintenance of expert performance in medicine and related domains. Acad Med. 2004;79(10 Suppl):70-81. DOI: 10.1097/00001888-200410001-00022 Externer Link
15.
DesCôteaux JG, Leclere H. Learning surgical technical skills. Can J Surg. 1995;38(1):33-38.
16.
Hamdorf JM, Hall JC. Acquiring surgical skills. Br J Surg. 2000;87(1):28-37. DOI: 10.1046/j.1365-2168.2000.01327.x Externer Link
17.
Rosser JC, Rosser LE, Savalgi RS. Objective evaluation of a laparoscopic surgical skill program for residents and senior surgeons. Arch Surg. 1998;133(6):657-661. DOI: 10.1001/archsurg.133.6.657 Externer Link
18.
Ritz JP, Grone J, Hopt U, Saeger HD, Siewert JR, Vollmar B, Lauscher JC, Lehmann KS, Buhr HJ. Practical course for visceral surgery in Warnemunde" 10 years on. Significance and benefits of a surgical training course. Chirurg. 2009;80(9):864-871. DOI: 10.1007/s00104-009-1782-0 Externer Link
19.
Grone J, Ritz JP, Buhr HJ, Lauscher JC. Sustainability of skill courses for general and visceral surgery--evaluation of the long-term effect. Langenbecks Arch Surg. 2010;395(3):277-283. DOI: 10.1007/s00423-009-0568-7 Externer Link
20.
Bortz J. Statistik für Human- und Sozialwissenschaftler. Heidelberg: Springer-Verlag; 2005.
21.
Fischhoff B. Hindsight not equal to foresight: the effect of outcome knowledge on judgment under uncertainty. Qual Saf Health Care. 2003;12(4):304-311; discussion 11-12. DOI: 10.1136/qhc.12.4.304 Externer Link
22.
van Hove PD, Tuijthof GJ, Verdaasdonk EG, Stassen LP, Dankelman J. Objective assessment of technical surgical skills. Br J Surg. 2010;97(7):972-987. DOI: 10.1002/bjs.7115 Externer Link