gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

Studentische Evaluations-Skala für Lehrveranstaltungen mit Simulationen der Arzt-Patient-Interaktion (SES-Sim)

Forschungsarbeit Humanmedizin

  • corresponding author Eva Neumann - Universität zu Köln, Klinik und Poliklinik für Psychosomatik und Psychotherapie, Köln, Deutschland
  • author Rainer Obliers - Universität zu Köln, Klinik und Poliklinik für Psychosomatik und Psychotherapie, Köln, Deutschland
  • author Christine Schiessl - Universität zu Köln, Zentrum für Palliativmedizin, Köln, Deutschland
  • author Christoph Stosch - Universität zu Köln, Medizinische Fakultät, Studiendekanat, Köln, Deutschland
  • Christian Albus - Universität zu Köln, Klinik und Poliklinik für Psychosomatik und Psychotherapie, Köln, Deutschland

GMS Z Med Ausbild 2011;28(4):Doc56

doi: 10.3205/zma000768, urn:nbn:de:0183-zma0007688

Dieses ist die deutsche Version des Artikels.
Die englische Version finden Sie unter: http://www.egms.de/en/journals/zma/2011-28/zma000768.shtml

Eingereicht: 1. Dezember 2010
Überarbeitet: 14. Juli 2011
Angenommen: 27. Juli 2011
Veröffentlicht: 15. November 2011

© 2011 Neumann et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielfältigt, verbreitet und öffentlich zugänglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Zusammenfassung

Zielsetzung: Simulationen von Arzt-Patient-Interaktionen sind zu einer beliebten Methode für das Training medizinischer Kompetenzen, insbesondere kommunikativer Fähigkeiten, geworden. Ein neuer Fragebogen zur Erfassung der studentischen Zufriedenheit mit Lehrveranstaltungen, in denen diese Methode eingesetzt wird, wird vorgestellt, die Studentische Evaluations-Skala für Lehrveranstaltungen mit Simulationen der Arzt-Patient-Interaktion (SES-Sim).

Methodik: Eine Zusammenstellung von Items, die inhaltlich auf die Qualität des Kurses und die zentralen Elemente von Simulationen abzielen, wurde gebildet und 220 Medizinstudierenden vorgelegt, die mit dieser Methode trainiert worden waren.

Ergebnisse: Auf der Basis von Faktorenanalysen wurden 18 Items für die Endversion der Skala ausgewählt, die fünf Dimensionen repräsentieren: Lernerfolg, Schauspielpatienten, Räumlichkeiten, Dozenten und Studierende. Die fünf Dimensionen korrelieren alle bedeutsam mit einer 1-Item-Messung der generellen Zufriedenheit mit dem Kurs.

Schlussfolgerung: Die SES-Sim ermöglicht es Lehrenden, auf ökonomische Weise einschätzen zu können, ob der Kurs den Bedürfnissen der Studierenden entsprach und was verbessert werden kann.

Schlüsselwörter: Medizinische Kompetenzen, Kommunikation, Arzt-Patient-Interaktion, Simulation, studentische Evaluation


Einleitung

In der medizinischen Ausbildung werden zunehmend innovative Lehrveranstaltungen durchgeführt, in denen als Lehrmethode Simulationen der Arzt-Patient-Interaktion eingesetzt werden [1], [2], [3], [4]. Hierbei stellen Studierende und Schauspieler Interaktionen zwischen Arzt und Patient in Rollenspielen nach. Die Schauspieler folgen dabei einem Skript, das inhaltliche Vorgaben zur Darstellung eines bestimmten Krankheitsbildes enthält und zuvor von ihnen eintrainiert wurde. Auch die Studierenden erhalten meist eine Vorgabe zu der Aufgabe, die sie in der Simulation erfüllen sollen. Simulationen der Arzt-Patient-Interaktion dienen der Einübung praktischer ärztlicher Fertigkeiten. Insbesondere erscheinen sie geeignet zur Verbesserung kommunikativer und sozialer Kompetenzen, doch auch andere Fertigkeiten wie zum Beispiel einige körperliche Untersuchungen können mit dieser Methode praxisnah geübt werden.

Die Vorteile der Methode liegen auf der Hand. Da Schauspieler besser verfügbar sind als reale Patienten, ist die Organisation der Veranstaltung einfacher. Die Suche nach Patienten, die das zu behandelnde Krankheitsbild aufweisen und damit einverstanden sind, an einer Lehrveranstaltung teilzunehmen, entfällt. Die Simulation von Krankheitsbildern durch Schauspieler, die in vorhersehbarer Weise eingesetzt werden können, bietet die Möglichkeit, das betreffende Krankheitsbild nachzustellen und auch die Schwere der Symptome zu variieren. Da reale Patienten nicht beteiligt sind, wird vermieden, dass diese emotional belastet werden könnten. Die Studierenden können angstfrei lernen, denn wenn sie Fehler machen, schaden sie damit keinem Patienten. Anders als im echten Patientenkontakt, bei dem es meist keine Rückmeldung gibt, erhalten sie ein Feedback zu ihrer Leistung. Die größte Stärke der Simulationen ist sicherlich die Nähe zur Realität, die vor allem dadurch entsteht, dass die Studierenden in die Interaktion mit einem Menschen eintreten (und beispielsweise nicht an einer Puppe üben). Die Realitätsnähe dürfte den Transfer des Erlernten auf die spätere Berufspraxis erleichtern.

Erfahrungsberichte aus bereits durchgeführten Lehrveranstaltungen zeigen dementsprechend, dass Studierende diese Form der Lehre sehr positiv beurteilen [5], [6], [7]. Die Teilnehmer geben auch an, dass sich durch die Kurse ihre kommunikative Kompetenz erhöht hat [8], [9].

Standardisierte Messinstrumente zur Evaluierung von Lehrveranstaltungen mit Simulationen der Arzt-Patient-Interaktion liegen bislang nicht vor. Allgemeine Fragebögen zur studentischen Evaluation der Lehre erscheinen aus zwei Gründen als nicht geeignet:

  • Zum einen sind viele der an Universitäten und Universitätskliniken eingesetzten Evaluationsbögen selbst entwickelt und nicht veröffentlicht, zumindest nicht in einer Zeitschrift mit Peer-Review-Verfahren. Daher kann die Testgüte dieser Verfahren nicht beurteilt werden.
  • Zum anderen sind wichtige Aspekte der Simulationen darin nicht enthalten. Da diese Methode in konventionellen Lehrveranstaltungen nicht zum Einsatz kommt, wird in allgemeinen Fragebögen zur studentischen Evaluation nicht nach Variablen wie der Leistung der Schauspieler, der Güte des Feedbacks und der Verbesserung kommunikativer Fähigkeiten gefragt.

Um die studentische Zufriedenheit mit Lehrveranstaltungen mit Simulationen der Arzt-Patient-Interaktion erfassen zu können, wurde in dieser Arbeit ein neuer Fragebogen entwickelt, die Studentische Evaluations-Skala für Lehrveranstaltungen mit Simulationen der Arzt-Patient-Interaktion (SES-Sim).

Die Entwicklung der SES-Sim erfolgte innerhalb des Lehrprojekts „PJ-Start-Block“ (Schlüsselkompetenz-Training und -Anwendung in realitätsnahen Tagesabläufen) an der medizinischen Fakultät der Universität zu Köln. In diesem Projekt wurde eine Lehrveranstaltung mit Simulationen der Arzt-Patient-Interaktion als zentraler Lehrmethode konzipiert und durchgeführt. Es handelt sich um eine einwöchige Blockveranstaltung am Ende des Studiums zur Vorbereitung auf das Praktische Jahr (PJ). Der Alltag auf einer Krankenhausstation wird nachgestellt, wobei die Studierenden in die Rollen von Ärzten schlüpfen und mit Schauspielpatienten in verschiedenen Szenarien interagieren. Nachgestellt werden die Krankheitsbilder Herzinsuffizienz, Appendizitis, Eileiterschwangerschaft, chronische Rückenschmerzen, Diabetes, Harnwegsinfekt mit Fieber und Bronchialkarzinom.

Die Rollenskripte sind meist so konstruiert, dass nicht nur ein somatisches Krankheitsbild präsentiert wird, sondern auch psychosoziale Aspekte auftauchen, die für die Behandlung der Krankheit relevant sind. So wird bei der Simulation der Eileiterschwangerschaft vorgegeben, dass die Patientin aus dem muslimischen Kulturkreis stammt und ein Krankheitsverständnis hat, das mit naturwissenschaftlichen Vorstellungen nicht in Einklang zu bringen ist. Die Rolle der Diabetes-Patientin umfasst Probleme bei der Insulintherapie, die darauf zurückzuführen sind, dass komorbid eine depressive Reaktion auftritt. Die Studierenden stehen daher vor der Aufgabe, nicht nur auf die somatischen Aspekte, sondern auch auf krankheitsrelevante psychosoziale Begleitumstände angemessen einzugehen.

Ergänzend zu den Simulationen werden Übungen zu ärztlichen Aufgaben ohne Patientenkontakt angeboten (z.B. Morgen- und Mittagsbesprechungen im Ärzteteam, das Schreiben von Arztbriefen und die Anforderung von Konsilen).


Methode

Itemzusammenstellung

Zur Entwicklung des neuen Fragebogens wurden 33 Items zusammengestellt, mit denen die zentralen Elemente der Lehrveranstaltung inhaltlich abgebildet werden. Einige Items entstanden in Anlehnung an Items aus den Fragebögen zur studentischen Evaluation von Hochschulveranstaltungen von Diehl [10]. Die meisten Items sind neu formuliert.

Als Antwortformat wurde eine 5-stufige Likert-Skala mit den Endpunkten 1 („stimme überhaupt nicht zu“) und 5 („stimme voll und ganz zu“) festgelegt.

Stichprobe

Die Zusammenstellung der Items wurde den ersten Teilnehmern des PJ-Start-Blocks im Wintersemester 2009/10 und im Sommersemester 2010 vorgelegt, und zwar am letzten Tag der Blockveranstaltung. Insgesamt füllten 220 Studierende der Medizin den Fragebogen aus (66% Frauen, 34% Männer), deren durchschnittliches Alter bei 26 Jahren lag.

Statistische Auswertung

Die Itemauswahl erfolgte auf der Grundlage von drei Faktorenanalysen. Die Daten der Stichproben aus dem Winter- und dem Sommersemester wurden zunächst getrennt voneinander jeweils einer Faktorenanalyse unterzogen. Auf der Grundlage der Ergebnisse beider Faktorenanalysen wurden Items für die Endversion der Skala ausgewählt. Die Itemauswahl wurde statistisch abgesichert, indem die Endversion einer erneuten Faktorenanalyse unterzogen wurde, wobei die Teilnehmer des Winter- und des Sommersemesters hierfür zu einer Gesamtstichprobe zusammengefasst wurden.


Ergebnisse

Bei der 33-Item-Version, die den Studierenden im ersten Durchgang im Wintersemester vorgelegt wurde, zeigen sich in der Faktorenanalyse neun Faktoren mit einem Eigenwert > 1 (Eigenwertverlauf 8.61, 3.14, 2.65, 2.12, 1.57, 1.49, 1.22, 1.14, 1.02, .98 …). Von den neun Faktoren lassen sich fünf inhaltlich sinnvoll interpretieren; diese beziehen sich inhaltlich auf den Lernerfolg, die Schauspieler, die Räumlichkeiten, die Dozenten und die Studierenden. Die übrigen vier Faktoren bestehen entweder nur aus einem einzelnen Item oder sind inhaltlich heterogen. Auf den fünf interpretierbaren Faktoren laden 23 der 33 Items in eindeutiger Weise, d.h. sie laden auf einem Faktor hoch und auf den jeweils anderen niedrig.

Für den zweiten Durchgang im Sommersemester wurde eine gekürzte Version des Fragebogens erstellt, der aus den 23 eindeutig zuzuordnenden Items bestand. In der Faktorenanalyse der 23-Item-Version zeigen sich sieben Faktoren mit einem Eigenwert > 1 (Eigenwertverlauf: 5.37, 2.33, 1.99, 1.53, 1.49, 1.31, 1.16, .95 …). Die ersten fünf entsprechen den in der ersten Faktorenanalyse gefundenen interpretierbaren Faktoren. Die beiden anderen Faktoren sind inhaltlich heterogen. Von den 23 Items laden 17 eindeutig auf dem Faktor, dem sie sich auch in der ersten Faktorenanalyse zugeordnet hatten. Die anderen sechs Items weisen entweder Doppelladungen auf oder laden auf einem anderen Faktor als im ersten Durchgang.

Die Endauswahl der Items erfolgte nach folgenden Kriterien: 16 der 17 Items, die sich in beiden Faktorenanalysen eindeutig einem der fünf interpretierbaren Faktoren zuordnen, wurden in die Endversion des Fragebogens aufgenommen. Eines der 17 Items wurde trotz eindeutiger Faktorladungen ausgeschlossen, weil es eine starke semantische Ähnlichkeit mit einem anderen Item aufweist. (Beide Items beziehen sich auf den Transfer des Erlernten auf die spätere Berufspraxis; aus ökonomischen Gründen wird darauf verzichtet, dies doppelt einschätzen zu lassen.) Zwei Items, die nach dem Kriterium der eindeutigen Zuordnung in beiden Faktorenanalysen eigentlich hätten ausgeschlossen werden müssen, blieben aus inhaltlichen Gründen in der Endauswahl. Die beiden Items dienen der Bewertung des Feedbacks, einem zentralen Element der Lehrveranstaltung, das auf jeden Fall inhaltlich in dem neuen Fragebogen enthalten sein soll. Insgesamt wurden somit 18 Items für die Endversion des Fragebogens ausgewählt.

Die Faktorenanalyse zur statistischen Absicherung der 18-Item-Version in der Gesamtstichprobe bestätigt die erwartete 5-faktorielle Struktur (Eigenwertverlauf: 4.39, 2.30, 2.07, 1.67, 1.28, .90 …). Die fünf Faktoren klären zusammen 65% der Varianz auf. Tabelle 1 [Tab. 1] zeigt die Itemkennwerte.

Die 18 Items ordnen sich den fünf Faktoren eindeutig zu. Alle Items laden auf einem Faktor hoch und auf den jeweils anderen Faktoren niedrig. Die Items erweisen sich weiterhin als trennscharf; die Item-Skala-Korrelationen liegen meist deutlich über dem Grenzwert von .30.

Tabelle 2 [Tab. 2] zeigt die Kennwerte der fünf Unterskalen der SES-Sim. Die mittlere Zustimmung ist bei allen Skalen hoch, was darauf verweist, dass die Lehrveranstaltung von den Studierenden positiv beurteilt wird. Die internen Konsistenzen fallen zufrieden stellend bis gut aus.

In der Tabelle 3 [Tab. 3] schließlich ist dargestellt, wie die fünf Unterskalen der SES-Sim mit einer Gesamtbewertung der Blockveranstaltung zusammenhängen. Die Gesamtbewertung erfolgte in Analogie zu Schulnoten auf einer Skala von 1 („sehr gut“) bis 5 („mangelhaft“). Da die Unterskalen der SES-Sim keine Normalverteilung aufweisen (die Verteilungen sind rechtssteil), wurden non-parametrische Korrelationen berechnet (Spearman-Rho-Korrelationen).

Es zeigt sich, dass das Gesamturteil über die Veranstaltung vor allem mit der Einschätzung des Lernerfolgs zusammenhängt. Das heißt, die Studierenden beurteilen die Veranstaltung um so positiver, je mehr sie den Eindruck haben, dort etwas gelernt zu haben. Auch die Einschätzungen der Leistung aller beteiligten Personengruppen (Dozent/inn/en, Schauspielpatient/inn/en und die Studierenden selbst) und der Räumlichkeiten hängen signifikant mit dem Gesamturteil zusammen. Somit erweisen sich alle Dimensionen der SES-Sim als bedeutsam für die Gesamtbeurteilung der Veranstaltung.


Diskussion

Mit der SES-Sim wird ein Messinstrument vorgelegt, das eine schnelle, ökonomische Erfassung der Zufriedenheit von Studierenden mit Lehrveranstaltungen, in denen die Methode der Simulation von Arzt-Patient-Interaktionen eingesetzt wird, ermöglicht. Kirkpatrick und Kirkpatrick [11], die bei der Evaluation zwischen den vier hierarchisch geordneten Ebenen Reaktion, Lernen, Verhalten und Ergebnis unterscheiden, ordnen diese Form der Evaluation der ersten Ebene zu. Zufriedenheitsmessungen geben demnach Aufschluss über die Reaktion der Teilnehmer auf eine Trainingsmaßnahme, sagen jedoch noch nichts darüber aus, inwieweit ein Wissenszuwachs erreicht wurde, Änderungen des Verhaltens auftreten und die Produktivität bzw. die Qualität der Arbeit ansteigen.

Das hohe Maß an Zufriedenheit, das sich in den hohen Mittelwerten der Skalen zeigt, entspricht den Erfahrungen aus Kursen an anderen Universitäten, in denen die Studierenden sich ebenfalls sehr positiv über diese Form von Lehrveranstaltung äußerten [5], [6], [7]. Neben der Praxisnähe der Simulationen spielt hier sicherlich auch der Neuheitswert, den diese Methodik im Medizinstudium noch hat, eine Rolle. Auch die Intensität der Betreuung aufgrund der Arbeit in Kleingruppen, die in anderen Lehrveranstaltungen so nicht gegeben ist, dürfte sich günstig auf die Bewertung auswirken.

Die Items der SES-Sim beziehen sich unmittelbar auf die zentralen Elemente von Lehrveranstaltungen mit Simulationen der Arzt-Patient-Interaktion. Außerdem wurde darauf geachtet, dass sie inhaltlich eindeutig formuliert sind. Daher kann dem neuen Fragebogen sicherlich Augenscheinvalidität zugesprochen werden.

Eine Konstruktvalidierung über ein Außenkriterium wäre allerdings schwierig durchzuführen. Ein Grund dafür liegt darin, dass mit der Methode der Simulation komplexe Fertigkeiten trainiert werden, die mehrere Dimensionen umfassen. Wenn also beispielsweise der Lernfortschritt in der kommunikativen Kompetenz erhoben werden sollte, was nach Kirkpatrick und Kirkpatrick [11] eine Evaluierung auf der zweiten der vier Ebenen darstellen würde, so müssten im ersten Schritt die Dimensionen, aus denen diese Fähigkeit besteht, identifiziert werden, und im zweiten müssten für jede Dimension passende Operationalisierungen gefunden werden. Dieses Vorgehen wäre aufwendig und mit einer großen Ungenauigkeit behaftet. So wäre es bereits schwierig festzustellen, ob alle für die kommunikative Kompetenz relevanten Dimensionen identifiziert worden sind. Auf eine Konstruktvalidierung der SES-Sim wurde in dieser Arbeit daher verzichtet.

Eine weitere Begrenzung, die nicht nur auf den hier vorgestellten Fragebogen, sondern auf alle Messinstrumente zur studentischen Evaluation von Lehrveranstaltungen zutrifft, besteht darin, dass die Zufriedenheit von Studierenden nur bedingt die tatsächliche Güte der Lehrveranstaltung widerspiegelt [12]. So zeigt sich beispielsweise, dass Studierende der Medizin Veranstaltungen zu Grundlagenfächern schlechter beurteilen als solche zu klinischen Fächern [13]. Bei diesen Urteilen lassen sie sich offensichtlich weniger von der didaktischen Qualität der Veranstaltungen leiten, sondern urteilen eher danach, was sie als nützlich für die spätere Berufstätigkeit ansehen. Aus der Psychologie ist bekannt, dass Vorlesungen und Seminare zur Statistik regelmäßig schlechter abschneiden als die Veranstaltungen zu anderen Fächern, weil dieses Fach den Vorstellungen vor allem von Studienanfängern über Psychologie zuwider läuft [10]. Studentische Evaluationen sind in hohem Maße von der generellen Beliebtheit des Fachs abhängig; weniger populäre Fächer werden regelmäßig schlechter beurteilt als populäre.

Daher wäre es problematisch, sich allein auf studentische Evaluationen zu stützen, wenn die Güte von Lehrveranstaltungen eingeschätzt werden soll; in diesem Fall sollten weitere Kriterien wie zum Beispiel Erhebungen des Lernfortschritts herangezogen werden. Doch wenn sich Lehrende eine Orientierung darüber verschaffen wollen, wie ihre Veranstaltung bei den Studierenden ankam und was möglicherweise verbessert werden kann, dann können Fragebögen wie die SES-Sim hilfreich sein.


Danksagung

Für hilfreiche Anmerkungen zu dieser Arbeit Dank an Dr. Valentin Goede, Houda Hallal, Wencke Johannsen, Ortrun Kliche, Dr. Sabine Teschendorf und Christian Thrien, Universitätsklinikum Köln und Universität zu Köln.

PJ-Start-Block ist ein Lehrprojekt der Universität zu Köln mit Beteiligung folgender Institutionen: Medizinische Fakultät: Studiendekanat und Kölner Interprofessionelles Skills Lab und Simulationszentrum (Prof. Dr. Dr. Lehmann, Dr. Boldt, Dr. h.c. (RUS) Stosch), Institut für Geschichte und Ethik der Medizin (Prof. Dr. Karenberg, Prof. Dr. Dr. Schäfer), Institut für Pharmakologie (Prof. Dr. Herzig, PD Dr. Matthes), Klinik und Poliklinik für Psychosomatik und Psychotherapie (PD Dr. Albus, Prof. Dr. Obliers, Dr. Koerfer), Zentrum für Palliativmedizin (Prof. Dr. Voltz, PD Dr. Schiessl) und Humanwissenschaftliche Fakultät: Institut für vergleichende Bildungsforschung und Sozialwissenschaften (Prof. Dr. Allemann-Ghionda)


Interessenkonflikt

Die Autoren erklären, dass sie keine Interessenskonflikte im Zusammenhang mit diesem Artikel haben.


Literatur

1.
Swanson DB, Stillman PL. Use of standardized patients for teaching and assessing clinical skills. Eval Health Prof. 1990;13:79-103.
2.
Ainsworth MA, Rogers LP, Markus JF, Dorsey NK, Blackwell TA, Petrusa ER. Standardized patient encounters. A method for teaching and evaluation. J Amer Med Assoc. 1991;226:1390-1396.
3.
Barrows HS. An overview of the uses of standardized patients for teaching and evaluating clinical skills. Acad Med. 1993;68(6):443-453.
4.
Ortwein H, Fröhmel A, Burger W. Einsatz von Simulationspatienten als Lehr-, Lern- und Prüfungsform. Psychother Psych Med. 2006;56:23-29.
5.
Bachmann C, Barzel A, Dunkelberg S, Schrom K, Ehrhardt M, van den Bussche H. Fachübergreifendes Kommunikationstraining mit Simulationspatienten: ein Pilotprojekt ins Curriculum. GMS Z Med Ausbild. 2008;25(1):Doc58. Zugänglich unter: http://www.egms.de/static/de/journals/zma/2008-25/zma000542.shtml Externer Link
6.
Koerfer A, Köhle K, Obliers R, Sonntag B, Thomas W, Albus C. Training und Prüfung kommunikativer Kompetenz. Aus- und Fortbildungskonzepte zur ärztlichen Gesprächsführung. Gesprächsforsch Z verbal Interaktion. 2008;9:34-78.
7.
Nikendei C, Zipfel S, Roth C, Löwe B, Herzog W, Jünger J. Kommunikations- und Interaktionstraining im psychosomatischen Praktikum: Einsatz von standardisierten Patienten. Psychother Psych Med. 2003;53:440-445.
8.
Schildmann J, Härlein J, Burchardi N, Schlögl M, Vollmann J. Breaking bad news: evaluation study on self-perceived competences and views of medical and nursing students taking part in a collaborative study. Support Care Cancer. 2006;14(11):1157-1161.
9.
Simmenroth-Nayda A, Weiß C, Chenot J-F, Scherer M, Fischer T, Kochen MM, Himmel W. Verbessern Anamneseübungen die kommunikativen Fähigkeiten von Studierenden? Ein Prä-Post-Vergleich. GMS Z Med Ausbild. 2007;24(1):Doc22. Zugänglich unter: http://www.egms.de/static/de/journals/zma/2007-24/zma000316.shtml Externer Link
10.
Diehl JM. Normierung zweier Fragebögen zur studentischen Beurteilung von Vorlesungen und Seminaren. Psychol Erz Unterr. 2003;50:27-42.
11.
Kirkpatrick DL, Kirkpatrick JD. Evaluating training programs: The four levels. 3rd ed. San Francisco: Berret-Koehler Publishers; 2006.
12.
Kromrey H. Wie erkennt man „gute Lehre“? Was studentische Vorlesungsbefragungen (nicht) aussagen. Empirische Pädagogik. 1994;8:153-168.
13.
van den Bussche H, Weidtmann K, Kohler N, Frost M, Kaduszkiewicz H. Evaluation der ärztlichen Ausbildung: Methodische Probleme der Durchführung und der Interpretation von Ergebnissen. GMS Z Med Ausbild. 2006;23(2):Doc37. Zugänglich unter: http://www.egms.de/static/de/journals/zma/2006-23/zma000256.shtml Externer Link