gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

Einhaltung von Qualitätsstandards nach Teilnahme an einem Hochschuldidaktik-Workshop zum „Arbeiten mit Simulationspatient*innen“

Artikel Dozierendentraining

Suche in Medline nach

  • corresponding author Julia Freytag - Charité - Universitätsmedizin Berlin, Prodekanat für Studium und Lehre, Berlin, Deutschland
  • author Henrike Hölzer - Medizinische Hochschule Brandenburg, Neuruppin,Deutschland
  • author Ulrike Sonntag - Charité - Universitätsmedizin Berlin, Prodekanat für Studium und Lehre, Berlin, Deutschland

GMS J Med Educ 2017;34(4):Doc45

doi: 10.3205/zma001122, urn:nbn:de:0183-zma0011220

Dieses ist die deutsche Version des Artikels.
Die englische Version finden Sie unter: http://www.egms.de/en/journals/zma/2017-34/zma001122.shtml

Eingereicht: 9. November 2016
Überarbeitet: 29. März 2017
Angenommen: 7. Juni 2017
Veröffentlicht: 16. Oktober 2017

© 2017 Freytag et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Zusammenfassung

Hintergrund: Weltweit werden hochschuldidaktische Fortbildungen zur Verbesserung der Qualität der Lehre von Lehrenden als sehr wichtig angesehen. Zumeist werden die Effekte dieser Programme jedoch lediglich über den Wissenszuwachses der Teilnehmenden oder eine Selbsteinschätzung ihres (veränderten) Lehrverhaltens erhoben. Offen bleibt, was genau von den Teilnehmenden erwartet wird und wie der Transfer des Gelernten in die Praxis umfassender und genauer gemessen werden kann.

Methoden: In dieser Studie wird evaluiert, ob spezifische Qualitätsstandards nach der Teilnahme an einem Workshop (10 UE) zur Vermittlung kommunikativer Kompetenzen mit Simulationspatient*innen (SP) in der Praxis eingehalten werden. Geschulte Beobachterinnen nutzten eine validierte Checkliste um in 60 Kursen zu kommunikativen und sozialen Kompetenzen, in denen SP eingesetzt wurden, zu hospitieren (bei 60 verschiedenen Lehrenden). Zusätzlich wurden der Zeitraum, der seit der Workshopteilnahme jeweils vergangen war sowie die Einstellung der Lehrenden zur Wichtigkeit kommunikativer und sozialer Kompetenzen in der medizinischen Ausbildung erfasst.

Ergebnisse: In den Hospitationen zeigte sich, dass mehr als zwei Drittel der Qualitätsstandards von mindestens 75% der Lehrenden eingehalten werden. Die Anzahl an erfüllten Standards korrelierte signifikant mit der Bewertung der Wichtigkeit kommunikativer und sozialer Kompetenzen durch die Lehrenden (tb=-.21, p=.03). Zusätzlich deuten die Ergebnisse eine Abnahme der Anzahl eingehaltener Standards über die Zeit an (r=-.14, p=.15).

Schlussfolgerungen: Bereits nach Teilnahme an einem nur eintägigen Workshop war die Einhaltung grundlegender Qualitätsstandards auf zufriedenstellendem Niveau. Komplexere Standards müssten in weiteren hochschuldidaktischen Kursen vertieft werden, dabei sollte ein Fokus auf der Einstellung der Lehrenden zur Relevanz kommunikativer Kompetenzen liegen. Zukünftig sind fortlaufende Überprüfungen des Transfers von Wissen und Fertigkeiten aus didaktischen Kursen in die Lehrpraxis nötig – bevorzugter Weise unter der Einbindung von Prä-Tests oder Kontrollgruppen.

Schlüsselwörter: Hochschuldidaktik, Personal- und Organisationsentwicklung, Evaluation, Beobachtungsstudie, Checkliste, Qualitätsstandards, Lehre mit SP


1. Einleitung

Programme zur Personal- und Organisationsentwicklung sind an medizinischen Fakultäten überall auf der Welt weit verbreitet. Sie beinhalten z.B. Fortbildungen im Bereich der Hochschuldidaktik, die auf verschiedene Aspekte der Lehre fokussieren und von vielen, die in diesem Feld tätig sind, als wertvoll und hilfreich empfunden werden. Beschreibungen solcher Programme – egal ob es sich um einmalige Interventionen oder ganze Workshop-Reihen handelt – beinhalten meist auch Evaluationsdaten, z.B. zur Zufriedenheit der Teilnehmenden, zu deren Wissenszuwachs und/oder Selbstauskünfte zu Veränderungen im eigenen Lehrverhalten. Evaluationen mittels anderer Methoden, wie z.B. durch Expert*innen, die das Lehrverhalten beobachten, werden deutlich seltener eingesetzt [1], [2], [3]. Daher ist wenig darüber bekannt, inwieweit Lehrende das, was sie in Hochschuldidaktik-Workshops gelernt haben, in die Lehre übertragen. Fokussiert man hier zusätzlich auf die Lehre mit SP als spezifischer Methode, gibt es nur wenige Publikationen die Workshops oder andere Kurse zur Einführung in die Arbeit mit SP beschreiben und evaluieren [4]. Im Zuge der Evaluation eines solchen Workshops an unserer Fakultät sollten daher das Lehrverhalten und die Einhaltung der im Workshop vermittelten Qualitätsstandards im Fokus stehen.

Der Workshop „Arbeiten mit Simulationspatient*innen“ umfasst 10 Unterrichtseinheiten (à 45 Minuten) und wurde an der Charité Universitätsmedizin Berlin eingeführt, nachdem das Curriculum 2010 reformiert und – unter anderem – ein longitudinales Kursformat zur Vermittlung kommunikativer und sozialer Kompetenzen mit 25 SP-Fällen implementiert wurde [5]. Diese Neuerung verursachte einen sehr hohen Bedarf an qualifizierten Lehrenden im Bereich soziale und kommunikative Kompetenzen, von denen zu diesem Zeitpunkt nur wenige verfügbar waren. Die Teilnahme am Workshop ist verpflichtend für alle Lehrenden im Kursformat „Kommunikation, Interaktion, Teamarbeit“, kurz KIT. KIT ist Teil der Pflichtlehre, wird in Kleingruppen unterrichtet, thematisiert die wichtigsten kommunikativen und sozialen Kompetenzen, die von Ärzt*innen benötigt werden und folgt dabei internationalen Konsensusstatements [6], [7]. Ein besonderes Merkmal des Kurses ist die Integration von SP.

Im Workshop „Arbeiten mit SP“ werden verschiedene Standards für den Einsatz von SP in der Lehre eingeführt [5]. Diese Standards beinhalten Basiswissen über die „Methode SP“, Feedback und die Aufgaben von Dozierenden [5], [8]. Darüber hinaus haben die Teilnehmenden die Möglichkeit, dieses theoretische Wissen in zwei Unterrichtssimulationen mit SP-Fällen, die auch in KIT zum Einsatz kommen, zu üben und danach ein Feedback von der bzw. dem Dozierenden des Workshops zu erhalten. Diese Simulationen werden als hilfreich angesehen [9], weil sie eine unmittelbare Übungsmöglichkeit darstellen. Darüber hinaus ermöglichen sie den Teilnehmenden eine Perspektivübernahme, da diese die Rolle einer*s Lernenden übernehmen können, welche*r im Rahmen eines SP-Gesprächs beobachtet wird und Feedback erhält [10]. Der Workshop findet entweder an einem vollen oder zwei halben Tagen statt, die durchschnittliche Anzahl der Teilnehmenden liegt bei 10. Wie in einer früheren Studie berichtet, bewerten diese die Qualität der Workshops als sehr hoch [3].

Orientiert man sich an dem Vier-Ebenen-Modell von Kirkpatrick (Reaktion, Lernen, Verhalten, Ergebnisse [11]), welches häufig genutzt wird, um Evaluationen von Maßnahmen zur Personal- und Organisationsentwicklung zu kategorisieren [1], [2], handelt es sich dabei um eine Evaluation der Ebene 1, die sich auf die Reaktion der Teilnehmenden, genauer auf ihre Zufriedenheit mit dem Workshop, konzentriert. Ziel der vorliegenden Studie war es, einen Schritt über diese Evaluation hinauszugehen und eine Beobachtungsstudie durchzuführen, die ermöglicht das Lehrverhalten bzw. mögliche Veränderungen in diesem zu beobachten. Somit handelt es sich um eine Evaluation auf Ebene 3. Im Review von Steinert et al. berichten 72% der eingeschlossenen Studien Ergebnisse auf Ebene 3, ein Drittel dieser Studien beziehen sich dabei einzig auf Selbsteinschätzungen zur Verhaltensänderung [1]. Es konnte allerdings gezeigt werden, dass akkurate Selbsteinschätzungen sehr schwierig sind, insbesondere für Bereiche, in denen die Befragten (noch) keine Expertise besitzen [12], [13], [14]. Daraus ergibt sich die Notwendigkeit von zusätzlichen Evaluationen durch geschulte Beobachter*innen, Studierende oder Kolleg*innen. Dennoch haben nur wenige Studien der letzten Jahre Evaluationen aus verschiedenen Perspektiven integriert, um die Qualität des Lehrverhaltens in der medizinischen Ausbildung zu erfassen [15], [16]. Die vorliegende Studie stellt durch den Einsatz von geschulten Beobachterinnen und der Nutzung einer validierten Checkliste einen wichtigen Beitrag zu diesem Forschungsbereich dar.

In einem weiteren Schritt werden in dieser Studie auch verschiedene Variablen, die das Lehrverhalten potenziell beeinflussen, erfasst. Basierend auf der Literatur wurden drei solcher Variablen identifiziert: die Zeit, die seit der Workshopteilnahme vergangen ist [17], die Einstellung der Lehrenden zur Wichtigkeit kommunikativer und sozialer Kompetenzen in der medizinischen Ausbildung [18], [19] und der selbsteingeschätzte Bedarf der Lehrenden an weiteren Qualifikationsmaßnahmen [20]. Die vergangene Zeit seit der Teilnahme am Workshop wird in einigen Studien zur Untersuchung der Nachhaltigkeit der Trainingseffekte genutzt [17]. Diese Frage ist dabei eng verknüpft mit der Länge der verschiedenen Programme [1], [2]. Mit der Evaluation unseres Eintageskurses möchten wir daher zur Datenlage bezüglich der Effektivität solch kurzer Programme beitragen. Die Erhebung des selbsteingeschätzten Bedarfs der Lehrenden an weiteren Qualifikationsmaßnahmen zielt auf die Selbstwirksamkeit der Lehrenden ab, also die Selbsteinschätzung ihrer Lehrkompetenz. Die Literatur, darunter Banduras Sozialkognitive Lerntheorie, beschreibt in diesem Zusammenhang eine Verknüpfung zwischen der Einschätzung der eigenen (Lehr-) Kompetenz und dem tatsächlichen (Lehr-)Verhalten [20], [21], [22], [23]. Eine ähnliche Verknüpfung wird zwischen der eigenen Einstellung und dem Verhalten beschrieben [19], [24]. Diese Befunde werden durch unsere eigene Erfahrung aus der Arbeit im Bereich der Hochschuldidaktik unterstützt. Die Relevanz der Einstellung der Lehrenden gegenüber der Lehre, besonders bei Unterrichtsthemen, die außerhalb des traditionellen Fächerkanons liegen oder beim Einsatz innovativer Unterrichtsmethoden, und den Einfluss der Einstellung auf das Lehrverhalten konnten auch wir wiederholt beobachten. Dies führt zur grundlegenden Annahme, dass hochschuldidaktische Fortbildungen die Lehrenden für die Bedeutsamkeit des Unterrichtsinhalts, als auch die Angemessenheit der Unterrichtsmethoden sensibilisieren müssen, um den gewünschten Effekt zu erlangen. Nur die Lehrenden, die überzeugt sind von der Wichtigkeit der Ausbildung kommunikativer Kompetenzen, erwarten positive Effekte dieser Lehre. Aus diesem Grund enthält unser Workshop die Präsentation und Diskussion wissenschaftlicher Studien, die sowohl den Nutzen von Kommunikationstrainings, als auch des Einsatzes von SP zeigen konnten. Diese Hypothese wird ebenfalls durch Banduras Sozialkognitive Lerntheorie unterstützt, welche beschreibt, dass das Ergebnis, welches eine Person von einem Verhalten erwartet, damit zusammenhängt, ob das Verhalten wirklich ausgeführt wird [23].

Diese Studie versucht somit folgende Forschungsfragen zu beantworten: In welchem Ausmaß werden die Qualitätsstandards zur Arbeit mit SP von den Lehrenden eingehalten? Wird die Einhaltung der Standards durch einen oder mehrere der folgenden Faktoren beeinflusst: Zeit seit Workshopteilnahme, selbsteingeschätzter Bedarf an weiteren Qualifikationsmaßnahmen und Einstellung zur Wichtigkeit sozialer und kommunikativer Kompetenzen in der medizinischen Ausbildung (bewertet durch die Lehrenden)?


2. Methoden

2.1. Studiendesign

Diese Studie ist eine quantitative Studie mit quasi-experimentellem Design. Die Datenerhebung fand 2013 und 2014 durch vier geschulte Beobachterinnen mittels systematischer, nicht-teilnehmender Beobachtung von KIT-Unterrichtseinheiten statt. Zusätzlich wurden die Lehrenden gebeten, nach der Unterrichtseinheit einen Fragebogen auszufüllen.

2.2. Ablauf

Zufällig ausgewählte Lehrende wurden über die Studie informiert und um ihre Erlaubnis bzw. die Erlaubnis der Kursteilnehmenden gebeten, im Unterricht hospitieren zu dürfen. Sofern diese Erlaubnis erteilt wurde, wurde das Datum der Hospitation abgestimmt. Den Beobachterinnen war der Zeitpunkt, an dem die Lehrenden am Workshop „Arbeiten mit SP“ teilgenommen haben, nicht bekannt. Außerdem kannten sie die Lehrenden nicht persönlich. Die Beobachterinnen waren während der gesamten Kursdauer präsent (zwei bis drei Stunden), füllten die Checkliste zur Beobachtung aus und baten die Lehrenden am Ende des Kurses, einen Fragebogen auszufüllen.

2.3. Ergebungsinstrumente
2.3.1. Checkliste zur Beobachtung

Die Checkliste wurde an der Charité – Universitätsmedizin Berlin entwickelt, um den Workshop „Arbeiten mit SP“ [25] zu evaluieren. Bei einer Literaturrecherche konnte kein bereits existierendes Instrument identifiziert werden, welches zur Bearbeitung der Fragestellung geeignet war. Die Checkliste besteht aus 39 Items in 7 Kategorien, welche den Inhalt und somit die Lernziele des Workshops repräsentieren und unsere Qualitätsstandards, wie z.B. die lernerzentrierte Lehre, die Orientierung an Lernzielen oder hochqualitatives Feedback, beinhalten. Das Instrument wurde mit den Workshopleiter*innen und weiteren Fakultätsmitgliedern besprochen, um seine Inhaltsvalidität abzusichern. In Bereichen, wie z.B. Feedback, für die sowohl viel Literatur als auch validierte Checklisten vorliegen, wurden diese als Grundlage für die jeweilige Kategorie unserer Checkliste genutzt [8], [26]. Zusätzlich wurde darauf geachtet, dass wichtige methodische Richtlinien zur Erstellung von Beobachtungschecklisten eingehalten werden – beispielsweise, dass alle Items ein beobachtbares Verhalten beschreiben und dass sich die Inhalte der Items nicht überlappen dürfen [27].

Die Checkliste besteht aus den folgenden sieben Kategorien:

1.
Anfang der Sitzung (4 Items)
2.
SP-Gespräch (18 Items)
3.
Feedbackkultur (8 Items)
4.
Inhalte (1 Items)
5.
Moderation (4 Items)
6.
Ende der Sitzung (2 Items)
7.
Struktur der Sitzung (2 Items)

Innerhalb einer Pilotstudie (N=8) wurde die Anwendbarkeit des Instruments getestet und hingehend fehlender oder überflüssiger Items sowie unklarer Itemformulierungen überprüft. Im Anschluss wurden einige Items überarbeitet, andere wurden dichotomisiert (Antwortmöglichkeiten „erfüllt“ und „nicht erfüllt“). Auch weitere Subitems wurden eingefügt. Einige Items wurden in allen beobachteten Kursen eingehalten (z.B. „Der SP verlässt nach dem Gespräch den Raum.“), dennoch wurde aufgrund des hohen Stellenwerts dieser Verhaltensweisen für einen gelungenen SP-Einsatz entschieden, diese Items in der Checkliste zu belassen.

Die Ausführung der 39 Items der finalen Version (siehe Anhang 1 [Anh. 1]) kann auf einer Skala mit vier Antwortoptionen bewertet werden („erfüllt“, „teilweise erfüllt“ [sofern anwendbar], „nicht erfüllt“ und „nicht anwendbar“). Vier Items sind Subitems, welche nur in bestimmten Fällen zum Tragen kommen (z.B. wenn eine Diskussion stattfindet). Die Checkliste endet mit einem Item zur „globalen Einschätzung der Unterrichtsveranstaltung“, welche auf einer 5-stufigen Likert-Skala bewertet werden kann (1=sehr gut bis 5=sehr schlecht).

Die Beobachterinnen (zwei Psychologinnen, zwei Medizinpädagoginnen) wurden in einem 2-stündigen Training im Umgang mit der Checkliste geschult. Die Interrater-Reliabilität der vier Beobachterinnen wurde in acht Kursen getestet (als Teil der Pilot-Studie), die jeweils von zwei Beobachterinnen gleichzeitig bewertet wurden. Diese wurde mittels prozentualer Übereinstimmung überprüft [28], [29], welche mit einer initialen Übereinstimmung auf 80% der Items einen zufriedenstellenden Wert erreichte.

2.3.2. Dozierendenfragebogen

Der Dozierendenfragebogen enthält demografische Angaben (Geschlecht, Alter, Beruf und Zeit seit Workshopteilnahme), sowie die Abfrage der Einstellung der Dozierenden zur Wichtigkeit sozialer und kommunikativer Kompetenzen in der medizinischen Ausbildung (5-stufige Likert-Skala: 1=sehr wichtig bis 5=nicht wichtig). Außerdem wird erfragt, ob sich die Lehrenden weitere Qualifizierungsmöglichkeiten zur Vermittlung dieser Kompetenzen wünschen (ja/nein). Der Fragebogen wurde ebenfalls in der Pilotstudie getestet; Änderungen waren nicht nötig.

2.4. Stichprobe

Es nahmen 60 Lehrende an der Studie teil (von 170 Lehrenden, die zu diesem Zeitpunkt in KIT unterrichteten). Von diesen gaben 37 (62%) an, weiblich zu sein; die Altersspanne erstreckte sich von unter 30-jährigen bis zu einem Alter von 59 Jahren, die meisten Lehrenden waren zwischen 30 und 39 Jahren alt. Ungefähr zwei Drittel der Teilnehmenden waren Ärzt*innen (62%); die restlichen Teilnehmenden waren Psycholog*innen (27%) oder gehörten einer nicht weiter spezifizierten Berufsgruppe an (11%). Die Verteilung der Zeit, die seit der Workshopteilnahme der Lehrenden vergangen war, wird in Tabelle 1 [Tab. 1] dargestellt.

2.5. Datenanalyse

Zur Analyse der Daten wurde SPSS, Version 22 verwendet (Armonk, NY: IBM Corp.). Pro Item wurden die prozentualen Anteile der Lehrenden berechnet, welche dieses vollständig, teilweise bzw. nicht erfüllt hatten, außerdem wurde der Mittelwert und die Spannweite der Gesamtzahl der erfüllten Standards ermittelt. Gruppenunterschiede wurden mittels t-Tests überprüft; Korrelationen mit Pearsons r oder Kendalls tau-b (tb) berechnet. Das Alphaniveau wurde auf 0.05 festgesetzt. Um die Aussagekraft der Ergebnisse besser beurteilen zu können, wurden zusätzlich Effektgrößen berechnet.


3. Ergebnisse

3.1. Einhaltung der Standards

Insgesamt wurden über zwei Drittel der 35 Qualitätsstandards (ohne die vier Subitems) von über 45 (75%) der Lehrenden entweder vollständig oder teilweise erfüllt. Die durchschnittliche Anzahl der (teilweise) erfüllten Standards lag bei 29.1 von 39 (SD=4.5); die Spannweite betrug 17 bis 37 eingehaltene Standards (incl. Subitems). Basierend auf der Anzahl der Lehrenden, die einen Standard einhielten, wurden diese in Kategorien eingeteilt (siehe Anhang 2 [Anh. 2]). Dabei konnten 14 der 35 Standards identifiziert werden, die von nahezu allen Lehrenden eingehalten wurden (von mind. 76%). Zwölf der Qualitätsstandards wurden von einer Mehrheit der Lehrenden erfüllt (51-75%), sieben von weniger als der Hälfte (26-50%). In der Kategorie mit der geringsten Einhaltungsrate gab es zwei Standards, die von maximal 25% der Lehrenden, die an der Studie teilgenommen haben, eingehalten wurden. Abgesehen davon, konnte eine signifikante Korrelation zwischen der Anzahl der erfüllten Standards und der Globalbeurteilung der Unterrichtsveranstaltung durch die Beobachterinnen festgestellt werden (tb=-.5, p<.001).

3.2. Zeit seit Workshopteilnahme

Die Anzahl der Semester, die seit der Workshopteilnahme der Lehrenden vergangen ist, korrelierte nicht signifikant mit der Anzahl der eingehaltenen Standards (r=-.14, p=.15).

3.3. Wichtigkeit sozialer und kommunikativer Kompetenzen

Eine Mehrheit der Lehrenden bewertete die Ausbildung kommunikativer und sozialer Kompetenzen in der medizinischen Ausbildung als sehr wichtig (70%) oder wichtig (28%). Nur 2% gaben an, sie seien unentschieden bzgl. des Stellenwerts dieser Kompetenzen. Die Anzahl der erfüllten Standards korrelierte signifikant mit dieser Einschätzung der Wichtigkeit (tb=-.21 (p=.03).

3.4. Bedarf an weiteren Qualifikationsmaßnahmen

Genau 50% der Lehrenden (30) bejahten die Frage, ob sie Bedarf bezüglich weiterer Qualifizierung im Bereich der Lehre kommunikativer und sozialer Kompetenzen hätten. Es gab keinen signifikanten Unterschied zwischen Lehrenden die weiteren Bedarf angaben und solchen, die diesen verneinten bezüglich der Anzahl der erfüllten Standards (t(54)=.44, p=.33, Effektstärke r=.06).


4. Diskussion

Die Einhaltung der Qualitätsstandards durch die Lehrenden kann insgesamt als zufriedenstellend beschrieben werden; gleichwohl zeigt die große Spannweite der eingehaltenen Standards, dass es große Unterschiede zwischen den Lehrenden gibt. Dies zeigt, dass die Lehrkompetenz der KIT-Dozierenden unterschiedlich stark ausgebildet ist und zukünftige Trainings stärker auf deren individuelle Bedürfnisse zugeschnitten sein sollten. Betrachtet man die Standards mit sehr hohen Einhaltungsraten im Vergleich zu denen mit sehr niedrigen, ist zudem ein bestimmtes Muster zu erkennen. Defizite finden sich vor allem in Bereichen, welche sich unter Kommunikation der (Lern-) Ziele und Moderation/Strukturierung der Unterrichtseinheit zusammenfassen lassen. Diese Bereiche beinhalten Items, wie: Der*die Lehrende stellt die Lernziele der Sitzung vor; Der*die Lehrende aktiviert das Vorwissen der Studierenden und Der*die Lehrende veranlasst eine Feedbackrunde am Ende der Sitzung. Hohe Einhaltungsraten zeigen sich dahingegen in der Moderation der SP-Interaktion oder im Geben von Feedback. Die meisten Standards aus diesen beiden Kategorien sind auch den SP und den Studierenden bekannt und können somit auch durch diese selbstständig umgesetzt werden; Standards, die nur von den Lehrenden allein umgesetzt werden können, werden in geringerem Maße eingehalten. Mögliche Erklärungen hierfür könnten sein, dass die Lehrenden diese Standards entweder vergessen haben oder sie nicht in die Tat umsetzten, da sie sie als zu kompliziert empfinden oder nicht als notwendigen Teil einer produktiven Unterrichtseinheit ansehen. Weitere Untersuchungen könnten diese Frage näher beleuchten und potenzielle Hindernisse, sowie das Commitment der Workshopteilnehmenden untersuchen, die gelernten Standards in der Praxis anzuwenden. In der Literatur findet sich hierzu das Konzept des Commitment to change (etwa: Bereitschaft zur Verhaltensänderung) als Ansatz, um den Einfluss von Fortbildungen auf die Berufspraxis der Teilnehmenden zu untersuchen [30], [31].

Es zeigte sich keine signifikante Verbindung zwischen der Zeit, die seit der Workshopteilnahme der Lehrenden vergangen war und der Anzahl der eingehaltenen Standards. Dennoch wies die Korrelation dieser beiden Variablen einen Effekt von kleiner bis mittlerer Größe auf, welcher nahelegt, dass eine längere Zeitspanne seit dem Workshop mit einer geringeren Anzahl an erfüllten Qualitätsstandards einhergeht. Frühere Studien und Reviews kamen zu ähnlichen Ergebnissen und bescheinigten umfangreicheren Programmen, wie Seminarreihen, bessere und nachhaltigere Ergebnisse [1]. Bei Workshops als einmaligen Ereignissen, werden von verschiedenen Autor*innen Auffrischungs- oder Follow-up-Workshops empfohlen [32], [33].

Der Stellenwert, den die Teilnehmenden der Ausbildung der sozialen und kommunikativen Kompetenzen im Medizinstudium beimaßen, war signifikant mit der Anzahl der eingehaltenen Standards korreliert (kleiner bis mittelgroßer Effekt). Dies bedeutet, dass die Lehrenden, die diese Kompetenzen als (sehr) wichtig einschätzten, mehr Standards einhielten. Hierbei ist es wichtig darauf hinzuweisen, dass die Einschätzung der Lehrenden nur wenig Varianz aufweist (98% wählten als Antwortmöglichkeit entweder wichtig oder sehr wichtig). Dennoch scheint dieser vermeintlich kleine Unterschied zwischen wichtig und sehr wichtig mit dem Lehrverhalten verknüpft zu sein.

Der Bedarf der Lehrenden nach weiteren Qualifikationsmaßnahmen war entgegen der Hypothese nicht mit der Anzahl der eingehaltenen Standards verbunden. Somit zeigt sich, dass – in dem hier vorliegenden Fall – der selbsteingeschätzte Bedarf der Lehrenden nicht mit einem bestimmten Lehrverhalten einhergeht. Diese Erkenntnis gilt es bei zukünftigen Bedarfsanalysen für hochschuldidaktische Programme zu bedenken. Neben dem selbsteingeschätzten Bedarf der Lehrenden sollten auch die Bedürfnisse anderer Akteure, wie der Studierenden oder der SP [34], in Betracht gezogen und sorgfältig abgewogen werden.

4.1. Limitationen

Es gibt verschiedene Limitationen, die die vorliegende Studie betreffen. Zunächst sei erwähnt, dass es nicht möglich war, einen Prä-Test oder eine Kontrollgruppe mit ungeschulten Lehrenden in das Studiendesign zu integrieren, da es nicht vertretbar ist, einige Studierende von ungeschulten Lehrenden unterrichten zu lassen, während andere von Expert*innen unterrichtet werden. Daher kann darüber diskutiert werden, ob die Einhaltung der Standards als direkte Konsequenz des Workshops interpretiert werden kann. Da jedoch die meisten unserer Standards sehr spezifisch auf das lokale Setting des Einsatzes von SP zugeschnitten sind, ist die Wahrscheinlichkeit hoch, dass diese im Workshop „Arbeiten mit SP“ erlernt wurden. Die hohe Passung zwischen den Lernzielen des Workshops und den Items der Checkliste unterstützt die Messung des gewünschten Lehrverhaltens.

Eine weitere Limitation ergibt sich durch die Tatsache, dass jede*r Lehrende nur einmal beobachtet wurde und dass die Beobachtung selbst einen Effekt auf das Lehrverhalten gehabt haben kann [35]. Bezüglich der Checkliste muss außerdem darauf hingewiesen werden, dass die Einhaltung der Standards die Einhaltung der Basisanforderungen für einen effektiven Einsatz von SP bedeutet und dass dies nicht unmittelbar mit hochwertiger Lehre gleichzusetzen ist. Dass einem SP-Gespräch beispielsweise eine Feedbackrunde und eine Gruppendiskussion nachfolgt, bedeutet nicht unbedingt, dass dabei die relevanten Themen auf produktive Weise besprochen werden.

Die letzte Limitation betrifft die Stichprobe und ihre Größe. Diese war mit 60 Teilnehmenden relativ groß, gemessen an der Gesamtpopulation der KIT-Dozierenden, die zum Zeitpunkt der Studie aus 170 Lehrenden bestand. Dennoch war diese Anzahl an Teilnehmenden teilweise zu gering, um signifikante Ergebnisse zu erhalten. Zusätzlich gab es 27 Fälle, in denen Lehrende, die zur Studienteilnahme aufgefordert wurden, diese ablehnten, wodurch die Aussagekraft und externe Validität der Resultate geschmälert wird. Somit ist weitere Forschung mit einer größeren Zahl an Teilnehmenden nötig, sowie eine Ausbildung der Dozierenden, die Hospitationen als regulären und verpflichtenden Baustein beinhaltet. Sofern ein Auffrischungsworkshop implementiert wird, sollten dessen Auswirkungen untersucht werden, vorzugsweise mittels eines Prä-Post-Designs.


5. Schlussfolgerungen

In dieser Studie konnte gezeigt werden, dass mittels eines Eintagesworkshops zum Einsatz von SP in der Lehre bereits eine substantielle Anzahl an Lernzielen bzw. Qualitätsstandards vermittelt werden kann und dass trainierte Beobachter*innen die Anwendung dieser Standards in der Lehre auch beobachten können. Dennoch werden für einige komplexere Lehraufgaben auffrischende bzw. vertiefende Trainings benötigt. Des Weiteren muss den Lehrenden die Relevanz der Qualitätsstandards noch expliziter erläutert werden. Passend dazu kann festgehalten werden, dass in der Schulung von Lehrenden für die medizinische Ausbildung, ihre Einstellung zur Lehre bzw. zur Lehre in einem bestimmten Fachgebiet ebenfalls berücksichtigt werden sollte, da die Qualität der Lehre – wie an den Ergebnissen dieser Studie sichtbar – mit der Einstellung zur Bedeutsamkeit des Fachgebiets verbunden ist. Gut durchdachte Hochschuldidaktik-Workshops können somit bereits als einmalige Veranstaltungen einen bedeutsamen Effekt auf das Lehrverhalten der Teilnehmenden haben. Dieser Effekt kann möglicherweise durch ein longitudinales Fortbildungsprogramm, welches sich thematisch auch mit der Einstellung zur Lehre und der beruflichen Weiterentwicklung beschäftigt, um einiges verstärkt werden.


Danksagung

Die Autorinnen danken Judith Moerschner und Sandy Fach für ihren Beitrag zu dieser Studie als geschulte Beobachterinnen.


Förderung

Die Konzeption und Umsetzung des beschriebenen Workshops wurden teilweise vom Bundesministerium für Bildung und Forschung gefördert (BMBF, Fördernummer: 01PL11036).


Ethikvotum

Die Studie war von der Zustimmung der Ethikkommission der Charité-Universitätsmedizin Berlin (Nr. EA1 / 170/14) befreit.


Daten

Daten für diesen Artikel sind im Dryad-Repositorium verfügbar unter: http://dx.doi.org/10.5061/dryad.13250[36]


Interessenkonflikt

Die Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.


Literatur

1.
Steinert Y, Mann K, Centeno A, Dolmans D, Spencer J, Gelula M, Prideaux D. A systematic review of faculty development initiatives designed to improve teaching effectiveness in medical education: BEME Guide No. 8. Med Teach. 2006;28(6):497-526. DOI: 10.1080/01421590600902976 Externer Link
2.
Steinert Y, Mann K, Anderson B, Barnett BM, Centeno A, Naismith L, Prideaux D, Spencer J, Tullo E, Viggiano T, Ward H, Dolmans D. A systematic review of faculty development initiatives designed to enhance teaching effectiveness: A 10-year update: BEME Guide No. 40. Med Teach. 2016;38(8):769-786. DOI: 10.1080/0142159X.2016.1181851 Externer Link
3.
Leslie K, Baker L, Egan-Lee E, Esdaile M, Reeves S. Advancing faculty development in medical education: A systematic review. Acad Med. 2013;88(7):1038-1045. DOI: 10.1097/ACM.0b013e318294fd29 Externer Link
4.
Bylund CL, Brown RF, Lubrano di Ciccone B, Levin TT, Gueguen, JA, Hill C, Kissane DW. Training faculty to facilitate communication skills training: Development and evaluation of a workshop. Patient Educ Couns. 2008;70(3):430-436. DOI: 10.1016/j.pec.2007.11.024 Externer Link
5.
Hölzer H, Freytag J, Sonntag U. Faculty Development for Small-Group-Teaching with Simulated Patients (SP) – Design and Evaluation of a Competency-based Workshop. GMS J Med Educ. 2017;34(4):Doc42. DOI: 10.3205/zma001119 Externer Link
6.
Kiessling C, Dieterich A, Fabry G, Hölzer H, Langewitz W, Mühlinghaus I, Pruskil S, Scheffer S, Schubert S. Basel Consensus Statement "Communicative and social competencies in Medical Education": A position paper of the GMA committee communicative and social competencies. GMS Z Med Ausbild. 2008;25(2):Doc83. Zugänglich unter/available from: http://www.egms.de/static/de/journals/zma/2008-25/zma000567.shtml Externer Link
7.
Makoul G. Essential elements of communication in medical encounters: The Kalamazoo Consensus Statement. Acad Med. 2001;76(4):390-393. DOI: 10.1097/00001888-200104000-00021 Externer Link
8.
Hewson MG, Little ML. Giving feedback in medical education. J Gen Intern Med. 1998;13(2):111-116. DOI: 10.1046/j.1525-1497.1998.00027.x Externer Link
9.
Remesh A. Microteaching, an efficient technique for learning effective teaching. J Res Med Sci. 2013;18(2):158-163.
10.
Conforti LN, Ross KM, Holmboe ES, Kogan JR. Do Faculty Benefit From Participating in a Standardized Patient Assessment as Part of Rater Training? A Qualitative Study. Acad Med. 2016;91(2):262-271. DOI: 10.1097/ACM.0000000000000838 Externer Link
11.
Kirkpatrick DL. Techniques for evaluating training programs. Train Develop. 1979;33(6):78-92.
12.
Kruger J, Dunning D. Unskilled and unaware of it: How difficulties in recognizing one's own incompetence lead to inflated self-assessments. J Person Social Psychol. 1999;77(6):1121-1134. DOI: 10.1037/0022-3514.77.6.1121 Externer Link
13.
Abadel FT, Hattab AS. How does the medical graduates' self-assessment of their clinical competency differ from experts' assessment? BMC Med Educ. 2013;13:24. DOI: 10.1186/1472-6920-13-24 Externer Link
14.
Hodges B, Regehr G, Martin D. Difficulties in recognizing one's own incompetence: Novice physicians who are unskilled and unaware of it. Acad Med. 2001;76(10 Suppl.):87-89. DOI: 10.1097/00001888-200110001-00029 Externer Link
15.
Marks MB, Wood TJ, Nuth J, Touchie C, O'Brien H, Dugan A. Assessing change in clinical teaching skills: are we up for the challenge? Teach Learn Med. 2008;20(4):288-294. DOI: 10.1080/10401330802384177 Externer Link
16.
Roos M, Kadmon M, Kirschfink M, Koch E, Junger J, Strittmatter-Haubold V, Steiner T. Developing medical educators—a mixed method evaluation of a teaching education program. Med Educ Online. 2014;19:23868. DOI: 10.3402/meo.v19.23868 Externer Link
17.
Kuhnigk O, Schreiner, J Harendza S. Sustained change in didactic skills—does teacher training last? GMS Z Med Ausbild. 2013;30(3):Doc37. DOI: 10.3205/zma000880 Externer Link
18.
Jenkins V, Fallowfield L. Can communications skills training alter physicians' beliefs and behaviour in clinics? J Clin Oncol. 2002;20(3):765-769.
19.
Weinman J. An Outline of Psychology as Applied to Medicine (2nd ed.). Bristol, England: Wright; 1987.
20.
Protheroe N. Teacher Efficacy: What Is It and Does It Matter? Principal. 2008:42-45.
21.
Kaufman DM. Applying educational theory in practice. In: Cantillon P, Hutchinson L, Wood D (Hrsg). Abc of Learning and Teaching in Medicine. London: BMJ Publishing Group Ltd; 2003.
22.
Bandura A, Locke EA. Negative self-efficacy and goal effects revisited. J Appl Psychol. 2003;88(1):87-99. DOI: 10.1037/0021-9010.88.1.87 Externer Link
23.
Bandura A. Social Learning Theory. Englewood Cliffs, NJ: Prentice Hall; 1977.
24.
Al Harthy SS, Jamaluddin S, Abedalaziz NA. Teachers' attitudes and performance: An analysis of effects due to teaching experience. Intern Interdisc J Educ. 2013;2(9):888-893. DOI: 10.12816/0002957 Externer Link
25.
Fach S, Moerschner J. Qualitätssicherung der Dozierenden-Schulung Umgang mit Simulationspatienten [diploma thesis]. Berlin: Charité–University Medicine; 2014.
26.
Bouter S, van Weel-Baumgarten E, Bolhius S. Construction and validation of the Nijmegen Evaluation of the Simulated Patient (NESP): assessing simulated patients' ability to role-play and provide feedback to students. Acad Med. 2013;88(2):2533259. DOI: 10.1097/ACM.0b013e31827c0856 Externer Link
27.
Faßnacht G. Systematische Verhaltensbeobachtung: Eine Einführung in die Methodologie und Praxis. München: Reinhardt; 1995.
28.
Holsti OR. Content analysis for the social sciences and humanities. Reading, MA: Addison-Wesley; 1969.
29.
Osgood CE. The representational model and relevant research methods. In: de Sola PooI l (Hrsg). Trends in content analysis (pp. 33–88). Urbana: University of Illinois Press; 1959.
30.
Kogan JR, Conforti LN, Yamazaki K, Iobst W, Holmboe ES. Commitment to Change and Challenges to Implementing Changes After Workplace-Based Assessment Rater Training. Acad Med. 2017;92(3):394-402. DOI: 10.1097/ACM.0000000000001319] Externer Link
31.
Shershneva MB, Wang M, Lindeman GC, Savoy JN, Olson CA. Commitment to Practice Change: An Evaluator's Perspective. Eval Health Prof. 2010;33(3):256-275. DOI: 10.1177/0163278710363960 Externer Link
32.
Mahler S, Benor DE. Short and long term effects of a teacher-training workshop in medical school. High Educ. 1984;13(3):265-273. DOI: 10.1007/BF00128823 Externer Link
33.
Keller JM, Blatt B, Plack M, Gaba ND, Greenberg L. Using a commercially available web-based evaluation system to enhance residents' teaching. J Grad Med Educ. 2012;4(1):64-67. DOI: 10.4300/JGME-D-11-00018.1 Externer Link
34.
Lingemann K, Campbell T, Lingemann C, Hölzer H, Breckwoldt J. The simulated patient's view on teaching: results from a think aloud study. Acad Med. 2012;87(2):179-184. DOI: 10.1097/ACM.0b013e31823f7105 Externer Link
35.
Landsberger HA. Hawthorne revisited. Ithaca, NY: Cornell University Press; 1958.
36.
Freytag J, Hölzer H, Sonntag U. Data from: Adherence to Trained Standards After a Faculty Development Workshop on “Teaching With Simulated Patients”. Dryad Digital Repository. 2017. DOI: 10.5061/dryad.13250 Externer Link