gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

Wie kann Lehre durch Evaluation verbessert werden? Durch eine Integrative Lehrberatung

Artikel – Projektbericht Humanmedizin

  • corresponding author Gerald Wibbecke - Medizinische Fakultät Heidelberg, Zentrale Evaluation und Integrative Lehrberatung, Heidelberg, Deutschland
  • author Janine Kahmann - Medizinische Fakultät Heidelberg, Zentrale Evaluation und Integrative Lehrberatung, Heidelberg, Deutschland
  • author Tanja Pignotti - Medizinische Fakultät Heidelberg, Zentrale Evaluation und Integrative Lehrberatung, Heidelberg, Deutschland
  • author Leander Altenberger - Universität Heidelberg, Zentrale Studienberatung/Career Service, Heidelberg, Deutschland
  • author Martina Kadmon - Carl-von-Ossietzky Universität Oldenburg, Campus Wechloy, Gebäude W16a, Oldenburg, Deutschland

GMS Z Med Ausbild 2015;32(1):Doc2

doi: 10.3205/zma000944, urn:nbn:de:0183-zma0009441

Dieses ist die deutsche Version des Artikels.
Die englische Version finden Sie unter: http://www.egms.de/en/journals/zma/2015-32/zma000944.shtml

Eingereicht: 11. März 2014
Überarbeitet: 23. Juli 2014
Angenommen: 1. Dezember 2014
Veröffentlicht: 11. Februar 2015

© 2015 Wibbecke et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Zusammenfassung

Zielsetzung: Die Weiterentwicklung der medizinischen Lehre hat die Erwartungen an die Lehrkompetenz der Lehrenden erhöht. Da der flächendeckende Einsatz studentischer Lehrveranstaltungsevaluationen allein weder zu einer Verbesserung der Lehre noch zu einer Weiterentwicklung der persönlichen Lehrkompetenz führt, haben wir das Konzept der Integrativen Lehrberatung entwickelt.

Methodik: Lehrende erarbeiten mit professionellen Lehrberatern das Verbesserungspotential ihrer Lehre und setzen sich selbst didaktische Ziele. Anschließend hospitieren Lehrberater die Lehrveranstaltungen, werten die studentische Lehrveranstaltungsevaluation inhaltsanalytisch aus und geben den Dozenten ein Expertenfeedback.

Ergebnisse: Die Integrative Lehrberatung kann durch die Kombination von professioneller Beratung und eigenen Zielsetzungen nachhaltige Verbesserungen der Lehre in Gang setzen.

Schlussfolgerung: Das Konzept der Integrativen Lehrberatung unterstützt bestehende Fakultätsentwicklungsprogramme und bietet eine effiziente Möglichkeit, studentisches Feedback in das Qualitätsmanagement der Lehre zu integrieren.

Schlüsselwörter: Lehrberatung, Lehrevaluation, Fakultätsentwicklung


Einleitung: Wie kann Lehre durch Evaluation verbessert werden?

Mit dem Paradigmenwechsel des shift from teaching to learning [1] verändert sich auch die Rollenerwartung an die Lehrenden [2], [3]. Lehrende werden motiviert, stärker den selbstgesteuerten Lernprozess der Studierenden zu unterstützen. Lehrkompetenz ist die Fähigkeit, flexibel eine passende pädagogische Handlungsstrategie auswählen zu können [4]. Entwicklungsmodelle der Lehrkompetenz [5], [6] sehen die Fähigkeit, studierendenzentrierte Lehre flexibel und passend umzusetzen, als eine Lehrorientierung, zu der Lehrende sich erst hin entwickeln. Dazu gehört, die Wirkung ihrer Lehre aus der Perspektive der Studierenden zu betrachten. Diese Reflexionsfähigkeit entsteht erst durch die Lehrpraxis und bedarf regelmäßiger Weiterentwicklung. Hochschullehrende sind auf diese anspruchsvolle Aufgabe oftmals unzureichend vorbereitet [7]; selbst erfahrene und engagierte Lehrende der Medizin sehen für sich selbst Qualifizierungsbedarf [8].

Fakultätsentwicklungsprogramme, häufig in Form von Workshops und Seminaren, bilden die Grundlage für die Professionalisierung der Lehrenden. Diese bewirken in der medizinischen Lehre messbare Erfolge, offen bleibt allerdings deren langfristige Wirkung und Nachhaltigkeit [9]. Eine Hürde stellt die konkrete Umsetzung in die Praxis und die Reflexion der Hindernisse dar. Die offene Kommunikation zwischen Lehrenden und Studierenden über Lehre und Bedürfnisse der Lernenden ist dabei eine wichtige Voraussetzung für erfolgreiche Lehr- und Lernprozesse [10]. Systematische Rückmeldungen zu ihrer Lehre erhalten Lehrende in der Regel durch fragebogenbasierte studentische Evaluation von Lehrveranstaltungen oder Lehrveranstaltungsreihen [11]. Diese Form der Lehrveranstaltungsevaluation (LVE) basiert auf der Annahme, dass die Qualität der Lehre durch Studierende beurteilt werden kann [12]. Numerische Evaluationsdaten erfüllen aber nicht die Funktion, Lehrenden konkrete Hinweise für Verbesserungen zu geben. Auch die studentischen Kommentare sind nur begrenzt aufschlussreich. Die praktische Erfahrung mit studentischen Freitexten zeigt, dass Studierende subjektive Defizite der Lehre durchaus benennen können. Ohne didaktische Fachexpertise sind sie aber nicht in der Lage, Rückmeldungen zu geben, die den Lehrenden neue Verhaltensweisen aufzeigen. Diese Limitation der LVE steht in Einklang mit empirischen Befunden, wonach die bloße Aufbereitung und Rückmeldung studentischer LVE an die Lehrenden nur eine sehr geringe Effektivität für adäquate Veränderungsprozesse hat. Weder in Bezug auf Evaluationsergebnisse [13], [14], noch auf die wahrgenommene Verbesserung der Lehre [15]. Um die Entwicklung des Curriculums und der Lehrenden durch Evaluation zu unterstützen, bedarf es einer Perspektive, die über die der Studierenden hinausgeht und die Lehrenden in ihrer Reflexionsfähigkeit unterstützt.


Projektbeschreibung

Die Integrative Lehrberatung (ILB) ist ein pädagogisch-psychologisches Team unter der Leitung einer Medizinerin. Die ILB kombiniert die studentische Lehrveranstaltungsevaluation mit Beratungselementen und zeigt auf, wie die Lehrenden ihre Lehre selbst wirksamer evaluieren und weiterentwickeln können. Dabei werden wissenschaftliche Erkenntnisse zum Lehren und Lernen, sowie die Wirkfaktoren des Beratungsansatzes berücksichtigt, insbesondere die aktive Einbindung der Lehrenden in den Beratungsprozess, die Erhebung der Selbsteinschätzungen der Lehrenden als Grundlage für die Beratung und die Rückmeldung von professionellem Feedback nach Hospitationen [16]. Dass die Kombination von Evaluation und Beratung wirksam ist, wird bereits seit 30 Jahren empirisch gezeigt [17], [18], [19], aber bislang kaum an Hochschulen umgesetzt.

An der Medizinischen Fakultät Heidelberg erhalten alle Fächer begleitend zu den fragebogenbasierten Ergebnissen der LVE didaktische Rückmeldungen von der ILB. Erfolgreiche Lehrende bekommen die Erfolgsfaktoren ihrer Lehre zurückgemeldet. Lehrende mit schlechteren Evaluationsergebnissen erhalten didaktische Empfehlungen zur Verbesserung ihrer Lehre und zusätzlich das Angebot einer Lehrberatung. Das übergeordnete Ziel der ILB besteht darin, Lehrende bei ihrer Entwicklung individuell zu unterstützen und ihre Fähigkeit zur Selbstreflexion zu stärken (siehe Abbildung 1 [Abb. 1]). Während des ersten Beratungstermins berichten die Lehrenden, welche Herausforderungen sie für sich selbst als besonders wichtig erachten und in den anschließenden Lehrhospitationen fokussiert werden sollen (unterstützte Reflexion). Lehrende setzen sich so aufgrund ihrer Erfahrungen eigene Ziele. Darüber hinaus werden Evaluationen der Studierenden gemeinsam ausgewertet. Der zweite Schritt (Vorbereitung) beinhaltet die Planungen und eventuelle Trainingsmaßnahmen, die im Vorfeld stattfinden sollten. Dies beinhaltet beispielsweise die Überarbeitung von Vorlesungsfolien oder die Planung von konkreten didaktischen Handlungen. Anschließend finden Lehrhospitationen mit den zuvor besprochenen Beobachtungsschwerpunkten statt (Lehre mit Hospitation). Die Beobachtungen werden in einem persönlichen Gespräch rückgemeldet und gemeinsam mögliche Weiterentwicklungen erarbeitet. Dies geschieht in enger Anbindung an die Ergebnisse studentischer Evaluation (Feedbackgespräch und Evaluation).

Lehrende als reflektierte Praktiker

Wenn die Lehrberatung erfolgreich verläuft, gelingt es den Lehrenden, ihre Reflexionsfähigkeit zu steigern und, damit verbunden, ihre Lehre selbstständig weiterzuentwickeln. So kann sich professionelle studierendenzentrierte Lehre entwickeln. Der Effekt einer Lehrberatung sollte sich auch in studentischen LVE als Qualitätsindikator der Lehre wiederspiegeln. Das Vorgehen der ILB wird im Folgenden an einem konkreten Beispiel genauer beschrieben.


Ergebnisse. Ein Beispiel aus der Praxis

Bei einem naturwissenschaftlichen, vorklinischen Fach, mit kontinuierlich kritischer studentischer Evaluation, wiesen die Evaluationsergebnisse auf didaktischen Verbesserungsbedarf hin. Zwei Professoren teilten sich in dem Fach eine Vorlesungsreihe (jeder hielt sechs Vorlesungen). Diese wurden durch ein Praktikum und Tutorien vertieft. Einer der beiden verantwortlichen Professoren nahm die ILB in Anspruch, mit dem Ziel, das Vorgehen in seinen Vorlesungen und den Tutorien zu überarbeiten. In Folge der unterstützten Reflexion und der Feedbackgespräche sowie der Evaluationen führte er mit seinem Assistententeam, dass die entsprechenden Tutorien leitete, Veränderungen durch: die Transparenz der Inhalte und der Anforderungen wurde erhöht, in dem die Lernziele definiert und gegenüber den Studierenden kommuniziert wurden. Praxisrelevante Bezüge und anwendungsbezogene Übungen wurden in die Vorlesung integriert, um die Wichtigkeit der Lehrinhalte zu verdeutlichen und Verständnisprobleme seitens der Lernenden bereits in der Vorlesung aufzudecken. Dabei wurde auf das Wissen einer studentischen Hilfskraft der Medizin zurückgegriffen. Gleichzeitig wurde die Stoffmenge etwas reduziert. Auf Basis der Erfahrungen von in der Vergangenheit gut evaluierten Assistenten wurden Strategien entwickelt, wie die Tutorien verbessert werden können. Dabei wurde auch die Haltung der Assistenten reflektiert. Die Begleitung des Projektes, inklusive der Hospitationen und der Vor- und Nachbereitung, erstreckte sich über 18 Monate.

Um die Wirkung der Maßnahme zu prüfen, haben wir die studentischen Freitexte mit der qualitativen Inhaltsanalyse nach Mayring [20] analysiert. Hierfür wurden die studentischen Aussagen, die den Lehrprofessor sowie die Tutorien betrafen, schrittweise abstrahiert und zusammengefasst. Um eine Vergleichbarkeit zwischen den Evaluationszeitpunkten zu erzielen, wurden die so ausgewerteten Aussagen quantifiziert, in dem sie den übergeordneten Kategorien Lob (positive Äußerungen zu der Lehrkompetenz), Kritik (Kritik an der Lehrkompetenz) und Empfehlung (Ideen, welche Aspekte verbessert werden können) zugeordnet wurden. Die Summe der einzelnen Nennungen wurde in Beziehung zu der Summe aller Freitextaussagen gesetzt. Die Untersuchung fand zu drei Zeitpunkten statt: Zeitpunkt 1 (t1) bezeichnet die Evaluationsergebnisse vor dem Beratungsprozess, Zeitpunkt 2 (t2) bezeichnet den Zeitpunkt ein Jahr nach der Basisevaluation (t1) und wenige Monate nach Beginn der integrativen Lehrberatung, Zeitpunkt 3 (t3) zwei Jahre nach der Basisevaluation.

Die Ergebnisse in Tabelle 1 [Tab. 1] belegen, dass eine Verschiebung der Freitextinhalte erkennbar ist. Die Nennung von Lob stieg sowohl bei dem für die Vorlesung verantwortlichen Professor (von 1,1% zu t1 auf 10,9% zu t3) als auch bei den Tutorien an (von 10,0% zu t1 auf 20,3% zu t3). Kritik an der Lehrperson und den Tutorien wurde dagegen seltener genannt. Auch konkrete Empfehlungen zur Verbesserung der Lehre wurden seltener geäußert. Die Personen, die aktiv mit der Lehrberatung gearbeitet haben, wurden zunehmend besser evaluiert. Die häufigsten positiven Erwähnungen bezogen sich auf die Qualität der Erklärungen (n=59) und die Lernatmosphäre (n=58). Wie in anderen Studien zur Wirksamkeit von Beratungselementen gezeigt, kann die Lehrkompetenz näherungsweise anhand studentischer Evaluationsergebnisse erschlossen werden [13], [14]. Dabei muss berücksichtigt werden, dass die Evaluationen von Lehrveranstaltungen stets von einer neuen Studierendekohorte stammen, so dass die Vergleichbarkeit eingeschränkt ist. Da die Zulassungsvoraussetzungen konstant geblieben sind, kann allerdings von einer Vergleichbarkeit der Kohorten ausgegangen werden. Offen bleibt, ob die höhere Beteiligung bei Zeitpunkt 3 zu einer Verzerrung der Ergebnisse geführt hat.


Schlussfolgerung

Wenn die studentische Evaluation alleine die Lehre nicht verbessern kann, sollte sie auch nicht alleine als Herzstück der Qualitätssicherung der Lehre eingesetzt, sondern durch wirksame zusätzliche Maßnahmen flankiert werden. Mit einem Beratungskonzept lässt sich die Wirkung von Evaluationen steigern. Die hier dargestellten Ergebnisse weisen darauf hin, dass mit einem strukturierten, die Evaluationen begleitenden Beratungskonzept, spürbare Veränderungen erreicht werden und diese auch nachhaltig sind. Die Voraussetzung für eine erfolgreiche Lehrberatung sehen wir daher in der längerfristigen Begleitung von Lehrenden und Fächern. Wichtig sind die Verankerung der Lehrberater in der Fakultät und im Fakultätsentwicklungsprogramm sowie die enge Verzahnung mit der studentischen Evaluation. Das Konzept der Integrativen Lehrberatung lässt sich auf andere Fakultäten übertragen. Für die Qualitätssteigerung der Lehre sollte eine Lehrberatung eine feste Einrichtung an medizinischen Hochschulen werden. Zukünftige Studien müssen zeigen, welche Veränderungen nach didaktischen Beratungen zu erwarten sind und welche Wirkfaktoren der Beratung sich als besonders relevant für die Lehrenden und das Curriculum erweisen.


Interessenkonflikt

Die Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.


Literatur

1.
CRE/UNESCO-CEPES. A European Agenda for Change for Higher Education in the XXIst Century. Results of the European Regional forum. Palermo: Unesco; 1997. Zugänglich unter/available from: http://unesdoc.unesco.org/images/0011/001133/113346eo.pdf [zuletzt zitiert am 30.10.2013] Externer Link
2.
Barr RB, Tagg J. From Teaching to Learning. A New Paradigm for Undergraduate. Educ Change. 1995;27(6):12-25. DOI: 10.1080/00091383.1995.10544672 Externer Link
3.
Harden RM, Crosby J. AMEE Guide No 20: The good teacher is more than a lecturer – the twelve roles of the teacher. Med Teach. 2000;22(4):334–347. DOI: 10.1080/014215900409429 Externer Link
4.
Merkt M, Trautwein C. Lehrportfolios für die Darstellung und Entwicklung akademischer Lehrkompetenz. In: Szczyrba B, Gotzen S (Hrsg). Das Lehrportfolio. Entwicklung, Dokumentation und Nachweis von Lehrkompetenz an Hochschulen. Berlin: LIT Verlag; 2012. S.75-98.
5.
Kugel P. How professors develop as teachers. Stud High Educ. 1993;18(3):315-328. DOI: 10.1080/03075079312331382241 Externer Link
6.
Kember D. A reconceptualisation of the research into university academics' conceptions of teaching. Learn Instruc. 1997;7(3):255-275. DOI: 10.1016/S0959-4752(96)00028-X Externer Link
7.
Helmke A, Schrader FW. Hochschuldidaktik. In: Rost D (Hrsg). Handwörterbuch Pädagogische Psychologie. 4th ed. Weinheim: Beltz Psychologische Verlags Union; 2010. S.273-279.
8.
Huwendiek S, Dern P, Hahn E, Pediadikatis D, Tönshoff B, Nikendei C. Qualifizierungsbedarf, Expertise und Rahmenbedingungen engagierter Lehrender in der Medizin in Deutschland. ZEFQ. 2008;102:613-617.
9.
Steinert Y, Mann K, Centeno A, Dolmans D, Spencer J, Gelula M, Prideaux DA. Systematic review of faculty development initiatives designed to improve teaching effectiveness in medical education. Med Teach. 2006;28(6):497-526. DOI: 10.1080/01421590600902976 Externer Link
10.
Hattie JC. Visible Learning: A Synthesis of Over 800 Meta-Analyses Relating to Achievement. London, New York: Routledge; 2009.
11.
Schweer M. Evaluation der Lehre. In: Rost D (Hrsg). Handwörterbuch Pädagogische Psychologie. 3rd ed. Weinheim: Beltz Psychologische Verlags Union; 2006. S.168-174.
12.
Kulik JA. Student ratings: Validity, utility, and controversy. New Dir Instit Res. 2001;109:9-25. DOI: 10.1002/ir.1 Externer Link
13.
Marsh HW. Do university teachers become more effective with experience? A multilevel growth model of students' evaluations of teaching over 13 years. J Educ Psychol. 2007;99(4):775-790. DOI: 10.1037/0022-0663.99.4.775 Externer Link
14.
Schnell R, Kopp J. Theoretische und methodische Diskussionen der Lehrevaluationsforschung und deren praktische Bedeutung. Forschungsbericht Universität Konstanz. Konstanz: Universität Konstanz; 2000. S.1-79.
15.
Krawietz M. Evaluation der Evaluationen. Erfolg und Misserfolg von Evaluationen an deutschen Hochschulen-Die Perspektive der Studierenden. HISBUS-Kurzinformation (16). Hannover: HIS; 2006. Zugänglich unter/available from: https://hisbus.his.de/hisbus/docs/hisbus16.pdf [zuletzt zitiert am 30.10.2013] Externer Link
16.
Penny AR, Coe R. Effectiveness of consultation on student ratings feedback: A meta-analysis. Rev Educ Res. 2004;74(2):215-253. DOI: 10.3102/00346543074002215 Externer Link
17.
Cohen PA. Effectiveness of student-rating feedback for improving college instruction: A meta-analysis of findings. Res high educ. 1980;13:321-341. DOI: 10.1007/BF00976252 Externer Link
18.
Marsh HW, Roche L. The Use of Students' Evaluations and an Individually Structured Intervention to Enhance University Teaching Effectiveness. Am Educ Res J. 1993;30(1):217-251. DOI: 10.3102/00028312030001217 Externer Link
19.
Rindermann H, Kohler J, Meisenberg G. Quality of instruction improved by evaluation and consultation of instructors. Int J Acad Dev. 2007;12(2):73-85. DOI: 10.1080/13601440701604849 Externer Link
20.
Mayring P. Qualitative Inhaltsanalyse. In: Mey G, Mruck K (Hrsg). Handbuch Qualitative Forschung in der Psychologie. Wiesbaden: VS Verlag für Sozialwissenschaften; 2010. S.601-613. DOI: 10.1007/978-3-531-92052-8_42 Externer Link