gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

Lehrevaluation an der Medizinischen Fakultät Freiburg, Teil II: Formative Lehrveranstaltungsevaluation

Teaching evaluation at the Medical Faculty of Freiburg, part II: formative teaching evaluation

Projekt Humanmedizin

  • corresponding author Verena Peus - Albert Ludwigs-Universität Freiburg, Studiendekanat der Medizinischen Fakultät, Freiburg, Deutschland
  • author Gabriele Valerius - Albert Ludwigs-Universität Freiburg, Studiendekanat der Medizinischen Fakultät, Freiburg, Deutschland
  • author Lars Schärer - Universitätsklinik für Psychiatrie und Psychosomatik, Abteilung für Psychiatrie und Psychotherapie, Freiburg, Deutschland
  • author Tobias Freyer - Universitätsklinik für Psychiatrie und Psychosomatik, Abteilung für Psychiatrie und Psychotherapie, Freiburg, Deutschland
  • author Mathias Berger - Universitätsklinik für Psychiatrie und Psychosomatik, Abteilung für Psychiatrie und Psychotherapie, Freiburg, Deutschland
  • author Ulrich Voderholzer - Universitätsklinik für Psychiatrie und Psychosomatik, Abteilung für Psychiatrie und Psychotherapie, Freiburg, Deutschland

GMS Z Med Ausbild 2005;22(2):Doc17

The electronic version of this article is the complete one and can be found online at: http://www.egms.de/en/journals/zma/2005-22/zma000017.shtml

Received: March 1, 2005
Published: April 20, 2005

© 2005 Peus et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Zusammenfassung

Ergänzend zur alljährlich durchgeführten summativen Jahresendevaluation wurde an der Medizinischen Fakultät Freiburg eine formative Lehrveranstaltungsevaluation entwickelt. Ziel war eine valide detaillierte Analyse der Struktur-, Prozess-, und Ergebnisqualität der einzelnen Lehrveranstaltung als Grundlage für Verbesserungen.

Methodik: Das multidimensionale Erhebungsinstrument wurde aufwändig unter Berücksichtigung wissenschaftlicher und pragmatischer Ansprüche konstruiert. Die Befragung der Studierenden erfolgt am Ende der einzelnen Lehrveranstaltung. Die Ergebnisse liegen dem Dozenten bereits am nächsten Werktag vor.

Ergebnisse: Die interne Konsistenz des Fragebogens sowie seiner vier Hauptkomponenten sprechen für die Reliabilität des Verfahrens. Inhaltliche Validität ist durch das Konstruktionsverfahren gewährleistet. Eine Analyse der Hauptkomponenten des Fragebogens belegt die Konstruktvalidität. Die vermuteten studentischen Zerrfaktoren „Themainteresse" und „Vorkenntnisse" können als solche ausgeschlossen werden. Die Wirkung der Evaluation zeigt sich in deutlichen Verbesserungen der Ergebnisse bei nachfolgenden Evaluationen.

Schlussfolgerungen: Die Freiburger formative Lehrveranstaltungsevaluation ermöglicht eine valide Beurteilung der Lehrqualität und liefert gleichzeitig konkrete Ansatzpunkte für qualitätsverbessernde Maßnahmen. Offensichtlich findet sie dadurch große Akzeptanz und wird nachweislich wirkungsvoll im Sinne einer Lehrqualitätssteigerung von den Dozenten als Instrument genutzt.

Schlüsselwörter: Lehrveranstaltungsevaluation, Qualitätsmanagement in der medizinischen Ausbildung, Fragebogenkonstruktion, Dimensionen der Lehrqualität

Abstract

In addition to the annual summative evaluation of the entire curriculum at the Medical Faculty of Freiburg a formative course evaluation has been developed. The primary goal was a valid and detailed analysis of the quality of structure, process and outcome concerning the several courses as a basis for quality improvement.

Method: The multidimensional questionnaire was constructed in consideration of academic and pragmatic aspects.

The student evaluation takes place at the end of the individual course. The instructor receives the results on the next working day.

Results: The internal consistency of the questionnaire as well as of its four main components supply evidence for the reliability of the procedure. Validity of content is ensured by the method of construction. The analysis of the four main components of the questionnaire shows construct validity. The assumed bias variables "interest in the subject" and "previous knowledge" did not influence the overall score. The clear improvements of the results indicate the relevance of the evaluation system.

Conclusions: The formative teaching evaluation of the Medical Faculty of Freiburg allows a valid assessment of teaching quality. At the same time it provides precise perspectives for quality improving measures. Therefore it is highly accepted and effectively used by the instructors.

Keywords: teaching evaluation, quality management in medical education, questionnaire construction, dimensions of teaching quality


Einleitung und Fragestellung

Im Sommersemester (SS) 2000 wurde an der Medizinischen Fakultät Freiburg ergänzend zur summativen Jahresendevaluation (s. Peus et al., Lehrevaluation der Medizinischen Fakultät Freiburg Teil I - Das Evaluationssystem im Überblick, in dieser Ausgabe) eine formative Lehrveranstaltungsevaluation entwickelt. Anspruch war eine Beschreibung der einzelnen Lehrveranstaltungen im Sinne der Struktur-, Prozess- und Ergebnisqualität als Grundlage für Verbesserungen. Die Implementierung eines solchen Verfahrens erfordert ein multidimensionales Konstrukt der Lehrqualität [3], [4], [6], [8] und ein Erhebungsinstrument, das dieses Konstrukt valide misst. Sehr umstritten ist die Frage, ob Studierende in der Lage sind, Lehrqualität valide zu beurteilen. Dabei soll nicht die Relevanz der Inhalte und deren Vermittlung für den späteren Klinikalltag bewertet werden, da diese Fragestellung lediglich retrospektiv im Rahmen einer Absolventenbefragung bearbeitet werden kann. Untersuchungsgegenstand ist vielmehr, inwieweit die Inhalte dem Ausbildungsstand angemessen und in eingängiger Weise vermittelt werden.

Viel diskutiert ist die Frage, ob das studentische Urteil tatsächlich eine Funktion didaktischer und anderer die Lehrqualität definierender Faktoren darstellt oder ob die Bewertung durch verschiedene andere Einflüsse (z.B. Interesse am Thema, Uhrzeit, Geschlecht und Aussehen des Dozenten) verzerrt wird. Der Einfluss potentieller Zerrfaktoren wurde in zahlreichen internationalen Studien geprüft. Lediglich das Interesse am Thema wies kontinuierliche Zusammenhänge mit der Gesamtbeurteilung auf [1], [2], [3], [7].

Im Folgenden sollen zunächst das Fragebogenkonstruktionsverfahren und die Durchführung der Evaluation dargestellt werden. Anschließend wird überprüft, ob die Freiburger Evaluation eine valide, unverzerrte Beurteilung der Lehrqualität liefert. Nachdem das Ziel jeglicher Evaluation nicht nur die Bewertung, sondern vor allem die Verbesserung der Lehre ist, wird zuletzt der Frage nachgegangen, ob die Evaluation tatsächlich zu Veränderungen/Verbesserungen im Lehrbetrieb geführt hat.


Methoden

Itemgenerierung/Fragebogenkonstruktion

Die Methodik der Fragebogenkonstruktion wurde den Arbeiten von Rindermann [4], [6] und Stangl [8] entnommen. Orientierung boten die Inventare „Heidelberger Inventar zur Evaluation von Lehrveranstaltungen" HILVE [5] und „Lehrveranstaltungsbegleitende Evaluation" LVBE [9]. Der Fragebogen wurde in einem speziellen Gremium, bestehend aus einem Statistiker und mehreren Psychologen, didaktisch ausgebildeten Medizindozenten und mehreren Studierenden entwickelt. Zur Generierung des zu messenden Konstruktes „Lehrqualität" wurde zunächst eine Umfrage durchgeführt. Die Stichprobe umfasste 30 Studierende verschiedener Studienjahre und 10 Dozenten aus den Abteilungen Psychiatrie und Psychotherapie und Dermatologie. Ermittelt wurden unter Verwendung offener Fragen Variablen der Lehrqualität und deren relative Wichtigkeit für die Gesamtqualität. Die durch die Befragung identifizierten Kategorien der Lehrqualität entsprachen im Wesentlichen denen Rindermanns [4], [6] und Stangls [8]. Die Integration von Umfrage, Theorie und Beispielbögen ergab folgende Dimensionen (Erklärung Itemabkürzungen Tabelle 1 [Tab. 1]):

• Didaktische Qualität der Lehrveranstaltung repräsentiert durch klare Struktur, Medieneinsatz, Rhetorik, Verständlichkeit, sinnvolle Einbeziehung der Patientenvorstellung;

• Soziale (interaktive) Komponente repräsentiert durch Patientenumgang, Studentenmotivation und Möglichkeit, Fragen zu stellen;

• Leistungskomponente repräsentiert durch Verhältnis von Grundlagen- und Detailwissen, Lerneffekt, Anpassung an den Ausbildungsstand der Teilnehmer, Prüfungsrelevanz, klinische Bezüge;

• Personale Komponenten des Dozenten repräsentiert durch Dozentenmotivation;

• Studentische Komponenten repräsentiert durch das Vorinteresse (zu Beginn der Veranstaltung) und Vorkenntnisse.

Der Standardfragebogen (Abbildung 1 [Abb. 1]) beinhaltet außerdem die Abfrage einer Gesamtnote. Die Benotung der geschlossenen Fragen beruht auf einer fünfstufigen Likert-Skala. Für freie Kommentare steht ein Textfeld zur Verfügung. Ein erster Probelauf in der Hauptvorlesung Psychiatrie und Psychotherapie diente der Überprüfung der Gütekriterien. Statistische Analysen ermöglichten die Beschränkung auf weniger Items mit der Intention, einer Evaluationsmüdigkeit vorzubeugen. Seit dem Wintersemester (WS) 2001/2002 werden die Lehrziele im Erhebungsinstrument berücksichtigt. Erfragt werden Zustimmung, Qualität der Vermittlung und Zielerreichung (s. Abbildung 1 [Abb. 1]).

Datenerhebung/-auswertung

Der Einsatz der formativen Lehrveranstaltungsevaluation liegt in der Verantwortung der einzelnen Fächer. Die Fragebögen werden fachspezifisch unter Wahrung eines Standardfragenpools in Zusammenarbeit von Evaluationskommission und der jeweiligen Abteilung zusammengestellt. Die Evaluation kann nach jeder Veranstaltung, nach jedem Dozentenwechsel oder nach definierten Zeitabschnitten erfolgen. Die Bögen werden zur Auswertung unmittelbar an ein externes Software-Unternehmen versandt. Die Ergebnisse liegen dem Dozenten bereits am nächsten Werktag vor (E-Mail-Versand).

Da die formative Lehrveranstaltungsevaluation in der Abteilung für Psychiatrie und Psychotherapie entwickelt und etabliert wurde, wurden die im Folgenden dargestellten Untersuchungen anhand der Bewertungen der Hauptvorlesung Psychiatrie und Psychotherapie vorgenommen. Die Evaluation wird in der Abteilung seit ihrer Einführung im Jahr 2000 konsequent nach jeder Vorlesungsdoppelstunde durchgeführt. Im Durchschnitt beteiligten sich ca. 100 Studierende des 5. Studienjahres an der Befragung. Der Rücklauf der Fragebögen (Anzahl der abgegebenen Fragebögen/Anzahl der vom Vorlesungsassistenten gezählten Teilnehmer) lag von Veranstaltung zu Veranstaltung zwischen 70% und 90%.


Ergebnisse

1. Überprüfung der Validität des Verfahrens

Validität setzt voraus, dass die Testgütekriterien Objektivität und Reliabilität erfüllt sind. Auswertungs- und Interpretationsobjektivität sind durch die standardisierte deskriptive Statistik und die klare Zuordnung zum Schulnotensystem gegeben.

Durch die Berechnung der internen Konsistenz des Erhebungsinstrumentes sowie der durch Hauptkomponentenanalyse mit Varimaxrotation (Tabelle 2 [Tab. 2], Erklärung Itemabkürzungen Tabelle 1 [Tab. 1]) identifizierten 4 Faktoren wurde die Reliabilität gemessen. Bei der Analyse über alle Items konnte eine sehr hohe Reliabilität (Cronbachs α = 0,9135) nachgewiesen werden. Für den Faktor „Didaktische Qualität" wurde ebenfalls eine sehr hohe Reliabilität (Cronbachs α = 0,9324), für die Faktoren „Soziale Komponente" (Cronbachs α = 0,6406) und „Studentische Variablen" (Cronbachs α = 0,5249) eine mittlere Reliabilität ermittelt. Der Faktor „Leistungskomponente" wies keine interne Konsistenz auf.

Inhaltliche Validität ist wegen des Konstruktionsverfahren durch Experten auf der Basis von Umfragen unter Studierenden und Dozenten und unter Anlehnung an den aktuellen Forschungsstand und bestehende Inventare mit nachgewiesener Validität gegeben.

Die Konstruktvalidität kann statistisch überprüft werden. Das zugrunde liegende Konstrukt Lehrqualität besteht aus den oben beschriebenen Dimensionen, die durch Faktorenanalysen klar bestätigt werden konnten (Tabelle 2 [Tab. 2]).

Als potentielle Zerrfaktoren wurden die Variablen „Themainteresse" und „Vorkenntnisse" (Erklärung Itemabkürzungen Tabelle 1 [Tab. 1]) untersucht. Tabelle 3 [Tab. 3] zeigt die Korrelationskoeffizienten der einzelnen Items mit der Gesamtnote. Es wird deutlich, dass die Kriterien des Faktors „Didaktische Qualität" die höchsten Korrelationen mit der Gesamtnote aufweisen, während die vermuteten Zerrvariablen „Themainteresse" und „Vorkenntnisse" sehr niedrige Korrelationen mit der Gesamtnote zeigen.

2. Überprüfung der Veränderungen im Lehrbetrieb

Zunächst wurden die Items identifiziert, die am höchsten mit der erhobenen Gesamtnote korrelieren (Tabelle 3 [Tab. 3]). Ausgeschlossen wurden die Items „Evaluation_bisher;" „Lehrziel_überzeugt", „Lehrzielvermittlung", „Lehrziele_erreicht" und „Zustimmung" (Erklärung Itemabkürzungen Tabelle 1 [Tab. 1]), da sie nicht über alle Semester abgefragt wurden. Betrachtet wurden die Items „Motivierend", „Rhetorik", „Verständlichkeit" und „Struktur" (Erklärung s. Itemabkürzungen Tabelle 1 [Tab. 1]). Anhand dieser Items wurde die Entwicklung der Evaluationsergebnisse einzelner Dozenten dargestellt. Ein Vergleich über alle Dozenten ist nicht möglich, da viele Veranstaltungen desselben Themas von unterschiedlichen Dozenten gehalten wurden. Verglichen wurden alle Veranstaltungen, die vom selben Dozenten zum selben Thema in aufeinander folgenden Semestern gehalten wurden. Bis auf einen zeigten alle acht Dozenten deutliche, für die Mehrzahl der Parameter signifikante Verbesserungen ihrer Evaluationsergebnisse. Die Abbildungen 2-5 [Abb. 2] [Abb. 3] [Abb. 4] [Abb. 5] zeigen diese Entwicklung exemplarisch für vier Dozenten.


Diskussion

Die formative Lehrveranstaltungsevaluation der Medizinischen Fakultät Freiburg wird sowohl wissenschaftlichen als auch pragmatischen Ansprüchen gerecht. Sie liefert eine detaillierte und valide Beurteilung der Lehrqualität und führt zu Veränderungen des Dozentenverhaltens, die sich in deutlichen, großenteils signifikanten Verbesserungen der Evaluationsergebnisse wiederspiegeln.

Die Einführung der formativen Lehrveranstaltungsevaluation war zunächst in der Fakultät sehr umstritten. Die Urteilsfähigkeit der Studierenden wurde in Frage gestellt, eine schnell zunehmende Evaluationsmüdigkeit unter den Studierenden aufgrund der Häufigkeit der Evaluation und eine mangelnde Akzeptanz des Verfahrens durch die Dozenten wurden befürchtet. Weiterhin wurde bezweifelt, ob die Ergebnisse pragmatische, handlungsrelevante Informationen liefern würden. Unter besonderer Berücksichtigung dieser Aspekte wurde dann das in dieser Arbeit untersuchte Verfahren entwickelt. Diesem liegt ein sehr dezidiertes, multidimensionales Konstrukt der Lehrqualität zugrunde, das Struktur-, Prozess- und Ergebnisqualität sowie potentielle Zerrfaktoren berücksichtigt. Das aufwendige Konstruktionsverfahren gewährleistet die Befriedigung wissenschaftlicher und pragmatischer Ansprüche durch die Integration von aktuellem Evaluationsforschungsstand, Orientierung an validierten Inventaren und Befragung von Studierenden und Dozenten der Fakultät.

Sowohl die Faktorenanalysen als auch die Korrelationsanalysen sprechen für die differenzierte Urteilsfähigkeit der Studierenden. Die Berechnung der Korrelationen der einzelnen Items mit der Gesamtnote ergab, dass diese hauptsächlich eine Funktion der didaktischen Variablen ist. Die vermuteten Zerrvariablen „Themainteresse" und „Vorkenntnisse" zeigen die geringsten Zusammenhänge mit der Gesamtnote. Die befürchtete Evaluationsmüdigkeit kann aufgrund der kontinuierlich hohen Rücklaufzahlen ausgeschlossen werden. Diese sprechen auch für die wahrgenommene Relevanz des Verfahrens auf Seiten der Studierenden. Dass die Evaluation dem einzelnen Dozenten konkrete Handlungsperspektiven aufzeigt, große Akzeptanz findet und intensiv als Instrument genutzt wird, zeigen die deutlichen Verbesserungen der Dozentenergebnisse bei nachfolgenden Lehrveranstaltungen mit dem selben Thema. Eine erhebliche Rolle spielt in diesem Zusammenhang sicherlich die umgehende Auswertung der Evaluation noch am selben Tag und die kontinuierliche Durchführung, die die Überprüfung der Wirksamkeit ergriffener Maßnahmen ermöglicht. Zur weiteren Optimierung des Verfahrens sollten die Ergebnisse zukünftig verstärkt als Grundlage einer hochschuldidaktischen Weiterbildung dienen. Weiterhin ist eine Anwendung des Verfahrens in modifizierter Form z.B. im Bereich von Kursen, Prüfungen und der ärztlichen Weiterbildung denkbar.


Literatur

1.
Cashin WE, Downey RG. Using global student rating items for summative evaluation. J Educ Psychol. 1992;84:563-572.
2.
d`Apollonia S, Abrami PC. Navigating student ratings of instruction. Am Psychol. 1997;52:1198-1208.
3.
Marsh HW. Students´ evaluations of university teaching: Dimensionality, reliability, validity, potential biases, and utility. J Educ Psychol. 1984;76(5):707-754.
4.
Rindermann H. Das Münchner multifaktorielle Modell der Lehrveranstaltungsqualität. Entwicklung, Begründung und Überprüfung. Beitr Hochsch Forsch. 1998;3:189-224.
5.
Rindermann H. Lehrevaluation: Einführung und Überblick zu Forschung und Praxis der Lehrveranstaltungsevaluation an Hochschulen mit einem Beitrag zur Evaluation computerbasierten Unterrichtes. Landau: Verlag Empirische Pädagogik; 2001. p. 381-384.
6.
Rindermann, H. Die studentische Beurteilung von Lehrveranstaltungen - Forschungsstand und Implikationen. In: Spiel CH (Hrsg.): Evaluation universitärer Lehre - zwischen Qualitätsmanagement und Selbstzweck. Münster: Waxmann; 2001. p. 61-88.
7.
Spiel C, Gössler PM. Zum Einfluss von Biasvariablen auf die Bewertung universitärer Lehre durch die Studierenden. Z Entwicklungspsychol Padagog Psychol. 2000;14:38-47.
8.
Stangl W. Die Evaluation universitärer Lehrveranstaltungen. [homepage on the Internet]. Linz: p@psch Linz; c1998ff. Available from: http://paedpsych.jk.uni-linz.ac.at/paedpsych/Evaluation.
9.
Stangl W. Lehrveranstaltungsbegleitende Evaluation (LVBE) [homepage on the Internet). Linz: Stangl; c1996-98 Available from: http://paedpsych.jk.uni-linz.ac.at/paedpsych/evaluation/LVBE/LVBE.