gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

Lehrevaluation an der Medizinischen Fakultät Freiburg, Teil I: Das Evaluationssystem im Überblick

Teaching Evaluation at the Medical Faculty of Freiburg, part I: an overview

Projekt Humanmedizin

  • corresponding author Verena Peus - Albert Ludwigs-Universität Freiburg, Studiendekanat der Medizinischen Fakultät, Freiburg, Deutschland
  • author Gabriele Valerius - Albert Ludwigs-Universität Freiburg, Studiendekanat der Medizinischen Fakultät, Freiburg, Deutschland
  • author Lars Schärer - Universitätsklinik für Psychiatrie und Psychosomatik, Abteilung für Psychiatrie und Psychotherapie, Freiburg, Deutschland
  • author Stefan Buchkremer - Universität Mainz, 1. Medizinische Klinik, Mainz, Deutschland
  • author Ulrich Voderholzer - Universitätsklinik für Psychiatrie und Psychosomatik, Abteilung für Psychiatrie und Psychotherapie, Freiburg, Deutschland
  • author Mathias Berger - Universitätsklinik für Psychiatrie und Psychosomatik, Abteilung für Psychiatrie und Psychotherapie, Freiburg, Deutschland

GMS Z Med Ausbild 2005;22(2):Doc18

The electronic version of this article is the complete one and can be found online at: http://www.egms.de/en/journals/zma/2005-22/zma000018.shtml

Received: March 1, 2005
Published: April 20, 2005

© 2005 Peus et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Zusammenfassung

Im Laufe mehrerer Jahre ist in Freiburg ein umfassendes evaluationsbasiertes System zur Sicherung bzw. Optimierung der Lehrqualität entstanden. Dieses System umfasst folgende Ebenen:

Ebene-I: Summative Jahresendevaluation aller Hauptvorlesungen und Kurse der scheinpflichtigen Fächer der ersten fünf Studienjahre sowie gesondert des Praktischen Jahres (PJ). Ziel ist die Defizitanalyse der Lehrqualität auf der Ebene der einzelnen Fächer, vorwiegend bezogen auf strukturelle Faktoren.

Ebene-II: Formative Evaluation einzelner Lehrveranstaltungen schwerpunktmäßig unter didaktischen Gesichtspunkten. Besonders die durch die Ebene-I identifizierten Schwachstellen des Lehrangebotes werden hier detaillierter analysiert. Der Anspruch jeglicher Form der Evaluation ist ihre Nutzung als Instrument zur Optimierung der Qualität. Insofern wird auf allen Ebenen konsequent an der Umsetzung der Ergebnisse in qualitätsverbessernde Maßnahmen gearbeitet.

Schlüsselwörter: Medizinische Ausbildung, Qualität der Lehre, Lehrevaluation, qualitätsverbessernde Maßnahmen

Abstract

A comprehensive evaluation-based system for quality assurance was developed at the Medical Faculty of Freiburg during the course of several years. The system comprises the following levels:

Level-I: Annual summative evaluation of the entire curriculum (academic years 1 through 5 and separately the Practical Year). The primary goal is a deficit analysis of the teaching quality of the several disciplines, thereby mainly referring to structural parameters.

Level-II: Formative evaluation of the several courses/lectures with emphasis on didactic parameters. It allows a more detailed analysis of the quality of teaching. Especially those disciplines are examined that are identified by the level-I-evaluation as being in need of improvement. The intention of any form of evaluation is its use as an instrument for optimising the teaching quality. Therefore transferring the evaluation results in measures improving quality is resolutely pursued on all levels of evaluation.

Keywords: medical education, quality of teaching, teaching evaluation, quality improving measures


Einleitung

„Die Fakultät Freiburg kann ein hoch entwickeltes Evaluationskonzept aufweisen, das sämtliche Pflichtveranstaltungen und Hauptvorlesungen umfasst und mit hohem Engagement und beträchtlichem Aufwand von Fachschaft und Studiendekanat durchgeführt wird. Darüber hinaus werden Lehrevaluationen in speziellen Disziplinen vorgenommen. Wenn Evaluation so professionell eingesetzt wird, erfüllt sie auch die in sie gesetzten Erwartungen, d.h. sie schafft nachvollziehbare Grundlagen für eine Schwachstellenanalyse der Lehre einerseits und - im Zuge der Evaluationskonsequenzen - eine Verbesserung der Kommunikation zwischen Lehrenden und Lernenden andererseits" [1]. Mit diesen Worten fand das Freiburger Lehrevaluationssystem Eingang in den Bericht der vom Ministerium für Wissenschaft Forschung und Kunst eingesetzten Sachverständigenkommission zur Bewertung der Medizinischen Ausbildung in Baden-Württemberg (BeMA).

Anspruch der Lehrevaluation an der Medizinischen Fakultät Freiburg war seit jeher, die Qualität der Lehre nicht nur zu bewerten, sondern vor allem zu verbessern. Um dieses oberste Ziel möglichst effektiv zu erreichen, sollten verschiedene Aspekte Beachtung finden:

• Generierung möglichst detaillierter und prägnanter Aussagen zu Stärken und Schwächen des Lehrangebotes und Verbesserungsmöglichkeiten;

• Adäquate Abdeckung aller Ebenen der Lehrqualität: Lehre des Faches insgesamt, einzelne Lehrveranstaltungen und, separat betrachtet, das Praktische Jahr (PJ);

• Veröffentlichung der Ergebnisse zur Schaffung einer breiten Akzeptanz und Nutzung durch Studierende und Lehrverantwortliche;

• Umsetzung der Ergebnisse in qualitätsverbessernde Maßnahmen;

• Überprüfung der Wirksamkeit dieser Maßnahmen anhand einer kontinuierlichen Evaluation;

• Fortwährende Qualitätskontrolle der Fragebögen (Aufrechterhaltung der Gütekriterien);

• Größtmögliche Automatisierung und Standardisierung des Systems zur Begrenzung der Kosten, insbesondere der personellen Ressourcen, d.h. des zeitlichen Aufwandes.

Um diese Grundprinzipien zu verwirklichen, wurde in Freiburg ein aus zwei Ebenen bestehendes Evaluationssystem, das sowohl summative als auch formative Elemente beinhaltet, entwickelt. Die Ebene-I repräsentiert die fakultätsweite summative Jahresendevaluation, die für die ersten fünf Studienjahre jährlich, für das PJ halbjährlich, durchgeführt wird. Ziel ist die Analyse der Lehrqualität aller Fächer schwerpunktmäßig unter strukturellen Gesichtspunkten zur Identifizierung von Stärken und Schwächen des Lehrangebotes. Systematisch wird nach der Datenerhebung an der Umsetzung der Ergebnisse in qualitätsverbessernde Maßnahmen gearbeitet. Ergänzend wird den Abteilungen die Durchführung der Ebene-II, der formativen Lehrveranstaltungsevaluation, empfohlen. Diese vorrangig an didaktischen Variablen orientierte Evaluation ermöglicht eine dozentenbezogene bzw. veranstaltungsspezifische Defizitanalyse.

Das Kernstück des Freiburger Lehrevaluationssystems ist die summative Jahresendevaluation der ersten fünf Jahre. Ihre Entstehung, ihre Zielsetzungen und ihr Ablauf sollen im Folgenden näher erläutert werden. Auf die Ebene II des Freiburger Evaluationssystems wird ebenfalls in dieser Ausgabe im Artikel „Lehrevaluation an der Medizinischen Fakultät Freiburg Teil II - Formative Lehrveranstaltungsevaluation" näher eingegangen.


Entstehung/Akteure/Gremien

Die erste systematische Lehrevaluation entstand in Freiburg 1997 durch eine Initiative der Studierenden. 1998 wurde das Projekt durch den Studiendekan aufgegriffen und wird seitdem als Kooperationsprojekt von Studiendekanat und der Projektgruppe „Lehrevaluation" der Fachschaft durchgeführt, der jeweils zwei Studierende jedes Studienjahres angehören, und durch die Studienkommission bzw. den Fakultätsrat getragen. Mit der Auswertung der Bögen und graphischen sowie statistischen Aufbereitung der Ergebnisse wird ein externes Software-Unternehmen beauftragt. Um die Koordination der Evaluation und der qualitätsverbessernden Maßnahmen effizienter zu gestalten, wurde 2001 die Evaluationskommission gegründet. Mitglieder sind die Studiendekane, die Studierenden der Projektgruppe „Lehrevaluation" der Fachschaft, ein Vertreter der externen Software-Firma, die Lehrbeauftragten des Studiendekanates und der Abteilungen Innere Medizin und Chirurgie des Universitätsklinikums.


Summative Jahresendevaluation (Ebene I)

Kernstück des Freiburger Lehrevaluationssystems ist die summative Jahresendevaluation. Deren Ziel ist eine Analyse der Lehrqualität aller Fächer und die konsequente Umsetzung der Ergebnisse in qualitätsverbessernde Maßnahmen.

Erhebungsinstrumente

Die Konstruktion des Evaluationsbogens ist an zwei globalen Zielen orientiert und entsprechend wurde ein aus zwei Teilen bestehender Fragebogen konstruiert (siehe Abbildung 1 [Abb. 1]):

1.) Ein Qualitätsbewusstsein im Bereich Lehre soll geweckt bzw. die Abteilungen motiviert werden, auch in der Lehre stärker leistungsorientiert zu handeln. Insofern wird im ersten Teil eine Gesamtbewertung des Faches bzw. der wesentlichen Komponenten des Lehrangebotes (Hauptvorlesung, Kurs/Praktikum, Seminar) erfragt.

2.) Durch die konkrete Abfrage bestimmter Kriterien von Lehrqualität soll eine Stärken-Schwächen-Analyse als Grundlage für die Aufdeckung von Defiziten und die nachfolgende Einführung qualitätsverbessernder Maßnahmen erfolgen. Entsprechend besteht der zweite Teil des Fragebogens aus Items, die konkrete Qualitätsmerkmale des Lehrangebotes abdecken, wiederum untergliedert nach Hauptvorlesung, Kurs/Praktikum, Seminar.

Diese Kriterien der Lehrqualität wurden von der Projektgruppe Lehrevaluation der Fachschaft konzipiert, gestützt auf die Ergebnisse einer Umfrage unter den Studierenden. Anspruch war, dass die Items sich auf wesentliche organisatorische und strukturelle Aspekte der Lehrqualität eines Faches und nicht auf den einzelnen Dozenten beziehen sollen. Da sich die retrospektive Evaluation auf die verschiedenen Veranstaltungen eines Faches und damit in den meisten Fällen auf unterschiedliche Dozenten bezieht, hätten globale Urteile über die Dozentenqualität keine Aussagekraft. Das Dozentenverhalten ist Gegenstand der formativen Lehrveranstaltungsevaluation und wird durch diese detailliert analysiert. (s. Peus et al., Lehrevaluation an der Medizinischen Fakultät Freiburg Teil II - Formative Lehrveranstaltungsevaluation in dieser Ausgabe). Nur für die Vorklinik wurde außerdem ein aus einer Seite bestehender Dozentenfragebogen als Bestandteil der retrospektiven Evaluation entwickelt. Hier wird für jeden Dozenten der Vorklinik, der mindestens eine Woche lang eine Hauptvorlesung gehalten hat, eine Gesamtbewertung, eine Bewertung der Variablen „Gliederung", „Medieneinsatz", „Verständlichkeit" und die Anwesenheitshäufigkeit erfragt. Für die Klinik erschien dies aufgrund der vielen und häufig wechselnden Dozenten nicht sinnvoll. Nach einem ersten Probelauf wurde in den fachspezifischen Evaluationsbögen eine Beschränkung auf die aussagekräftigsten Items vorgenommen, um die Motivation der Studierenden, an der Evaluation teilzunehmen, zu steigern. Die ursprünglich einheitlichen Fragebögen wurden 1999 individuell auf das jeweilige Lehrangebot der einzelnen Fächer unter Wahrung eines Standardfragenpools abgestimmt. Die Bögen werden jedes Jahr in Zusammenarbeit mit den jeweiligen Fachvertretern aktualisiert. Neben den geschlossenen Fragen, die auf einer Skala von 1-5 bewertet werden, und der Abfrage der Anwesenheitshäufigkeit, stehen Textfelder mit den Überschriften „Besonders gut fand ich" und „Verbesserungsvorschläge" für freie Kommentare zur Verfügung. In der Anleitung werden die Teilnehmer aufgefordert, lediglich die Veranstaltungen zu bewerten, zu deren Beurteilung sie sich befähigt fühlen. Damit soll verhindert werden, dass die Ergebnisse durch willkürliche Beantwortung der Fragen verzerrt werden. Für das PJ wurden gesonderte Bögen entwickelt [2]. Layout und Druck der Bögen obliegen dem in der Evaluationskommission vertretenen externen Softwareunternehmen.

Datenerhebung/-auswertung

Die Datenerhebung erfolgt alljährlich am Ende des Sommersemesters. Evaluiert werden alle für den Gegenstandskatalog relevanten Lehrveranstaltungen (Hauptvorlesungen und scheinpflichtige Kurse/Seminare). Zur Sicherung repräsentativer Rücklaufzahlen wird die Datenerhebung in jedem Studienjahr an eine Scheinausgabe gekoppelt. Zur zusätzlichen Motivation wurde ein Preisausschreiben eingeführt, das bei Abgabe der ausgefüllten Bögen zur Wahrung der Anonymität getrennt von diesen eingesammelt wird. Auf diese Weise konnten in den vorklinischen Fächern Rücklaufzahlen von über 90% der Studierenden, im ersten klinischen Abschnitt von ca. 75% und im zweiten klinischen Abschnitt von ca. 50% erreicht werden (Durchschnittswerte über die Jahre). Diese Prozentangaben beziehen sich auf ca. 310 Studierende pro Studienjahr.

Die erhobenen Daten werden von dem externen Software-Unternehmen zeitnah ausgewertet. Ermittelt werden für jedes Item Mittelwert, Standardabweichung, Rang (im Vergleich zu allen Fächern, für die dieses Item bewertet wurde) und die Anzahl der Bewertungen. Weiterhin wird ein Histogramm zur Darstellung der Streuung erstellt (Ergebnisgesamtübersicht s. Abbildung 1 [Abb. 1]). Anhand eines Rechenschlüssels zur Gewichtung der einzelnen Lehrveranstaltungen eines Faches wird dann eine Gesamtnote für jedes Fach aus den Gesamtbewertungen der einzelnen Lehrveranstaltungen berechnet. Hier fließen die Semesterwochenstunden von Vorlesung, Kurs und/oder Seminar im Verhältnis 1:2:2 ein. Ursprünglich wurde die Gesamtbewertung des Faches explizit von den Studierenden erfragt. Die seit dem Studienjahr 1999/2000 existierende errechnete Gesamtnote gewährleistet eine Einbeziehung aller Kurse und Hauptvorlesungen eines Faches, auch wenn sie in verschiedenen Studienjahren gelehrt werden. Jedes Fach erhält eine Gesamtübersicht seiner Ergebnisse (s. Abbildung 1 [Abb. 1]).

Konsequenzen

Damit die Lehrevaluation ihrem Zweck, eine Verbesserung der Lehre herbeizuführen, gerecht werden kann, wird in Freiburg intensiv daran gearbeitet, Konsequenzen aus den Ergebnissen zu ziehen. Hier kommen verschiedene Ansätze zum Einsatz.

Es erfolgt eine fakultätsweite Veröffentlichung der Ergebnisse in einer Broschüre, die von der Fachschaft in Zusammenarbeit mit dem Studiendekanat herausgegeben wird (Auszug s. Abbildung 2 [Abb. 2]). Präsentiert werden die Gesamtnoten der Fächer, die Vorlesungsnoten, die Kurs-/Seminarnoten und die zehn besten Dozenten der Vorklinik („Top Ten"). Die Darstellung erfolgt jeweils nach Notenrängen (s. Abbildung 2 [Abb. 2]). Für die Publikation der Dozentenergebnisse wird aus Gründen des Datenschutzes deren Einverständniserklärung eingeholt. Die Veröffentlichung der Ergebnisse zielt auf mehrere Wirkungen ab.

• Das Qualitätsbewusstsein der Lehrenden soll auf diese Weise gesteigert werden.

• Die Transparenzerhöhung im Bereich der Lehre soll eine Steigerung des Interesses der Abteilungsleiter bewirken, an der kontinuierlichen Qualitätsverbesserung der Lehrstruktur ihres Faches zu arbeiten.

• Die Veröffentlichung soll die Motivation der Studierenden steigern, an der Evaluation teilzunehmen.

• Die Ergebnisse können als Entscheidungshilfe für die Studierenden bei ihrer Studienplanung dienen.

Mit den Abteilungsleitern und Lehrbeauftragten der Fächer, bei denen die Evaluationskommission Defizite in der Lehrqualität sieht, werden Gespräche geführt. Grundlage dieser vom Studiendekan und zwei Fachschaftsvertretern aus dem jeweiligen Studienjahr geführten Gespräche bilden von der Fachschaft verfasste Lehrcharakteristiken. Dies sind schriftliche Zusammenfassungen der Lehre des Faches, die eine Stärken-Schwächen-Analyse mit daraus resultierenden konstruktiven Verbesserungsvorschlägen auf der Basis der deskriptiven Ergebnisse unter Einbeziehung der Freitextkommentare enthalten. Die Fachschaft führt darüber hinaus mit den Dozenten der Vorklinik Einzelgespräche, um die durch die Lehrevaluation ermittelte Rückmeldung auf ihre Lehre zu intensivieren und in konkrete Handlungsperspektiven umzusetzen.

Um eine detailliertere Analyse der einzelnen Lehrveranstaltungen bzw. der Lehre der einzelnen Dozenten zu erhalten und dadurch Defizite gezielter identifizieren zu können, wird den Abteilungen bzw. Dozenten die im Jahr 2000 entwickelte formative Lehrveranstaltungsevaluation (Ebene-II) angeboten (s. Peus et al. Lehrevaluation an der Medizinischen Fakultät Freiburg Teil II - Formative Lehrveranstaltungsevaluation in dieser Ausgabe). Die Ergebnisse dieser Evaluation können als Grundlage einer hochschuldidaktischen Weiterbildung der Dozenten dienen.

An das beste Fach der Klinik, das beste Fach der Vorklinik und die drei besten Dozenten der Vorklinik werden Lehrpreise in Form von Pokalen und im Rahmen von bei Bewerbungen verwertbaren Urkunden vergeben. Außerdem wird eine von der Evaluationskommission festgelegte Person, Institution o. ä. mit einem „Preis für besonderes Engagement in der Lehre" ausgezeichnet.

Seit dem Wintersemester 2002/03 wird ein „Tag der Lehre" mit anschließendem Medizinerball veranstaltet. Ein solcher Tag soll Raum für Diskussionen über Veränderungen, Verbesserungen, Ziele, Probleme etc. der medizinischen Lehre in Freiburg bieten.


Diskussion

Die Stärken der Lehrevaluation der Medizinischen Fakultät Freiburg liegen in ihrer konsequenten und kontinuierlichen Einbettung in ein umfassendes System zur Lehrqualitätsoptimierung. Dieser Grundgedanke wird verwirklicht durch:

• die adäquate Abdeckung der verschiedenen Ebenen der Verantwortlichkeit für die Lehre durch die summative und formative Evaluation;

• die konsequenten Interventionen zur Umsetzung der Ergebnisse in qualitätsverbessernde Maßnahmen;

• die Kontinuität der Evaluation;

• die enge Kooperation von Studiendekanat und Fachschaft.

Durch die sehr konsequente Umsetzung der Ergebnisse in qualitätsverbessernde Maßnahmen konnte mit dem Lehrevaluationssystem eine beträchtliche Sensibilisierung für die Qualität der Lehre sowohl auf Seiten der für die Lehre Verantwortlichen als auch auf Seiten der Studierenden erreicht werden. Diese Entwicklung spiegelt sich auch in Kennzahlen wie z.B. der Einstellung von Lehrbeauftragten in mehreren Abteilungen, der Zunahme des Kursangebotes im Praktischen Jahr und dem Einsatz der formativen Lehrveranstaltungsevaluation in vielen Abteilungen wider. Ein Anreiz zur noch konsequenteren Nutzung dieses Instrumentes sollte in Zukunft in Form einer leistungsorientierten Mittelvergabe unter Berücksichtigung der Evaluationsergebnisse geschaffen werden. Eine solche Honorierung bzw. Sanktionierung der Lehrleistung wird aber auch zu einer verstärkten Kritik an den Evaluationsergebnisse führen. Daraus ergibt sich die Notwendigkeit, weiterhin konsequent an der inhaltlichen Validierung der Evaluationsinstrumente zu arbeiten. Mögliche weitere Untersuchungen sind z.B. eine Absolventenbefragung und eine Befragung externer Experten. Für die Studienreform im Zuge der Umsetzung der neuen ÄAppO liefern die bisherigen Evaluationsergebnisse wichtige Hinweise. Außerdem bietet das elaborierte Evaluationssystem die Möglichkeit, von vornherein sowohl summativ als auch formativ die Qualität der Neuerungen zu überprüfen und zu optimieren. Zur weiteren Ökonomisierung der Evaluation ist eine Umstellung der Datenerhebung auf ein Internetsystem in Planung.


Literatur

1.
Ministerium für Wissenschaft, Forschung und Kunst Baden-Württemberg (Hrsg.). Bericht der Sachverständigenkommission zur Bewertung der Medizinischen Ausbildung (BeMA). Medizinische Ausbildung in Baden-Württemberg. 2001: 87.
2.
Wiese L, Briel M, Gerke W. Ein Curriculum für das Praktische Jahr (PJ). Entwicklung im Universitätsklinikum Freiburg am Beispiel des Wahlfachs Neurologie. Med Ausbild. 2003;20:46-53.