gms | German Medical Science

In Deutschland gibt die ärztliche Approbationsordnung (ÄAppO: § 2, Absatz 9) vor, dass Lehrveranstaltungen regelmäßig zu evaluieren sind. Das Landeshochschulgesetz von Baden Württemberg (§5, Abs. 2) sieht die Beteiligung der Studierenden vor. Die Evaluation von Lehrveranstaltungen durch Studierende ist an den Medizinischen Fakultäten etabliert. Sie gilt unter bestimmten Voraussetzungen als reliabel [1], [2]. Als zuverlässig gilt die studentische Evaluation insbesondere dann, wenn sie detailliert auf die einzelne Lehrveranstaltung bezogen ist und die Lehrenden ein unmittelbares Feedback erhalten, zum Beispiel im Rahmen eines kollegialen Coachings [3], [4]. Sowohl die zeitversetzte Evaluation am Semesterende, als auch die Gesamtevaluation eines Vorlesungsblockes, sind in diesem Sinne nur bedingt hilfreich für eine Verbesserung der Lehre, insbesondere wenn – wie auch am Zentrum für Kinder- und Jugendmedizin (ZKJ) Freiburg – im Vorlesungsblock verschiedene Themengebiete von verschiedenen Lehrenden gelesen oder gleiche Themengebiete von unterschiedlichen Lehrenden vorgetragen werden. Somit stellt sich die Frage, inwieweit Evaluationsergebnisse, die unter diesen Bedingungen erhoben wurden, valide sind und ob sie zur Verbesserung der Lehrveranstaltung verwendet werden können.

Ziel ist ein Evaluations-Instrument zur Verfügung zu haben, das mit vertretbarem Aufwand für Lehrende und Studierende der jeweiligen Lehrperson zeitnah zuverlässige und valide Hinweise zur Qualität der eigenen Lehre geben und möglichen Verbesserungsbedarf aufzeigen kann. Mittels Audience-Response-Systemen (ARS) können zeitnah Hinweise zur Qualität von Lehrveranstaltungen gegeben werden und durch zielgerichteten Einsatz dieses noch neuen Evaluationsinstrumentes der „Evaluationsmüdigkeit“ Studierender zumindest teilweise entgegen gewirkt werden [5]. Der Einsatz von ARS in Vorlesungen führt zu höherer Partizipation und Aufmerksamkeit der Studierenden [5], [6], [7], [8]. Bisher gibt es jedoch zu dieser Form der Evaluation von Lehrveranstaltungen nur wenige Daten [7], [9], [10]. Lehrende sehen vor allem die rasche Verfügbarkeit der Evaluationsdaten als Vorteil an [7], [9].Ein kritisch zu sehender Effekt von ARS ist die positivere Bewertung von Vorlesungen und Lehrenden im Vergleich zu anderen Formen der Evaluation [9], [10], [11], [12].

Bislang wurde die Pädiatrievorlesung am ZKJ Freiburg am Ende des Semesters mittels eines onlinebasierten Tools evaluiert. Eine Beurteilung der Lehrqualität einzelner Lehrender fand nicht statt. Die Lehrenden bemängelten dieses Fehlen direkter Rückmeldungen zur eigenen Vorlesung in Bezug auf inhaltliche und didaktische Aspekte.

Ziel der vorliegenden Untersuchung war es Ergebnisse der Semesterende-Evaluation mit der Gesamtbewertung einer ARS-Evaluation zu vergleichen. Anhand der Variablen „studentisches Vorwissen“, „Vorlesungsgestaltung“ und „Relevanz des Vorlesungsthemas“ für die Studierenden sollten zusätzlich mögliche Einflussfaktoren auf die Evaluationsergebnisse untersucht werden.

Im Wintersemester 2011/2012 wurden alle Pädiatrievorlesungen am Zentrum für Kinder- und Jugendmedizin Freiburg mittels ARS evaluiert. Alle anwesenden Studierenden erhielten zu Vorlesungsbeginn ein Abstimmungsgerät. Eine Überprüfung, ob alle anwesenden Studierenden tatsächlich abstimmten, fand nicht statt. Die Evaluation erfolgte direkt am Ende der Vorlesungen mittels PowerVote^© ARS-Abstimmungssystem (La Générale Multimédia, Clichy, Frankreich).Es wurden vier Fragen gestellt:

1.

„Zu Beginn dieser Vorlesung war ich bereits auf das Thema vorbereitet.“

2.

„Die Art, wie die Vorlesung gestaltet ist (Sprache, Medien, Geschwindigkeit), trägt zum Verständnis des Stoffes bei.“

3.

„Die Vorlesungsinhalte sind vermutlich für die spätere Berufspraxis relevant (auch für Nicht-Pädiater).“

4.

„Meine Gesamtbewertung der Vorlesung ist: ...“.

Zwei Fragen bezogen sich auf die Bewertung der Lehrqualität (Frage 2 und Frage 4). Zwei Fragen wurden ausgewählt, um abzuschätzen, inwieweit die selbsteingeschätzte Relevanz des Themas und das selbst eingeschätzte Vorwissen im Zusammenhang zur Gestaltung und Gesamtbewertung der Vorlesung stehen (Frage 1 und Frage 3):

Die Bewertung erfolgte auf einer 6-stufigen Likert-Skala (1=sehr gut bis 6=ungenügend). Anhand dieser Fragen sollten die Lehrenden am Ende jeder Vorlesung eine unmittelbare Rückmeldung erhalten. Am Ende des Semesters erhielten alle Lehrenden sowohl die Ergebnisse ihrer Lehrveranstaltung, als auch die Mittelwerte aller Evaluationen zum Vergleich.

Da die Lehrenden oft die – vor allem negative – studentische Bewertung ihrer Lehre anderen, außerhalb ihres Einflusses stehenden, Variablen zuschreiben, wurde überprüft, ob die Gesamt-Bewertung (Frage 4) mit dem Vorwissen der Studierenden (Frage 1) und der Relevanz der Vorlesung (Frage 3) im Zusammenhang steht. Darüber hinaus wurde die Variable Vorlesungsgestaltung als sogenannte „Kontrollvariable“ mitaufgenommen. Die Bewertungen dieser Variable müsste mit der Gesamtbewertung in einem engeren Zusammenhang stehen als die Bewertungen der anderen Variablen [13]. Die Note der im Rahmen der ARS-Evaluation erhobenen Gesamtbewertung wurde mit der Note der onlinebasierten Semesterende-Evaluation der Vorlesung verglichen, welche vier Monate nach Ende des ersten Pädiatrie-Blocks durchgeführt wurde. Wir postulierten, wie in Voruntersuchungen gezeigt [9], [10], [11], [12], ein besseres Evaluationsergebnis mit der ARS-Evaluation im Vergleich zur Semesterende-Evaluation.

Die Auswertung der ARS-Evaluation erfolgte mit IBM SPSS Version 20 (IBM SPSS Statistics für Windows, Version 20.0. Armonk, NY: IBM Corp.). Den Lehrenden wurden Zahlencodes zugeordnet, um deren Anonymität bei der Auswertung sowie für die Ergebnisdarstellung zu wahren. Es wurden Korrelationen nach Pearson berechnet und T-Tests durchgeführt. Zur Bestimmung der Effektstärke der Mittelwertunterschiede wurde Cohens d berechnet. Aufgrund nicht zur Verfügung stehender Rohdaten bei der Semesterende-Evaluation wurden die Mittelwerte der ARS-Gesamtbewertung und die Mittelwerte der Semesterende-Evaluation-Bewertung mit Hilfe des „T-Tests bei einer Stichprobe“ miteinander verglichen.

Die Vorlesungsthemen umfassten die Themengebiete der speziellen allgemeinen Pädiatrie, der pädiatrischen Kardiologie, der Neuropädiatrie und der pädiatrischen Hämatologie und Onkologie. Im WS 2011/12 wurden die Pädiatrie-Vorlesungen am ZKJ Freiburg titel- und inhaltsgleich in zwei Unterrichtsblöcken à 17 Vorlesungen in je 4 Wochen durchgeführt. Je Block nahmen 80 Studierende im 8. Fachsemester teil. Eine Anwesenheitspflicht für die Vorlesung bestand nicht, eine Überprüfung der Anwesenheit fand nicht statt. 21 Lehrende beteiligten sich an den Vorlesungen.

Mittels ARS-Evaluation wurden insgesamt 833 „Antworten“ abgegeben. Pro Frage wurden im Mittel pro Vorlesung 22 „Antworten“ abgegeben (SD=7,98; Min. 8 - Max. 44). Die Ergebnisse zu den vier gestellten Fragen finden sich in Tabelle 1 [Tab. 1]. In Block 1 wurden pro Frage 343 - 370 "Antworten" abgegeben, in Block 2 405 - 463. Im Rahmen der onlinebasierten Endsemesterevaluation wurde die Pädiatrievorlesung im WS 2011/12 von 97 Studierenden evaluiert (61% Rücklauf). Zwischen der Gesamtbewertung mittels ARS und der Gesamtbewertung der onlinebasierten Semesterende-Evaluation zeigte sich ein signifikanter Unterschied (M_ARS=2,31, SD=1,178; M_SemEnd=2,45; t-Wert -3,557, df 787, p<.0001).

In Tabelle 2 [Tab. 2] sind die Ergebnisse der ARS-Evaluationen für beide Vorlesungsblöcke dargestellt. Bei allen Fragen ergeben sich signifikante Mittelwertunterschiede, wobei die Effektstärken (Cohens d) im niedrigen bis mittleren Bereich liegen. Für Block 2 fallen die Ergebnisse für die Vorlesungsgestaltung und Gesamtbewertung weniger günstig aus als für Block 1. Die Studierenden, welche die Vorlesungen in Block 2 besuchten, gaben im Vergleich zu den Studierenden des Blocks 1 an, weniger gut vorbereitet gewesen zu sein. Zudem schätzten sie die Relevanz des Themas der Veranstaltung als weniger wichtig ein als ihre KommilitonInnen in Block 1. Da auffällig war, dass in beiden Blöcken der range der Beurteilungen für die einzelnen Lehrenden im Hinblick auf die Vorlesungsgestaltung (Block 1: M=1,46 bis M=3,10; Block 2: M=2,00 bis M=4,10) und der Gesamtbewertung (Block 1: M=1,33 bis M=3,38, Block 2: M=1,91 bis M=4,43) variierte, wurden weitere Analysen (hier nicht dargestellt) mit dem Faktor „Lehrende“ getrennt für beide Blöcke durchgeführt. Die Ergebnisse dieser Analysen zeigen, dass sich in Block 2 die mittleren Beurteilungen von zwei Lehrenden, die am schlechtesten bewertet wurden, signifikant von den mittleren Beurteilungen aller anderen Lehrenden unterschieden, während in Block 1 häufiger signifikante Beurteilungsunterschiede zwischen den Lehrenden im oben beschriebenen range festzustellen waren. Dies bedeutet, dass die Beurteilungen der Lehrenden in Block 1 heterogener, jedoch insgesamt besser, waren. Die Ergebnisse der Interkorrelationen zwischen den mittels ARS erhaltenen Bewertungen sind in Tabelle 3 [Tab. 3] dargestellt. Die Einschätzungen der Vorlesungsgestaltung und die der Relevanz des Themas korrelieren am stärksten mit der Gesamtbewertung der Veranstaltung. Die Vorlesungsgestaltung und die Relevanz der Veranstaltung sind hoch signifikant miteinander korreliert.

Der Einsatz von ARS im Rahmen von Vorlesungen wird sowohl von Studierenden als auch von Lehrenden positiv bewertet [5], [6], [7], [8], [9]. In unserer Studie kann keine Aussage zur Akzeptanz des Systems getroffen werden, da diese Frage nicht gestellt wurde. Das mündliche Feedback der Studierenden und der Lehrenden war durchweg positiv. Das Verhältnis von per ARS Evaluierenden zu allen anwesenden Studierenden wurde nicht erfasst. Es wurde jedoch darauf geachtet, dass alle Studierenden ein ARS erhielten und sie wurden in der Lehrveranstaltung mehrfach aufgefordert, dieses einzusetzen. Darüber hinaus wurde das ARS als didaktisches Mittel während der Vorlesung eingesetzt.

Für nicht-anwesenheitspflichtige Lehrveranstaltungen ist eine Abwesenheitsrate von 18,5-70% beschrieben [14], [15], [16]. Wenn man die abgegeben Stimmen als Zahl der tatsächlich anwesenden Studierende annimmt, dann liegt die mittlere Anwesenheitsrate (mit im Mittel 22 Stimmabgaben pro Frage) im unteren Bereich der in den Studien berichteten Raten. Bei erneuter Durchführung ist das gleichzeitige Erfassen der Anzahl der anwesenden Studierenden zur besseren Einschätzung der Ergebnisse erforderlich.

Der Auftritt und Vortragsstil der Lehrperson kann die Gesamtbewertung einer Veranstaltung, wenn auch nur in geringem Grad, positiv oder negativ beeinflussen [13], [17], [18]. Unsere Daten zeigen ebenfalls, dass vor allem die Vorlesungsgestaltung in einem starken Zusammenhang mit der Gesamtbewertung steht - mehr noch als die Relevanz des Themas selbst. Das studentische Vorwissen steht zwar ebenfalls in einem signifikanten Zusammenhang zur Gesamtbewertung, doch dieser Zusammenhang ist in unserer Untersuchung gering. Es ist davon auszugehen, dass von Studierenden als relevant empfundene Vorlesungen besser bewertet werden [19]. Da diese Einschätzung nicht im direkten Zusammenhang mit dem tatsächlichen Geschehen der Veranstaltung steht, ist davon auszugehen, dass es sich um eine Biasvariable handelt [20]. Die Gestaltung einer Vorlesung hängt dagegen hauptsächlich vom Lehrenden ab [21].

In den letzten Wochen des Jahres 2011 im Block 2 fand sich eine signifikant schlechtere Bewertung der Vorlesung. In diesem Block wurden zwei Veranstaltungen besonders kritisch evaluiert. Es ist anzunehmen, dass diese beiden Bewertungen maßgeblich für die Beurteilungsdiskrepanz zwischen den Blöcken sind. Durch die ARS-Evaluation während der Vorlesungsphase können kritisch evaluierte Vorlesungen zeitnah identifiziert und Steuerungsmaßnahmen wie z.B. kollegiales Coaching der entsprechenden Lehrenden oder Überarbeitung der entsprechenden Vorlesungspräsentation ergriffen werden. Im Rahmen einer Semesterende-Evaluation ist dies nur begrenzt möglich.

Die Pädiatrievorlesung im Wintersemester 2011/2012 am Universitätsklinikum Freiburg wurde in der Semesterende-Evaluation mit der Note 2,45 evaluiert. In der ARS-Evaluation wurde die Vorlesung mit 2,31 bewertet. Diese Evaluationsergebnisse unterscheiden sich statistisch signifikant voneinander. Gegebenenfalls ist der inhärente Effekt zur positiveren Bewertung bei ARS-Verwendung hierfür mit ausschlaggebend [9], [10], [11], [12].

Nach der Evaluation wurden die Evaluationsergebnisse in anonymisierter Form allen Lehrenden präsentiert. Die Lehrenden konnten anhand, nur ihnen bekannter, zugewiesener Nummern die Ergebnisse ihrer Lehrveranstaltung identifizieren. Anschließend wurden die Vorlesungen einem internen Review unterzogen und bei Bedarf überarbeitet. Allen Lehrenden wurde ein Training zur Vorlesungsgestaltung angeboten. Eine erneute Evaluation nach diesen Änderungen steht noch aus, erste Rückmeldungen der Lehrenden und Studierenden sind positiv. Insgesamt waren die Rückmeldungen der Lehrenden über die rasche Verfügbarkeit der Evaluationsergebnisse sehr positiv. Das ARS wurde als geeignetes Evaluationsmedium bewertet.

Eine Vorlesungsevaluation mittels ARS ist mit wenig Aufwand während oder unmittelbar nach einer Lehrveranstaltung durchführbar. Darüber hinaus kann das ARS auch zur interaktiven Vorlesungsgestaltung eingesetzt werden [5]. Ein bedeutender Vorteil des Einsatzes von ARS für Lehrveranstaltungs-Evaluationen sind vor allem die innerhalb von Sekunden verfügbaren lehrpersonenbezognen Ergebnisse,. In userer Untersuchung konnte aufgezeigt werden, dass durch den Einsatz eines ARS als Evaluationsmedium während oder nach einer Lehrveranstaltung, die Variablen „studentisches Vorwissen“, „Vorlesungsgestaltung“ und „Relevanz des Themas“ in signifikantem Zusammenhang mit der Gesamtbewertung einer Lehrveranstaltung stehen.

Einzelne kritisch bewertete Veranstaltungen können zu einer insgesamt schlechteren Evaluation führen. Dies fällt in der ARS-Evaluation sofort auf, so dass hier zeitnah Steuerungsmaßnahmen wie z.B kollegiales Coaching der entsprechenden Lehrenden ergriffen werden können. Durch den alleinigen Einsatz einer Semester-Endevaluation ist dies nicht möglich.

Eine Limitation unserer Untersuchung ist dass die Anzahl der anwesenden Studierenden im Vergleich mit den an der Evaluation per ARS teilnehmenden Studierenden nicht erfasst wurde.

Aufgrund der oben genannten Vorteile sollte die ARS-Evaluation nach weiterer Standardisierung und Ausarbeitung weiteren Fächern zur Verfügung gestellt werden.

Wir danken allen Lehrenden des Zentrums für Kinder- und Jugendmedizin Freiburg und allen teilnehmenden Studierenden.

Die Autoren erklären, dass sie keine Interessenkonflikt im Zusammenhang mit diesem Artikel haben.