Artikel
Dozenten-Evaluation im Medizinstudium: Psychometrische Charakteristika verfügbarer Messinstrumente
Suche in Medline nach
Autoren
-
Sonia Sippel
- Universitätsmedizin Göttingen, Göttingen, Deutschland
| Veröffentlicht: | 11. September 2014 |
|---|
Gliederung
Text
Fragestellung/Einleitung: An vielen deutschen Medizinischen Fakultäten bewerten die Studierenden im Rahmen der Evaluation die Lehrleistung individueller Dozenten. Insbesondere wenn die fakultätsinterne leistungsorientierte Mittelvergabe an die Evaluationsergebnisse geknüpft ist, müssen die hierzu genutzten Instrumente eine hohe Reliabilität und Validität aufweisen. In dieser Übersichtsarbeit werden die psychometrischen Charakteristika der verfügbaren Fragebögen vorgestellt.
Methoden: Es wurden eine PubMed- sowie eine PubPsych-Literatursuche mit den Schlagwörtern Evaluation, Assessment, Questionnaire, Teaching, Validity durchgeführt. Die identifizierten Instrumente wurden hinsichtlich ihres theoretischen Hintergrunds, ihrer Skalenstruktur (Faktorenanalyse), ihrer Reliabilitäten, ihrer Stichprobengröße, ihrer Validität sowie Werten aus der probabilistischen Testtheorie charakterisiert.
Ergebnisse: Es wurden 16 Fragebögen [1–16] identifiziert, von denen sich 4 spezifisch auf die medizinische Lehre bezogen. 5 dieser Instrumente sind in deutscher Sprache verfügbar. Die Anzahl der Items pro Bogen lag zwischen 15 (SETOC) und 51 (HILVE-II). Mit den Bögen wurden zwischen 3 (SETERS) und 20 (HILVE-II) Skalen abgebildet. Das Cronbach’s der gesamten Bögen lag zwischen 0.78 und 0.95; bei den einzelnen Skalen gab es jedoch einige Ausreißerwerte nach unten. Nicht für alle Bögen lagen komplette Informationen zu den psychometrischen Charakteristika vor.
Die 16 Fragebögen und ihre psychometrischen Eigenschaften werden in Tabellenform (siehe Tabelle 1 [Tab. 1], Tabelle 2 [Tab. 2], Tabelle 3 [Tab. 3], Tabelle 4 [Tab. 4], Tabelle 5 [Tab. 5], Tabelle 6 [Tab. 6], Tabelle 7 [Tab. 7], Tabelle 8 [Tab. 8]) präsentiert.
Diskussion/Schlussfolgerung: Die Spannweite der verfügbaren Evaluations-Fragebögen ist enorm. Die theoretische Fundiertheit und die Qualität der Messinstrumente sind ohne vollständige psychometrische Systematik schwer einzuschätzen. Eine faire Bewertung der Dozenten im Medizinstudium setzt – vor allem hinsichtlich der leistungsorientierten Mittelvergabe – die genaue Kenntnis dieser Charakteristika voraus [1], [2], [3], [4], [5], [6], [7], [8], [9], [10], [11], [12], [13], [14], [15], [16].
Literatur
- 1.
- Barnes DC, et al. Developing a psychometrically sound measure of collegiate teaching proficiency. Coll Stud J. 2008;42(1):199-213.
- 2.
- Beckman TJ, Lee MC, Rohren CH, Pankratz VS. Evaluating an instrument for the peer review of inpatient teaching. Med Teach. 2003;25(2):131-135.
- 3.
- Boyle P, Grimm M, McNeil P, Scicluna P. The UNSW Medicine Student Experience Questionnaire (MedSEQ). A Synopsis of its Development, Features and Utility. 2009. Zugänglich unter/available from: http://www.academia.edu/5252480/Medicine_Student_Experience_Questionnaire_MEDSEQ_UNSW
- 4.
- Burdsal CA, Bardo JW. Measuring Student's Perceptions of Teaching: Dimensions of Evaluation. Educ Psychol Meas. 1986;46:63-79.
- 5.
- Centra JA, Gaubatz NB. Student perceptions of learning and instructional effectiveness in college courses a validity study of SIR II. 2005.
- 6.
- Gollwitzer M, Schlotz W. Das "Trierer Inventar zur Lehrveranstaltungsevaluation" (TRIL): Entwicklung und erste testtheoretische Erprobungen. In: Krampen G, Zayer H (Hrsg). Psychologiedidaktik und Evaluation. Bonn: Deutscher Psychologen Verlag; 2003. IV:114-128
- 7.
- Kember D, Leung DY. Establishing the validity and reliability of course evaluation questionnaires. Ass Eval High Educ. 2008;33(4):341-353.
- 8.
- Litzelmann DK, Stratos GA, Marriott DJ, Skeff KM. Factorial validation of a widely disseminated educational framework for evaluatiuon clinical teachers. Acad Med. 1998;73(6):688-695.
- 9.
- Marsh HW. SEEQ: A reliable, valid, and useful instrument for collecting students' evaluations of university teaching. Br J Educ Psychol. 1982;52:77-95.
- 10.
- Mortelmans D, Spooren P. A revalidation of the SET37 questionnaire for student evaluations of teaching. Educ Stud. 2009;35(5):547-552.
- 11.
- Prave R, Baril S, Galen L. Instructor ratings: Controlling for bias from initial student interest. J Educ Busin. 1993;68(6):362-367.
- 12.
- Rindermann H, Amelang M. Das Heidelberger Inventar zur Lehrveranstaltungs-Evaluation (HILVE). Handanweisung. Heidelberg: Asanger; 1994.
- 13.
- Staufenbiel T. Fragebogen zur Evaluation von universitären Lehrveranstaltungen durch Studierende und Lehrende. Diagnos. 2000;46(4):169-181.
- 14.
- Toland MD, De Ayala RJ. A Multilevel Factor Analysis of Students' Evaluations of Teaching. Educ Psychol Meas. 2005;65:272-296.
- 15.
- Young, ME, Cruess SR, Cruess RL, Seinert Y. The Professionalism Assessment of Clinical Teachers (PACT): the reliability and validity of a novel tool to evaluate professional and clinical teaching behaviors. Adv Health Sci Educ Theory Pract. 2014;19(1):99-113. DOI: 10.1007/s10459-013-9466-4
- 16.
- Zuberi RW, Bordage G, Norman GR. Validation of the SETOC Instrument - Student Evaluation of Teaching in Outpatient Clinics. Adv Health Sci Educ Theory Pract. 2007;12(1):55-69.
