gms | German Medical Science

Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) und des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ)

20.09. - 23.09.2017, Münster

OSCE Checklisten – mit welchem Gewicht sollen Items zum Gesamtscore beitragen

Meeting Abstract

  • corresponding author presenting/speaker Joy Backhaus - Uniklinikum Würzburg, Institut für Medizinische Lehre und Ausbildungsforschung, Würzburg, Germany
  • Chantal Rabe - Uniklinikum Würzburg, Institut für Medizinische Lehre und Ausbildungsforschung, Würzburg, Germany
  • Herbert Poinstingl - University of Vienna, Faculty of Psychology, Wien, Austria
  • Martina Peter-Kern - Universitätsmedizin Würzburg, Studiendekanat, Würzburg, Germany
  • Sarah König - Uniklinikum Würzburg, Institut für Medizinische Lehre und Ausbildungsforschung, Würzburg, Germany
  • Eva Hennel - Universitätsmedizin Würzburg, Medizinische Fakultät, Lehrklinik, Würzburg, Germany

Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) und des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ). Münster, 20.-23.09.2017. Düsseldorf: German Medical Science GMS Publishing House; 2017. Doc100

doi: 10.3205/17gma100, urn:nbn:de:0183-17gma1006

Veröffentlicht: 24. November 2017

© 2017 Backhaus et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Gliederung

Text

Fragestellung/Zielsetzung: Eines der Hauptgütekriterien bei der Auswertung von Prüfungen betrifft die Skalierung der darin gemessenen Kompetenzen [1], [2]. Große Schulleistungsstudien in Deutschland verwenden das Raschmodell [3], welches auch Eingang in die Auswertung medizinischer Prüfungen gefunden hat [4]. Ziel der Studie war es, dieses Verfahren bei einer Objective Structured Clinical Examination (OSCE) einzusetzen, um eine gültige und nachvollziehbare Verrechnungsvorschrift für Testitems nach internationalen Standards zu konstruieren.

Material/Methoden: Im Rahmen der Prüfungen im OSCE-Format (WS 2016/2017) wurde die Skalierung der aus 20-30 Items bestehenden Checklisten für acht unterschiedliche Stationen (NR=60-154) zur Prüfung klinisch-praktischer Fertigkeiten vorgenommen. Die quantitativ generierten Ergebnisse wurden auf inhaltlicher Ebene mit Fachärzten und Tutoren hinsichtlich ihrer qualitativen Validität diskutiert.

Ergebnis: Für alle Stationen konnte eine Skalierung der Testwerte vorgenommen werden. Das über die loglineare Transformation hergestellte Intervallskalenniveau ermöglichte die Berechnung einer Gesamtpunktzahl sowie die Ausgabe eines Prozentwertes. Die Skalierung durch das Raschmodell kann schwierige Items identifizieren, die eine hohe Kompetenzausprägung indizieren.

Ausblick: Statistische Modelle der probabilistischen Testtheorie können zur Qualitätssicherung der OSCE beitragen. Der Grad der Prüfungsfairness wird durch die Integration von Gewichtungen erhöht. Die inhaltliche Schwerpunktsetzung durch Prüfungsverantwortliche soll zukünftig im Rahmen von differenzierteren Modellen wie dem Partial-Credit-Modell stärkere Berücksichtigung finden.


Literatur

1.
Bühner M. Einführung in die Test-und Fragebogenkonstruktion. Hallbrergmoos: Pearson Deutschland GmbH; 2011.
2.
Klieme E, Baumert J, Köller O, Bos W. Mathematische und naturwissenschaftliche Grundbildung: Konzeptuelle Grundlagen und die Erfassung und Skalierung von Kompetenzen. In: TIMSS/III (Hrsg). Dritte Internationale Mathematik-und Naturwissenschaftsstudie - Mathematische und naturwissenschaftliche Bildung am Ende der Schullaufbahn. Heidelberg: VS Verlag für Sozialwissenschaften; 2000. S.85-133.
3.
Sälzer C. Bilanz: Schulleistungsstudien und Kompetenzmessung. In: Sälzer C (Hrsg). Studienbuch Schulleistungsstudien. Berlin, Heidelberg: Springer; 2016. S.77-80. https://doi.org/10.1007/978-3-662-45765-8_6 Externer Link
4.
Iramaneerat C, Yudkowsky R, Myford CM, Downing SM. Quality control of an OSCE using generalizability theory and many-faceted Rasch measurement. Adv Health Sci Educ Theory Pract. 2008;13(4):479. DOI: 10.1007/s10459-007-9060-8 Externer Link