gms | German Medical Science

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)

19.09. - 22.09.2018, Wien, Österreich

Elektronische OSCE-Prüfungen unter Verwendung von globalem Rating und Tablet-Computern [Bericht über Forschungsergebnisse]

Meeting Abstract

Search Medline for

  • T. Lutz - Klinikum der Universität Heidelberg, Zentrum für Kinder- und Jugendmedizin, Heidelberg, Germany
  • presenting/speaker A. Fleig - Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin, Heidelberg, Germany
  • J. Jünger - Institut für medizinische und pharmazeutische Prüfungsfragen (IMPP), Mainz, Germany
  • A. Möltner - Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin, Heidelberg, Germany

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Wien, 19.-22.09.2018. Düsseldorf: German Medical Science GMS Publishing House; 2018. Doc42.4

doi: 10.3205/18gma173, urn:nbn:de:0183-18gma1737

Published: September 19, 2018

© 2018 Lutz et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. See license information at http://creativecommons.org/licenses/by/4.0/.


Outline

Text

Problemstellung/Ziele: OSCEs (objective structured clinical examinations) sind ein etablierter Standard zur Beurteilung von klinisch-praktischen Fähigkeiten im Medizinstudium [1]. Dabei variieren über Fakultäten hinweg neben curricularen Inhalten insbesondere die technische Umsetzung sowie verwendete Bewertungssysteme. Aus Gründen der Qualitätssicherung und Ressourcenersparnis werden hierbei eine IT-gestützte Durchführung sowie die Verwendung globaler Ratings prominent diskutiert [2], [3]. Diesen Empfehlungen folgend wurden 2014 an der Medizinischen Fakultät Heidelberg im Fach Pädiatrie die 30 existierenden OSCE-Stationen überarbeitet. So wurde die Bewertung mittels Checklisten auf ein globales Ratingsystem umgestellt. Anschließend wurden die überarbeiteten Stationen ins IMS (Item Manangement System) übertragen um die Prüfungen fortan tablet-basiert umzusetzen.

Methoden: Für alle zwischen 01/2013 und 06/2016 im Fach Pädiatrie durchgeführten OSCE-Prüfungen wurden jeweils die teststatistischen Gütemaße der Schwierigkeit und Trennschärfe je Station/Stationsgruppe sowie auf Prüfungsebene die Reliabilität bestimmt. Die Ergebnisse wurden deskriptiv und im Hinblick auf Veränderung im Zeitverlauf ausgewertet.

Ergebnisse: Über die Jahre sind für alle Teststatistiken deutliche Schwankungen zu erkennen, vor allem auf der Ebene einzelner Stationen. Insgesamt ist aber kein signifikanter Trend identifizierbar, so dass alle Stationen über den gesamten Beobachtungszeitraum eine gute Trennschärfe bei akzeptabler Schwierigkeit und die Prüfungen eine zufriedenstellende Reliabilität aufweisen.

Diskussion/Schlussfolgerungen: Insgesamt kann von einer gelungenen Umstellung der OSCE-Prüfungen im Fach Pädiatrie gesprochen werden. Einerseits indizieren die teststatistischen Gütemaße fortwährend reliable Prüfungen. Andererseits konnten sowohl erhebliche Zeitersparnisse erzielt werden (Prüfungserstellung/-auswertung) als auch ein differenzierteres Feedback an Prüfer/Studierende erfolgen. Verbesserungsmöglichkeiten bestehen noch im Bereich des Bewertungssystems, da bei „technischen“ Stationen eine Kombination von Checklisten und globalem Rating vielversprechend erscheint.


Literatur

1.
Khan KZ, Ramachandran S, Gaunt K, Pushkar P. The objective structured clinical examination (OSCE): AMEE guide no. 81. Part I: an historical and theoretical perspective. Med Teach. 2013;35(9):e1437-e1446. DOI: 10.3109/0142159X.2013.818634 External link
2.
Amin Z, Boulet JR, Cook DA, Ellaway R, Fahal A, Kneebone R, Maley M, Ostergaard D, Ponnamperuma G, Wearn A, Ziv A. Technology-enabled assessment of health professions education: Consensus statement and recommendations from the Ottawa 2010 conference. Med Teach. 2011;33(5):364-369. DOI: 10.3109/0142159X.2011.565832 External link
3.
Newble D. Techniques for measuring clinical competence: objective structured clinical examinations. Med Educ. 2004;38(2):199-203. DOI: 10.1111/j.1365-2923.2004.01755.x External link