gms | German Medical Science

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)

14.09. - 16.09.2023, Osnabrück

Einsatz von formativen Prüfungen mit Confidence-based Rating – erste Erfahrungen aus der Histologie an der medizinischen Fakultät Heidelberg

Meeting Abstract

  • presenting/speaker Valentina Ponomarenko - Ruprecht-Karls-Universität Heidelberg, Med. Fakultät Heidelberg, QM Lehre, Qualitätssicherung Prüfungen, Heidelberg, Deutschland
  • Andreas Fleig - Universitätsklinikum Heidelberg, Heidelberg, Deutschland
  • Andreas Möltner - Ruprecht-Karls-Universität Heidelberg, Med. Fakultät Heidelberg, QM Lehre, Qualitätssicherung Prüfungen, Heidelberg, Deutschland
  • Ralph Nawrotzki - Ruprecht-Karls-Universität Heidelberg, Med. Fakultät Heidelberg, Institut für Anatomie und Zellbiologie, Heidelberg, Deutschland
  • Saskia Veronika Pante - Ruprecht-Karls-Universität Heidelberg, Med. Fakultät Heidelberg, QM Lehre, Qualitätssicherung Prüfungen, Heidelberg, Deutschland; Ruprecht-Karls-Universität Heidelberg, Med. Fakultät Heidelberg, Studiengang Master of Medical Education, Heidelberg, Deutschland
  • Stefan Wagener - Ruprecht-Karls-Universität Heidelberg, Med. Fakultät Heidelberg, Studiengang Master of Medical Education, Heidelberg, Deutschland

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Osnabrück, 14.-16.09.2023. Düsseldorf: German Medical Science GMS Publishing House; 2023. DocP-08-03

doi: 10.3205/23gma266, urn:nbn:de:0183-23gma2669

Veröffentlicht: 11. September 2023

© 2023 Ponomarenko et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Gliederung

Text

Fragestellung/Zielsetzung: Im Rahmen der Qualitätssicherung der Lehre, ist es von großem Interesse, Studierende im Lernprozess zu begleiten. Eine Möglichkeit hierbei sind formative Prüfungen. Sie dienen den Studierenden als Gelegenheit ihren Wissenstand im laufenden Semester zu überprüfen und geben Lehrenden Feedback zu Wissenslücken oder fehlenden Kompetenzen [1]. Es wird daher untersucht, ob die Teilnahme an einer formativen Prüfung in Histologie den Lernprozess unterstützen konnte. Um zu analysieren, ob die formative Prüfung nicht nur das faktische Wissen stärkt, sondern auch die Antwortsicherheit, wird ein sogenanntes Confidence-based Rating (CBR) eingesetzt. Wir nehmen an, dass richtige Antworten mit einer hohen Antwortsicherheit Hinweis auf ein tiefes Verständnis sind [2]. Daher ist die Untersuchung zur Antwortsicherheit in Kombination mit richtigen oder falschen Antworten von hoher Relevanz. Im Umkehrschluss ist eine hohe Antwortsicherheit bei falschen Antworten eine Qualitätsminderung in der ärztlichen Ausbildung und Praxis.

Methoden: Im Fach Histologie wurden im Wintersemester 2020/2021 zwei freiwillige formative Prüfungen via Moodle angeboten. Diese hatten zum Ziel die Studierenden auf die summative Prüfung vorzubereiten. Nach jeder Frage wurde die Möglichkeit angeboten, mittels integriertem CBR die Antwortsicherheit abzufragen. Im ersten Durchlauf wurde ein Zeitlimit festgelegt, womit es nicht möglich war, Informationen zuerst zu recherchieren. Die Studierenden mussten ihren aktuellen Wissenstand zur Beantwortung nutzen. Im zweiten Durchlauf wurde kein Zeitlimit festgelegt. Auch hier konnte die Antwortsicherheit angegeben werden. Es konnten Daten aus beiden Runden von 96 Studierenden längsschnittlich ausgewertet werden.

Ergebnisse: Die Analyse der formativen Prüfung mit gleichen Fragen, mit und ohne Zeitlimit ergeben, dass die Leistung und Antwortsicherheit sich im zweiten Durchlauf verbessert. Es verringert sich der Anteil an falschen Antworten insgesamt und der Anteil an falschen Antworten mit einer hohen Antwortsicherheit. Somit konnten wir zeigen, dass die formative Prüfung mit einer verbesserten Leistung einhergeht und noch wichtiger mit einem besseren Verständnis (siehe Abbildung 1 [Abb. 1]).

Schlussfolgerung: Formative Prüfungen mit CBR sind eine sinnvolle Ergänzung, um Studierenden eine zielgerichtete Prüfungsvorbereitung zu ermöglichen und den Dozierenden eine detaillierte Rückmeldung zur ihrer Lehrqualität zu geben. Die Gültigkeit der Ergebnisse ist allerdings durch die Größe und Auswahl der Stichprobe limitiert, sowie durch fehlende Kontrollvariablen zum Lernverhalten.

Take Home Message: Formative Prüfungen mit CBR verbessern Leistung und Antwortsicherheit.


Literatur

1.
Rushton A. Formative assessment: a key to deep learning? Med Teach. 2005;27(6):509-551. DOI: 10.1080/01421590500129159 Externer Link
2.
Aleem A, Gore MM. C-BEAM: A confidence-based evaluation of MCQs for providing feedback to instructors. Comput Appl Eng Educ. 2019;27:112-127. DOI: 10.1002/cae.22061 Externer Link