gms | German Medical Science

Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) und des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ)

30.09. - 03.10.2015, Leipzig

Qualität studentischer MC-Fragen

Meeting Abstract

  • corresponding author presenting/speaker Stefan Wagener - Universität Heidelberg, Medizinische Fakultät, Heidelberg, Deutschland
  • Andreas Möltner - Ruprecht-Karls-Universität Heidelberg, Kompetenzzentrum Prüfungen in der Medizin Baden-Württemberg, Heidelberg, Deutschland
  • Maryna Gornostayeva - Ruprecht-Karls-Universität Heidelberg, Kompetenzzentrum Prüfungen in der Medizin Baden-Württemberg, Heidelberg, Deutschland
  • Konstantin Brass - Ruprecht-Karls-Universität Heidelberg, Kompetenzzentrum Prüfungen in der Medizin Baden-Württemberg, Heidelberg, Deutschland
  • Felicitas Eckrich - Universität Heidelberg, Medizinische Fakultät, Heidelberg, Deutschland
  • Tobias Baumann - Universität Ulm, Medizinische Fakultät, Ulm, Deutschland
  • Julian Better - Universität Marburg, Medizinische Fakultät, Marburg, Deutschland
  • Martin Fries - Universität Marburg, Medizinische Fakultät, Marburg, Deutschland
  • Marc Gottschalk - Universität Magdeburg, Medizinische Fakultät, Magdeburg, Deutschland
  • Janine Günther - Universität Freiburg, Medizinische Fakultät, Freiburg, Deutschland
  • Laura Herrmann - Universität Freiburg, Medizinische Fakultät, Freiburg, Deutschland
  • Anna Hubach - Universität Freiburg, Medizinische Fakultät, Freiburg, Deutschland
  • Claudius Illg - Universität Heidelberg, Medizinische Fakultät, Heidelberg, Deutschland
  • Adam Jassowicz - Universität Heidelberg, Medizinische Fakultät, Heidelberg, Deutschland
  • Christian Kreisel - Universität Marburg, Medizinische Fakultät, Marburg, Deutschland
  • Julian Lüke - Universität Ulm, Medizinische Fakultät, Ulm, Deutschland
  • Tobias Moczko - Universität Witten/Herdecke, Medizinische Fakultät, Witten/Herdecke, Deutschland
  • Andreas Müller - Universität Heidelberg, Medizinische Fakultät, Heidelberg, Deutschland
  • Moritz Niesert - Universität Heidelberg, Medizinische Fakultät, Heidelberg, Deutschland
  • Felix Strübing - Universität Heidelberg, Medizinische Fakultät, Heidelberg, Deutschland
  • Peter Brüstle - Universität Freiburg, Medizinische Fakultät, Freiburg, Deutschland
  • Daniela Mohr - Universität Tübingen, Medizinische Fakultät, Tübingen, Deutschland
  • Helene Todtenhaupt - Medizinische Fakultät Mannheim der Universität Heidelberg, Mannheim, Deutschland
  • Anna Vander Beken - Universität Ulm, Medizinische Fakultät, Ulm, Deutschland
  • Jana Jünger - Ruprecht-Karls-Universität Heidelberg, Kompetenzzentrum Prüfungen in der Medizin Baden-Württemberg, Heidelberg, Deutschland

Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) und des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ). Leipzig, 30.09.-03.10.2015. Düsseldorf: German Medical Science GMS Publishing House; 2015. DocP12-160

doi: 10.3205/15gma261, urn:nbn:de:0183-15gma2610

Veröffentlicht: 31. August 2015

© 2015 Wagener et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen. Er darf vervielfältigt, verbreitet und öffentlich zugänglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden. Lizenz-Angaben siehe http://creativecommons.org/licenses/by-nc-nd/3.0/.


Gliederung

Text

Fragestellung/Einleitung: Das Erstellen von qualitativ hochwertigen MC-Fragen wird generell als Aufgabe von Dozenten angesehen. Wenn sich aber Studierende an der Erstellung von MC-Fragen beteiligen, gibt es Hinweise, dass studentische MC-Fragen und MC-Fragen von Dozenten gleichwertig sein können [1], [2], [3]. Die vorliegende Studie zeigt den Vergleich von studentischen MC-Fragen und MC-Fragen von Dozenten.

Methoden: Für den formativen studentischen Progresstest [4], [5] wurden nach einem kompetenzorientieren Blueprint mit acht Fächergruppen und fünf Kompetenzbereichen in 2013 (n=144) und 2014 (n=120) MC-Fragen von geschulten Studierenden erstellt. Die Aufgabe der Studierenden bestand darin, in jeder MC-Frage eine Fächergruppe mit einem Kompetenzbereich zu kombinieren. Die Qualität der studentischen MC-Fragen wurde mit MC-Fragen von Dozenten aus summativen Prüfungen in den Fächern Innere Medizin, Chirurgie, Anatomie / Biochemie / Physiologie aus den Jahren 2013 und 2014 verglichen (n=400). Die Qualität der MC-Fragen wurde hinsichtlich der Reliabilität und hinsichtlich der Ergebnisse des Post-Reviews analysiert. Dies umfasste statistische Kriterien (Schwierigkeit und korrigierte Trennschärfe) sowie inhaltliche Reviews.

Ergebnisse: Die Reliabilität der studentischen MC-Fragen war in den Jahren 2013 und 2014 sowohl für den gesamten Progresstest, als auch für die einzelnen Fächergruppen, Kompetenzbereiche und Studienjahre ausreichend hoch. Durch den Post-Review wurden in 2013 bei den studentischen MC-Fragen 3,39% ausgeschlossen, 2,54% wurden korrigiert. In 2014 wurden 5,00% der studentischen MC-Fragen ausgeschlossen und 0,83% korrigiert. Von den MC-Fragen der Dozenten in 2013 und 2014 wurden insgesamt 2,50% ausgeschlossen sowie 3,25% korrigiert. Fasst man ausgeschlossene und korrigierte MC-Fragen zusammen als problematische MC-Fragen, so zeigte sich zwischen studentischen MC-Fragen (5,88%) und MC-Fragen von Dozenten (5,75%) kein Unterschied.

Diskussion/Schlussfolgerung: Mit der Studie konnte gezeigt werden, dass studentische MC-Fragen und MC-Fragen von Dozenten gleichwertig sein können, auch wenn die Anforderungen an das Erstellen von MC-Fragen komplex sind. Die Voraussetzung für das Erstellen von qualitativ hochwertigen MC-Fragen wird im Training zum Fragenerstellen gesehen. Hier können Studierende eine hohe Kompetenz erwerben, so dass studentische MC-Fragen gleichwertig zu MC-Fragen von Dozenten sein können.


Literatur

1.
McLeod PJ, Snell L. Student-generated MCQs. Med Teach. 1996;18(1):23-25.
2.
Schullo-Feulner A, Janke KK, Chapman SA, Stanke L, Undeberg M, Taylor C, Brown RW, Straka RJ. Student-generated, faculty-vetted multiple-choice questions: Value, participant satisfaction, and workload. Cur Pharma Teach Learn. 2014;6:15-21.
3.
Bates SP, Galloway RK, Riise J, Homer D. Assessing the quality of a student-generated question repository. Phys Rev ST Phys Educ Res. 2014;10:020105.
4.
Wagener S, Möltner A, T?mb?l S, Gornostayeva M, Schultz JH, Brüstle P, Mohr D, Beken AV, Better J, Fries M, Gottschalk M, Günther J, Herrmann L, Kreisel C, Moczko T, Illg C, Jassowicz A, Müller A, Niesert M, Strübing F, Jünger J. Entwicklung eines formativen kompetenzbasierten Progresstests mit MC-Fragen von Studierenden - Ergebnisse einer multifakultären Pilotstudie. GMS Z Med Ausbild. In Review.
5.
Wagener S, Gornostayeva M, Möltner A, Schultz JH, Brüstle P, Mohr D, Vander Beken A, Better J, Fries M, Gottschalk M, Günther J, Herrmann L, Kreisel C, Moczko T, Illg C, Jassowicz A, Müller A, Niesert M, Strübing F, Jünger J. Entwicklung eines formativen kompetenzbasierten Progresstests mit MC-Fragen von Studierenden - Piloteinsatz und Weiterentwicklung. Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Hamburg, 25.-27.09.2014. Düsseldorf: German Medical Science GMS Publishing House; 2014. DocP476. DOI: 10.3205/14gma191 Externer Link