gms | German Medical Science

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)

25.09. - 27.09.2014, Hamburg

Gute Reviews zum kleinen Preis – welchen Aufwand brauchen wir zur Qualitätssicherung von MC-Aufgaben?

Poster

Suche in Medline nach

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Hamburg, 25.-27.09.2014. Düsseldorf: German Medical Science GMS Publishing House; 2014. DocP283

doi: 10.3205/14gma097, urn:nbn:de:0183-14gma0970

Veröffentlicht: 11. September 2014

© 2014 Öchsner et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielfältigt, verbreitet und öffentlich zugänglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Gliederung

Text

Hintergrund: Kompetent durchgeführte Review-Prozesse sind zur Qualitätssicherung von MC-Aufgaben in der Medizin unverzichtbar. Gute Review-Ergebnisse setzen möglicherweise die Teilnahme der Reviewer an spezifischen Schulungen voraus, andererseits sind die Zeitressourcen des ärztlichen Personals an den Universitätskliniken so stark strapaziert, dass jeder zusätzliche Trainingsaufwand hinterfragt werden muss.

Methoden: Es wurde der Nutzen von spezifischen Merkblättern zum Review von MC-Aufgaben mit dem Nutzen spezifischer Schulungen verglichen. Die wichtigsten Empfehlungen zum qualitativ hochwertigen Review von MC-Aufgaben wurden als spezifisches Merkblatt aufbereitet. Daneben wurde ein 2,5-stündiger Workshop konzipiert, der auf den Inhalten des Merkblatts beruhte, zusätzlich aber workshop-typische Elemente einschloss. Je 6 unerfahrene Reviewer wurden entweder der Merkblatt-Gruppe oder der Workshop-Gruppe zugeteilt. Beide Gruppen führten standardisierte Reviews für je 100 identische MC-Aufgaben unterschiedlicher Güte durch; die Review-Ergebnisse beider Gruppen wurden mit Expertenreviews verglichen.

Ergebnisse: Die Review-Qualität der Workshop-Gruppe lag deutlich näher am Expertenstandard als die der Merkblatt-Gruppe. In der quantitativ bedeutsamsten Kategorie von MC-Aufgaben mittlerer Qualität unterschieden sich die Review-Ergebnisse der Workshop-Gruppe nicht mehr signifikant vom Expertenstandard. In der Merkblatt-Gruppe waren die Ergebnisse hingegen signifikant schlechter als die Experten-Reviews, unabhängig von der Qualität der MC-Aufgaben.

Schlussfolgerung: Die Ergebnisse zeigen, dass die alleinige Nutzung spezifischer Merkblättern trotz ihrer ressourcenbezogenen Vorteile nicht ausreicht, um qualitativ hochwertige Review-Ergebnisse für MC-Aufgaben zu erzielen. Trotz der Knappheit der Ressource „Zeit“ beim ärztlichen Personal müssen spezifische Schulungen angeboten werden; hierfür sind 2,5-stündige Workshops bereits effektiv [1], [2].


Literatur

1.
Rotthoff T, Soboll S. Quality assurance of Multiple Choice Questions. An exemplary way for a medical faculty. Qualitätsverbesserung von MC Fragen: Ein exemplarischer Weg für eine medizinische Fakultät. GMS Z Med Ausbild. 2006,23(3):Doc45. Zugänglich unter/available from: http://www.egms.de/static/de/journals/zma/2006-23/zma000264.shtml Externer Link
2.
Weih M, Harms D, Rauch C, Segarra L, Reulbach U, Degirmenci U, de Zwaan M, Schwab S, Kornhuber J. Qualitätsverbesserung von Multiple-Choice-Prüfungen in Psychiatrie, Psychosomatik, Psychotherapie und Neurologie. Nervenarzt. 2009,80:324-328.