gms | German Medical Science

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)

23.09. - 25.09.2010, Bochum

Mehrwert erkannt, Defizite gebannt? - die quantitative Analyse elektronisch verfasster Klausuren an der Medizinischen Hochschule Hannover

Vortrag

  • corresponding author presenting/speaker Jörn Krückeberg - Medizinische Hochschule Hannover, Peter L. Reichertz Institut für Medizinische Informatik, Hannover, Deutschland
  • Ingo Just - Medizinische Hochschule Hannover, Studiendekanat, Hannover, Deutschland
  • Daniel Möbs - Codiplan GmbH, Bergisch Gladbach, Deutschland
  • Herbert Matthies - Medizinische Hochschule Hannover, Peter L. Reichertz Institut für Medizinische Informatik, Hannover, Deutschland
  • Volkhard Fischer - Medizinische Hochschule Hannover, Studiendekanat, Hannover, Deutschland

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Bochum, 23.-25.09.2010. Düsseldorf: German Medical Science GMS Publishing House; 2010. Doc10gma61

DOI: 10.3205/10gma061, URN: urn:nbn:de:0183-10gma0618

Published: August 5, 2010

© 2010 Krückeberg et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Outline

Text

Fragestellung: Seit 2006 werden MC-Prüfungen an der Medizinischen Hochschule Hannover (MHH) regelhaft elektronisch durchgeführt. Zur Anwendung kommt das mobile Prüfungssystem Q[kju:] der Firma Codiplan [1]. Mit mehr als 55.000 geschriebenen Klausuren hat sich das Verfahren etabliert. Durch die Neustrukturierung der Prüfungsorganisation konnte ein Regelkreis etabliert werden, in dem formale Prozesse einer Kontrolle über die Plattform Q[kju:]-Online unterzogen werden [2]. Nach der Prüfung steht den Lehrverantwortlichen eine umfangreiche Auswertung zur Verfügung. Diese automatisierte Auswertung stellt einen Mehrwert elektronischer Klausuren gegenüber manueller Auswertung dar. Doch stellt sich die Frage nach der sinnhaften Vermittlung und Nutzung solcher Analysen, um defizitäre Klausuren zu identifizieren und Anhaltspunkte zur Verbesserung zu liefern. Der Beitrag soll aufzeigen, in welchen Fällen der Prüfungsauswertung eine automatische Rückmeldung an die Lehrverantwortlichen sinnvoll erscheint, wie diese aufbereitet und welche Konsequenzen gezogen werden können.

Methodik: Zunächst wird die Definition einer "guten" Prüfung diskutiert. Zur Anwendung kommt dafür die Analyse von Kriterien wie die Noten- bzw. Punktzahlverteilung im Gesamtergebnis der Prüfung, die Analyse der Aufgabenschwierigkeit, der Trennschärfen sowie der Reliabilität [3]. Analysiert werden beispielhaft zwei Prüfungsauswertungen, von denen eine den genannten Kriterien positiv entspricht, die zweite dagegen Auswertungsergebnisse enthält, die eine genauere Betrachtung nahelegen, bzw. notwendig machen. Per Itemanalyse sollen in beiden Prüfungen kritische Fragestellungen identifiziert werden.

Ergebnisse: Beispielhaft werden zwei Ergebnisrichtungen von Prüfungsauswertungen präsentiert, die für das Feedback an die Lehrverantwortlichen relevant sind. So kann eine Klausur mit guten Analysen ein Potential zur Verbesserung einzelner Fragen und Antworten bergen. Im Falle von insgesamt kritischen Klausuren ist dagegen der unbedingte Handlungsbedarf aufzuzeigen, um rechtlichen Schritten (Ergebnisanfechtungen) seitens Studierender begegnen zu können.

Schlussfolgerungen: Um eine größtmögliche Akzeptanz der automatisierten Auswertung elektronischer Klausuren bei den Lehrenden zu erzielen, ist bei der Vermittlung der Ergebnisse auf eine verständliche Darstellung zu achten (Statistikbroschüre). Die Qualitätsprüfung nach einer Klausur wird im ersten Schritt durch ein festgelegtes Schema in der Fragendatenbank durchgeführt. Werden dabei Auffälligkeiten festgestellt, so soll die Frage den Lehrverantwortlichen und einem Review-Komitee über die Systemplattform automatisch zur manuellen Prüfung zur Verfügung gestellt werden.


Literatur

1.
Krückeberg J, Möbs D. Mobile elektronische Prüfungen an der Medizinischen Hochschule Hannover. Videobeitrag zum Themenspecial "E-Assessment - digitale Leistungsnachweise" auf e-teaching.org. Tübingen: e-teaching.org; 2010. Zugänglich unter: http://www.e-teaching.org/praxis/erfahrungsberichte/mobile-e-assessment External link
2.
Krückeberg J, Paulmann V, Fischer V, Haller H, Matthies HK. Elektronische Testverfahren als Bestandteil von Qualitätsmanagement und Dynamisierungsprozessen in der medizinischen Ausbildung. GMS Med Inform Biom Epidemiol. 2008;4(2):Doc08. Zugänglich unter: http://www.egms.de/static/de/journals/mibe/2008-4/mibe000067.shtml External link
3.
Möltner A, Schellberg D, Jünger J. Grundlegende quantitative Analysen medizinischer Prüfungen. GMS Z Med Ausbild. 2006;23(3):Doc53. Zugänglich unter: http://www.egms.de/static/de/journals/zma/2006-23/zma000272.shtml External link