gms | German Medical Science

Moodle bietet umfangreiche Funktionen zum Erstellen und Auswerten von schriftlichen Leistungstests. Eine Methode verlangt von den Teilnehmenden in der Prüfung eine zusätzliche Angabe zur Sicherheit mit der die Frage beantwortet wurde. Je nachdem ob die Studierenden mit „geringer“, „ziemlicher“ oder „großer“ Sicherheit antworten, bekommen sie entsprechend mehr oder weniger Punkte bzw. Punkte abgezogen. Diese Methode nennt sich auch Certainty- bzw. Confidence-based Marking“ (CBM). Wir möchten in dieser Arbeit den Standard-Punkteschlüssel für CBM in Moodle testen und mit anderen Bewertungsmethoden vergleichen.

Der Test mit 38 Fragenitems aus unterschiedlichen medizinischen Bereichen wurde in Rahmen einer Lehrveranstaltung von 105 Studierenden (68 weiblich und 37 männlich) durchgeführt. Insgesamt hat es 3990 Fragenbeantwortungen gegeben (105x38), wobei 1939-mal korrekt und 2010-mal falsch geantwortet wurde; 41 Antworten fehlten. Die Studierenden haben dabei im Durchschnitt 27,2 Minuten (min. 9 bis max. 40) gebraucht.

Eine häufig eingesetzte Bewertungsmethode vergibt für die korrekte Beantwortungen 1 Punkt und für die inkorrekte Beantwortung 0 Punkte. Bei 38 Items würde eine gängige Grenze für einen positiven Test mit 67% korrekten Beantwortungen bei 25,5 Punkten liegen. Bei unserem Test lagen die Punkte zwischen 4 und 38, im Mittel bei 18,5 Punkten, also deutlich unter der 25,5-Punkte-Grenze. Bei dieser Berechnung hätten 14 Studierende bestanden (siehe Abbildung 1 [Abb. 1]).

Die zweite Bewertungsmethode, die in Moodle standardmäßig hinterlegt ist, vergibt je nach angegebener Sicherheit 1,00/0,67/0,33 Punkte bei korrekter und –2,00/–0,67/0 Punkte bei inkorrekter Beantwortung. Damit würden das schlechtestmögliche Ergebnis bei –76 Punkten und das bestmögliche Ergebnis bei +38 Punkten liegen. Die 67% Bestehensgrenze – d.h. positive Testbewertung ab 67% der maximalen Punkteanzahl – wäre dann genau bei 0. Bei unserem Test lagen die Punkte zwischen –29,02 und 35,02, im Mittel bei 4,2, was über der 0-Punkte-Grenze liegt. Bei dieser Berechnung hätten 76 Studierende bestanden (siehe Abbildung 2 [Abb. 2]).

Auf der einen Seite haben Studierenden für korrekte Beantwortungen Punkte bekommen, jedoch keine Punkteabzüge bei inkorrekter Beantwortung unter großer Unsicherheit. Auf der anderen Seite wurden bei inkorrekter Beantwortung unter großer Sicherheit doppelt so viele Punkte abgezogen, wie man maximal bekommen hätte können. Daher gehen die Studierenden – einen positiven Testabschluss anstrebend – kein großes Risiko ein und antworten unter Angabe von Unsicherheit.

Eine weitere Berechnungsvariante wurde abschließend mit einem symmetrischen (bzgl. Punkte-Gewinn und -Abzug) Punkteschlüssel durchgeführt, was die Zahl der Studierenden, die bestanden haben, entsprechend verkleinerte.

Unabhängig der Tatsache, dass der Punkteschlüssel einen großen Einfluss auf die Testergebnisse hat, kann CBM das Lernverhalten – angelehnt an Assessment-drives-learning – deutlich in eine günstige Richtung beeinflussen.