Artikel
Identifikation von Täuschungsversuchen durch Abschreiben in einer papierbasierten MC-Prüfung
Identification of Fraud in Paper-Based MC Exams
Suche in Medline nach
Autoren
Veröffentlicht: | 14. November 2007 |
---|
Gliederung
Text
Problemstellung: In schriftlichen MC-Prüfungen kann durch das Abschreiben vom Nachbarn die Aussagekräftigkeit der Ergebnisse negativ beeinflusst werden. Im Folgenden werden Methoden vorgestellt um diese Art von Täuschungsversuchen bei der Auswertung der Ergebnisse zu erkennen. Daraus lässt sich ableiten, ob das Prüfungssetting (Abstand der Teilnehmer, Anzahl der Versionen, Modus der Platzwahl etc.) in Ordnung ist oder eventuell modifiziert werden muss.
Methoden: In Ercole [Ref. 1] wurde ein Ansatz vorgestellt, der auf die Erkennung von Abschreiben in Prüfungen mit drei Antworten je Frage (Aussage ist richtig/falsch/weiß nicht) mit Hilfe des Satzes von Bayes spezialisiert ist. Dieser Ansatz ist nicht direkt auf Fragen mit heterogenen Antwortmöglichkeiten und mehr als einer erwarteten Antwort je Frage zu übertragen. Daher wurde der Ansatz für die vorliegende Studie erweitert. Der Likelihoodwert, der bei Ercole das korrekte Wissen des Prüflings und seine Risikoaversion (weiß-nicht-Antworten) beschreibt, wurde eliminiert. Im Wesentlichen wird ein Wert für die Ähnlichkeit von jeweils zwei Bögen berechnet, wobei die Identität von Antworten anhand von deren A-priori-Wahrscheinlichkeit gewichtet wird. In Mehrfachantworten wurde einmal jede Antwort wie eine Extra-Frage gezählt (Algorithmus 1). Zum anderen wurde ein weiterer Algorithmus getestet, der nur die Gleichheit aller Antworten einer Mehrfachantwortfrage berücksichtigt (Algorithmus 2).
Die Prüfungspopulation bestand aus dem Studentenjahrgang des Wintersemesters 2006/2007 in der Prüfung der Inneren Medizin im 6. und 7. Semester an der Ludwig-Maximilians-Universität München. Insgesamt haben 203 Studierende in drei Hörsälen an der Prüfung teilgenommen. Die Prüfung bestand aus 30 MC-Fragen mit einer oder mehreren richtigen Antworten und es standen 45 Minuten zur Bearbeitung zur Verfügung. Um das Abschreiben zu erschweren, wurden die Prüfungshefte in zwei Versionen mit unterschiedlicher Fragenreihenfolge ausgegeben. Zwischen zwei Prüflingen lag jeweils ein leerer Platz bzw. eine leere Reihe. Zur Auswertung der Ergebnisse wurde die Position der Prüflinge im Hörsaal aufgezeichnet.
Ergebnisse: Die Verteilung der Übereinstimmungswerte wies eine glatte, glockenförmige Verteilung auf, im Fall von Algorithmus 1 ohne Auffälligkeiten am oberen Rand, im Fall von Algorithmus 2 mit einem Paar mit besonders hoher Ähnlichkeit. Es war nachzuvollziehen, dass hohe Übereinstimmungen immer mit sehr guten Prüfungsleistungen korreliert und somit aller Wahrscheinlichkeit nach zufällig zustande gekommen waren. Im Fall des laut Algorithmus 2 besonders ähnlichen Paares hatten die Studierenden 28,5 und 29,5 von 30 Punkten erreicht und saßen in unterschiedlichen Hörsälen. Auch für die nächsten 7 Paare mit der höchsten Übereinstimmung zeigte sich, dass die jeweiligen Prüflinge aufgrund ihrer Position im Hörsaal nicht voneinander abgeschrieben haben konnten.
Diskussion: Das verwendete Verfahren arbeitet naturgemäß umso besser, je mehr Aufgaben vom Nachbarn kopiert wurden. Wenn ein Prüfling also nur wenige Fragen kopiert hat, wird dies also in der Regel nicht nachgewiesen werden können. Auch andere Täuschungsarten wie Spickzettel lassen sich so nicht nachweisen.
Dennoch lässt sich für die untersuchte Prüfung sagen, dass ausreichende Maßnahmen gegen das Abschreiben in Form von genug leerem Platz zwischen den Prüfungsteilnehmern und der Versionierung der Testhefte getroffen wurden.
Ausblick: Zur Verifikation der Sensitivität des Verfahrens soll zum Ende des Sommersemesters 2007 noch eine weitere Prüfung untersucht werden, in der aus logistischen Gründen mit einem höheren Anteil von Täuschungsversuchen gerechnet werden muss.