gms | German Medical Science

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)

16.11. - 18.11.2007, Hannover

Identifikation von Täuschungsversuchen durch Abschreiben in einer papierbasierten MC-Prüfung

Identification of Fraud in Paper-Based MC Exams

Poster

Suche in Medline nach

Jahrestagung der Gesellschaft für Medizinische Ausbildung - GMA. Hannover, 16.-18.11.2007. Düsseldorf: German Medical Science GMS Publishing House; 2007. Doc07gma57

Die elektronische Version dieses Artikels ist vollständig und ist verfügbar unter: http://www.egms.de/de/meetings/gma2007/07gma057.shtml

Veröffentlicht: 14. November 2007

© 2007 Holzer et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielf&aauml;ltigt, verbreitet und &oauml;ffentlich zug&aauml;nglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Gliederung

Text

Problemstellung: In schriftlichen MC-Prüfungen kann durch das Abschreiben vom Nachbarn die Aussagekräftigkeit der Ergebnisse negativ beeinflusst werden. Im Folgenden werden Methoden vorgestellt um diese Art von Täuschungsversuchen bei der Auswertung der Ergebnisse zu erkennen. Daraus lässt sich ableiten, ob das Prüfungssetting (Abstand der Teilnehmer, Anzahl der Versionen, Modus der Platzwahl etc.) in Ordnung ist oder eventuell modifiziert werden muss.

Methoden: In Ercole [1] wurde ein Ansatz vorgestellt, der auf die Erkennung von Abschreiben in Prüfungen mit drei Antworten je Frage (Aussage ist richtig/falsch/weiß nicht) mit Hilfe des Satzes von Bayes spezialisiert ist. Dieser Ansatz ist nicht direkt auf Fragen mit heterogenen Antwortmöglichkeiten und mehr als einer erwarteten Antwort je Frage zu übertragen. Daher wurde der Ansatz für die vorliegende Studie erweitert. Der Likelihoodwert, der bei Ercole das korrekte Wissen des Prüflings und seine Risikoaversion (weiß-nicht-Antworten) beschreibt, wurde eliminiert. Im Wesentlichen wird ein Wert für die Ähnlichkeit von jeweils zwei Bögen berechnet, wobei die Identität von Antworten anhand von deren A-priori-Wahrscheinlichkeit gewichtet wird. In Mehrfachantworten wurde einmal jede Antwort wie eine Extra-Frage gezählt (Algorithmus 1). Zum anderen wurde ein weiterer Algorithmus getestet, der nur die Gleichheit aller Antworten einer Mehrfachantwortfrage berücksichtigt (Algorithmus 2).

Die Prüfungspopulation bestand aus dem Studentenjahrgang des Wintersemesters 2006/2007 in der Prüfung der Inneren Medizin im 6. und 7. Semester an der Ludwig-Maximilians-Universität München. Insgesamt haben 203 Studierende in drei Hörsälen an der Prüfung teilgenommen. Die Prüfung bestand aus 30 MC-Fragen mit einer oder mehreren richtigen Antworten und es standen 45 Minuten zur Bearbeitung zur Verfügung. Um das Abschreiben zu erschweren, wurden die Prüfungshefte in zwei Versionen mit unterschiedlicher Fragenreihenfolge ausgegeben. Zwischen zwei Prüflingen lag jeweils ein leerer Platz bzw. eine leere Reihe. Zur Auswertung der Ergebnisse wurde die Position der Prüflinge im Hörsaal aufgezeichnet.

Ergebnisse: Die Verteilung der Übereinstimmungswerte wies eine glatte, glockenförmige Verteilung auf, im Fall von Algorithmus 1 ohne Auffälligkeiten am oberen Rand, im Fall von Algorithmus 2 mit einem Paar mit besonders hoher Ähnlichkeit. Es war nachzuvollziehen, dass hohe Übereinstimmungen immer mit sehr guten Prüfungsleistungen korreliert und somit aller Wahrscheinlichkeit nach zufällig zustande gekommen waren. Im Fall des laut Algorithmus 2 besonders ähnlichen Paares hatten die Studierenden 28,5 und 29,5 von 30 Punkten erreicht und saßen in unterschiedlichen Hörsälen. Auch für die nächsten 7 Paare mit der höchsten Übereinstimmung zeigte sich, dass die jeweiligen Prüflinge aufgrund ihrer Position im Hörsaal nicht voneinander abgeschrieben haben konnten.

Diskussion: Das verwendete Verfahren arbeitet naturgemäß umso besser, je mehr Aufgaben vom Nachbarn kopiert wurden. Wenn ein Prüfling also nur wenige Fragen kopiert hat, wird dies also in der Regel nicht nachgewiesen werden können. Auch andere Täuschungsarten wie Spickzettel lassen sich so nicht nachweisen.

Dennoch lässt sich für die untersuchte Prüfung sagen, dass ausreichende Maßnahmen gegen das Abschreiben in Form von genug leerem Platz zwischen den Prüfungsteilnehmern und der Versionierung der Testhefte getroffen wurden.

Ausblick: Zur Verifikation der Sensitivität des Verfahrens soll zum Ende des Sommersemesters 2007 noch eine weitere Prüfung untersucht werden, in der aus logistischen Gründen mit einem höheren Anteil von Täuschungsversuchen gerechnet werden muss.


Literatur

1.
Ercole A, Whittlestone KD, Melvin DG, Rashbass J. Collusion detection in multiple choice examinations. Med Educ. 2002:36(2);166-172.