gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

Der Progress Test Medizin: Erfahrungen an der Charité Berlin

The Progress Test Medizin: years of experience at the Charité Berlin

Projekt Humanmedizin

Search Medline for

  • corresponding author Katrin Osterberg - Charité - Universitätsmedizin Berlin, AG Progress Test Medizin, Berlin, Deutschland
  • author Sebastian Kölbel - Charité - Universitätsmedizin Berlin, AG Progress Test Medizin, Berlin, Deutschland
  • author Katrin Brauns - Charité - Universitätsmedizin Berlin, AG Progress Test Medizin, Berlin, Deutschland

GMS Z Med Ausbild 2006;23(3):Doc46

The electronic version of this article is the complete one and can be found online at: http://www.egms.de/en/journals/zma/2006-23/zma000265.shtml

Received: May 30, 2005
Published: August 15, 2006

© 2006 Osterberg et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Zusammenfassung

Seit 1999 wird an der Charité - Universitätsmedizin Berlin ein fächerübergreifender, formativer Progress Test für Medizinstudierende durchgeführt. Er beinhaltet 200 MC-Fragen auf Absolventenniveau und wird zu Anfang jedes Semesters durchgeführt.

Die erhobenen Daten werden detailliert in bezug auf die Vergleichsgruppe ausgewertet und als Rückmeldung an die Teilnehmer ausgegeben.

Nach anfänglichen Schwierigkeiten vor allem bei der Gewinnung neuer Fragenautoren und der effizienten Verwaltung der Testfragen ist der Progress Test Medizin an der Charité mittlerweile ein etabliertes und anerkanntes Feedbackinstrument.

Die Ergebnisse der letzten Jahre haben gezeigt, dass mit dem Progress Test der Wissenszuwachs über mehrere Semester und verschiedene Curricula dargestellt werden kann.

Seit 2000 kooperiert die Arbeitsgruppe Progress Test Medizin mit der Universität Witten/Herdecke und seit Herbst 2003 wird der Progress Test an vier weiteren deutschen Fakultäten durchgeführt. Dies minimiert den Aufwand pro Testteilnehmer deutlich und ermöglicht die konsequente Weiterentwicklung und Forschung auf diesem Gebiet.

Schlüsselwörter: Progress Test, Feedback, Wissensentwicklung, Prüfungen

Abstract

In 1999 a interdiciplinary, formative progress test for medical students has been established at the Charité - Universitätsmedizin Berlin. It contents of 200 MC-questions on a graduate level and is performed at the beginning of each semester since then.

The ascertained test data is evaluated and reported back in a detailed written feedback to each participant.

After initial problems in recruiting new item authors and an efficient administration of test items the progress test now is a well established and accepted feedback instrument and the results of the last years confirmed that knowledge increase of different semesters and different curricula can be shown through a progress test.

Since 2000 the workgroup “Progress Test Medizin” cooperates with the university in Witten /Herdecke, and since 2003 the progress test is also performed at four additional medical faculties. This minimizes the effort per participant and therefore allows further development and research.

Keywords: progress test, feedback, knowledge increase, assessment


Einleitung

Prüfungen, die nicht bestehensrelevant sind, haben an den medizinischen Hochschulen in Deutschland keinen nennenswerten Stellenwert. Gerade nach der Umsetzung der neuen Approbationsordnung in den Fakultäten, dem Ausarbeiten von fächerübergreifenden Leistungsnachweisen und langen Diskussionen über die Benotung und Gewichtung von Teilscheinen, wird oft der Feedback-Aspekt von Prüfungen an die Studierenden vergessen. Prüfungen sollten nicht nur verschiedene Hürden im Studentenleben darstellen. Sie können den Studierenden zur Selbsteinschätzung wichtige Informationen zu ihrem Wissen und ihrem Lernerfolg liefern und so motivierend wirken [1].

Ziele eines Progress Tests sind für die Teilnehmer: Ermittlung des eigenen Wissensstands, Darstellung des Wissenszuwachses über die Semester und Feedback über die eigene Leistung in bezug auf das eigene Semester differenziert nach Fächern und Organsystemen. Hervorzuheben ist, dass der aktuelle Wissensstand gemessen wird ohne dass sich die Studierenden gezielt auf den Test vorbereiten können oder sollen. Eine Verfälschung durch kurzfristig memoriertes Wissen ist so nicht gegeben [2].

Für die Curriculumsplaner und die gesamte Fakultät bietet ein solcher Test die Möglichkeit, einen Überblick über das Wissen von verschiedenen Kohorten zu erhalten und verschiedene Semester, Curricula oder gar Fakultäten miteinander zu vergleichen [3]. Im Reformstudiengang Medizin ist der Progress Test zum Zweck der Evaluation und der Vergleichsmöglichkeit in der Studienordnung festgeschrieben.

An der Charité wurde der Progress Test Medizin (PTM) erstmals im Wintersemester 1999/2000 mit Beginn des Reformstudiengangs Medizin durchgeführt. Im April 2000 begann eine Kooperation mit der Universität Witten/Herdecke. An der Charité sind zum jetzigen Zeitpunkt alle Semester des Reformstudiengangs und die klinischen Semester des Regelstudiengangs zur Teilnahme am Progress Test verpflichtet.

Seit Herbst 2003 findet der PTM zusätzlich an vier weiteren Universitäten statt: Rheinisch-Westfälische Technische Hochschule Aachen, Ruhr-Universität Bochum, Universität zu Köln und die Westfälische Wilhelms-Universität Münster.


Progress Tests an anderen Universitäten

Der erste Progress Test an einer medizinischen Fakultät wurde im Jahre 1972 an der University of Missouri (Kansas City, USA) entwickelt [4]. Die intensivste Forschung und Entwicklung in Europa unternimmt die Universiteit Maastricht (Niederlande), wo der Progress Test seit 1977 ein fester Bestandteil des Curriculums ist [5], [6]. Von dort ist er auf andere niederländische Fakultäten ausgedehnt worden. Der Maastrichter Progress Test war auch Vorbild für die Entwicklung des Berliner Progress Test Medizin. Einige weitere europäische Universitäten haben Progress Tests in ihre Curricula aufgenommen, so z.B. die University of Manchester, die Newcastle University (Großbritannien) und die Universität in Tampere (Finnland). Auf dem amerikanischen Kontinent wird er u.a. an der McMaster University in Ontario (Kanada) und an der Universidad San Francisco De Quito (Ecuador) durchgeführt.


Methoden

Testerstellung

Für die Erstellung des Tests steht eine internetbasierte Datenbank mit über 4000 Prüfungsfragen zur Verfügung, welche seit Beginn des Projekts 1998 von Dozenten der Charité und der Universität Witten-Herdecke für den Progress Test eingereicht wurden. Mittlerweile liefern ca. 200 Autoren aus ganz Deutschland neue Fragen in die Datenbank. Für deren Bewertung hat die AG Progress Test Medizin der Charité Berlin Richtlinien entwickelt und einen Leitfaden zur Erstellung qualitativ hochwertiger Fragen herausgegeben [7]. Es werden ausschließlich Multiple-Choice-Items vom Einfachauswahl-Typ (Typ A) verwendet. Zu jeder Fragestellung, der zum Teil eine kurze Fallbeschreibung vorausgeht, werden drei bis acht Antwortoptionen zur Wahl gestellt, die Erfahrungen der letzten Jahre haben gezeigt, dass die Autoren 4-5 Antwortmöglichkeiten bevorzugen (97% der Fragen). Eine Besonderheit ist die Weiß-Nicht-Option in jeder Frage. Sie soll angekreuzt werden, wenn die Frage nicht beantwortet werden kann. Damit soll vermieden werden, dass Teilnehmer bei Fragen, die ihren Ausbildungsstand übersteigen, eine Antwortoption raten [8].

Jede der Fragen ist einem von 14 Organsystemen zugeordnet. Die inhaltliche Zusammensetzung eines 200 Items umfassenden Tests ist durch eine bestimmte Anzahl Fragen zu jedem Organsystem festgelegt (siehe Tabelle 1 [Tab. 1]).

Der Test beinhaltet Fragestellungen aus allen medizinischen Fachgebieten auf dem Niveau eines Absolventen. Alle Studierenden erhalten beim Progress Test unabhängig von ihrem Fachsemester die gleichen Prüfungsfragen.

Zu Beginn der Vorbereitung eines Tests werden aus der Datenbank 200 Prüfungsfragen nach dem in Tab.1 angegebenen Schema randomisiert ausgewählt. Fragen, die innerhalb der letzten zwei Jahre verwendet wurden, werden dabei nicht berücksichtigt. Die ausgewählten Fragen werden dann von einem interdisziplinären Gremium aus 5-8 Hochschullehrern, dem Review-Komitee, nach den vorgegebenen formalen und inhaltlichen Gesichtspunkten geprüft. Zur Zeit gibt es zwei dieser Komitees an der Charité und eines an der Universität Witten/Herdecke, die parallel Fragen für den nächsten Progress Test bearbeiten. Kann eine Frage aus ihrer Sicht durch eine Veränderung verbessert werden, treten sie, oft mit einem konkreten Vorschlag, an den Autor heran. Die Review-Komitees der Charité werden durch Studierende betreut, welche die Sitzungen vorbereiten und mit den Autoren kommunizieren. Erst wenn eines der Review-Komitees eine Frage akzeptiert hat, wird sie im folgenden Test verwendet. Die in den Komitees vertretenen Dozenten werden durch die AG Progress Test Medizin vor Aufnahme ihrer Tätigkeit geschult.

Durchführung

Der Progress Test findet zu Beginn jedes Semesters statt. Die Teilnahme ist für alle Jahrgänge des Reformstudiengangs einschließlich des Praktischen Jahres, sowie für den klinischen Studienabschnitt des Regelstudiengangs verpflichtend. Den Studierenden der Vorklinik des Regelstudiengangs wird freigestellt, ob sie am Progress Test teilnehmen. Bisher hat ein großer Teil der Studienanfänger von diesem Angebot Gebrauch gemacht, jedoch nur ein kleinerer Teil der Studierenden des 2.-4. Semesters.

Für die Bearbeitung der 200 Fragen stehen maximal vier Stunden zur Verfügung. Die Teilnehmer erhalten ein Testheft sowie einen computerlesbaren Erfassungsbogen, auf dem sie ihre Antworten notieren. Sie werden aufgefordert, nur bei den Fragen eine Antwortoption zu markieren, die sie auch sicher beantworten können.

Evaluation

Begleitend wird in einem Fragebogen die Einstellung der Studierenden zum Progress Test erfragt. Dieses Feedback für die Organisatoren des PTM ist eine wichtige Quelle der kontinuierlichen Qualitätsverbesserung. Es besteht auch die Möglichkeit, die einzelnen Fragen des Tests zu kommentieren, welche aus der Sicht der Studierenden fehlerhaft sind. Diese Kommentare werden zusammen mit den Itemkennwerten bei der Auswertung des Tests berücksichtigt und an die Review Komitees weitergegeben.

Auswertung

Nach Erfassung und Aufbereitung der Daten werden die einzelnen Fragen zunächst einer Itemanalyse unterzogen, mit der mögliche fehlerhafte Fragen identifiziert werden sollen. Fragen mit einem auffallend häufig gewählten Distraktor und Fragen, die nur von einem kleinen Teil der fortgeschrittenen Teilnehmer beantwortet wurden, werden zusammen mit den statistischen Kennwerten und ggf. begründeten Einwendungen von Studierenden aus der Evaluation erneut dem Review-Komitee vorgelegt. Vor der Erstellung der Ergebnisberichte für die Teilnehmer können somit noch Fragen aus der Wertung genommen werden.

Nach Abschluss dieses "Post-Review-Prozesses“ wird für jeden Teilnehmer ein zweiseitiger individueller Ergebnisbericht erstellt, welcher auszugsweise in Abbildung 1 [Abb. 1] dargestellt ist. Er enthält den Testwert (errechnet aus Anzahl der richtig beantworteten Fragen minus Anzahl der falsch beantworteten Fragen), die jeweilige Anzahl der richtig und der falsch beantworteten Fragen und die Anzahl der "Weiß-Nicht“-Antworten. Jeder Wert wird dem Mittelwert der Vergleichsgruppe (eigenes Semester) gegenübergestellt und zu diesem in Beziehung gesetzt (Markierung bei mehr als einer Standardabweichung Unterschied mit + oder -). In der gleichen Weise erfolgt die Darstellung der Ergebnisse für die jeweils einem Organsystem zugeordneten Fragen. In einer Grafik wird der Verlauf der bisherigen Ergebnisse, einschließlich vorausgegangener Tests, der Vergleichsgruppe gegenüber gestellt.

Eine weitere Aufstellung gliedert die 200 Fragen nach Fachgebieten. Der Ergebnisbogen enthält ferner die für jede Frage gewählte Antwortmöglichkeit. Falsche Antworten werden hervorgehoben, damit die Studierenden bei Abholung ihres Ergebnisses mit Hilfe eines Lösungsheftes die von Ihnen bearbeiteten Fragen einsehen können.

Auch die Autoren der im Test verwendeten Fragen erhalten eine detaillierte Rückmeldung. Sie enthält eine Analyse des Antwortverhaltens aller Studierenden sowie eine nach Semestern getrennte und eine auf den erreichten Gesamttestwert bezogene Auswertung der von ihnen eingereichten Fragen (Trennschärfe). Zudem wird die Item-Schwierigkeit getrennt nach Semestern angegeben. Abbildung 2 [Abb. 2] zeigt einen Überblick über die verschiedenen Abläufe des PTM.


Ergebnisse

In Abbildung 3 [Abb. 3] sind die richtigen Antworten (in Prozent) der verschiedenen Kohorten des Regelstudiengangs (RSG) und des Reformstudiengangs (RSM) der Charité zu den jeweiligen Testzeitpunkten abgebildet. Die Reliabilität des Progress Tests wurde seit 2002 nach Cronbachs Alpha mit durchschnittlich 0,97 berechnet (Range: 0,964 – 0,975).

Der kontinuierliche Anstieg der richtigen Antworten der einzelnen Kohorten über die Zeit ist gut zu erkennen. Dies ist ein explizites Ziel des Progress Tests und somit ein Beleg für seine Validität [4].

Die Schwierigkeit der einzelnen Tests wird anhand von sog. Markerfragen indirekt kontrolliert. Dies sind Fragen, die sich in vorherigen Tests durch gute Itemstatistiken (Trennschärfe, Schwierigkeit, kaum Distraktoren) ausgezeichnet haben und erneut unverändert in den Test aufgenommen werden. Durch sie können die Tests verschiedener Messzeitpunkte miteinander verknüpft und verglichen werden. Im Sommersemester 2006 werden die Tests der letzten vier Jahre durch Markerfragen verbunden sein.

Während die Studierenden des Reformstudiengangs von dessen Start im Herbst 1999 an verpflichtend einmal im Semester am Progress Test teilgenommen haben, ist der Progress Test für den Regelstudiengang zunächst nur auf freiwilliger Basis angeboten worden. Im Frühjahr 2002 wurde die Teilnahme auch für die neu immatrikulierten Studierenden des Regelstudiengangs der Charité zur Pflicht.

In der nicht reformierten Vorklinik des Regelstudiengangs war im Progress Test über die ersten vier Semester kein signifikanter Wissensanstieg in bezug auf das Absolventenwissen messbar. Die Teilnahmeverpflichtung ist daraufhin für die Studierenden des vorklinischen Studienabschnitts wieder aufgehoben worden.

Aus persönlichen Gesprächen mit Studierenden und aus Kommentaren der Evaluation wird deutlich, dass der überwiegende Teil der Studierenden die Rückmeldung aus dem Progress-Test-Ergebnis wünscht. Auch die Möglichkeit der Nachbearbeitung des Tests mit einem Lösungsheft wird zunehmend genutzt.

Die Tatsache, dass die Teilnahme am Progress Test zwar verpflichtend, der Test jedoch nicht bestehensrelevant ist, führt bei 10 - 25% der Studierenden dazu, dass sie den Test nicht vollständig bearbeiten. Damit diese unmotivierten Teilnehmer nicht die Mittelwerte verfälschen, müssen sie identifiziert und aus der Mittelwertberechnung herausgenommen werden. Zum einen sind das diejenigen Studierenden, welche alle Fragen mit „Weiß nicht“ beantworten, zum anderen zeigte ein Vergleich der Bearbeitungszeiten über mehrere Tests eine zweigipflige Kurve mit einem Tief bei 30 Minuten. Zusammen mit speziellen Personen-Fit-Statistiken (im Rahmen einer IRT-Analyse) und persönlichen Gesprächen bei der Ausgabe der Ergebnisse, bei denen 100% der als „Ausreißer“ erkannten Studierenden bestätigten, den Test nicht vollständig bearbeitet zu haben, wurden weniger als 30 Minuten Bearbeitungszeit als Ausreißerkriterium festgelegt. Studierende, die sog. Muster kreuzen erhalten einen sehr niedrigen negativen Testwert und sie markieren Antwortenmöglichkeiten, welche durch die jeweilige Frage gar nicht in Betracht gezogen werden sollte, so wählen sie z.B. Antwort D obwohl die Frage nur drei Antwortmöglichkeiten bietet. Im Sommersemester 2006 wurden diese beiden Kriterien zusätzlich festgelegt.

Durch die Ausweitung des PTM auf weitere Fakultäten und die zunehmende Teilnahmeverpflichtung von Studierenden des Regelstudiengangs steigerten sich die Teilnehmerzahlen exponentiell: Im Sommersemester 2006 haben mehr als 4300 Studierende an sechs deutschen Fakultäten - davon 2125 an der Charité - teilgenommen.


Diskussion

Der Progress Test ist an der Charité als formative Prüfung und Feedback-Instrument gewünscht und als Verfahren anerkannt. Die Erwartung, mit dem Progress Test einen kontinuierlichen Zuwachs des Wissens der Studierenden zu zeigen, hat sich erfüllt.

Die Erstellung des Progress Tests ist mit einem relativ hohen finanziellen und personellen Aufwand verbunden. Besonders hervorzuheben sind die Erstellung der Testfragen (Motivation der Autoren, Datenbankverwaltung, Betreuung und Schulung der Review Komitees), die Organisation und Durchführung des Tests, sowie die Datenerfassung und -auswertung (Einscannen der Antwortbögen, statistische Aufarbeitung der Ergebnisse und Ausgabe der persönlichen Ergebnisrückmeldungen).

Die Nutzung des Tests an mehreren Fakultäten reduziert jedoch den finanziellen und personellen Aufwand pro Testteilnehmer enorm.

Der Einsatz des Progress Tests in der Vorklinik hat sich an der Charité bislang nicht als sinnvoll und demotivierend erwiesen, da vornehmlich klinisches Wissen geprüft wird und diese Inhalte in der Vorklinik kaum gelehrt werden. Abzuwarten ist, ob nach Umsetzung der neuen Approbationsordnung an den verschiedenen Fakultäten mit steigender Integration klinischer Inhalte in die Vorklinik der Einsatz des Progress Tests auch in diesem Studienabschnitt erwogen werden kann. In den ersten Semestern eines reformierten Studiengangs ist der Einsatz des Progress Tests sinnvoll und zu empfehlen, andere teilnehmende Fakultäten setzen den Progress Test auch in der traditionellen Vorklinik ein.

Der mangelnden Motivation eines Teils der Studierenden kann mit verstärkter Information über den Sinn und Zweck des Progress Tests und den persönlichen Nutzen daraus teilweise begegnet werden. Aufgrund der Nichtbestehensrelevanz des Tests wird es jedoch weiterhin Teilnehmer geben, die aus unterschiedlichen Gründen den Test nicht, oder nicht vollständig bearbeiten, und damit zu einer Verfälschung der Mittelwerte ihres Semesters beitragen. Diese identifizierten Ausreißer werden bei der Berechnung der Mittelwerte nicht berücksichtigt.


Ausblick

An der Charité wird das Projekt PTM in den nächsten Jahren noch mehr in das Curriculum eingebettet und mit ihm verknüpft werden. Die Expertise, die aus den vergangenen 14 Testdurchläufen gewonnen wurde, wird nicht nur im Progress Test eingebracht und umgesetzt, sondern auch in anderen Prüfungsbereichen innerhalb und außerhalb der Fakultät. Auch in einem Projekt der ärztlichen Weiterbildung ist dies an der Charité bereits gelungen

Im Rahmen von Diplom- und Doktorarbeiten werden zur Zeit mehrere Studien durchgeführt:

  • Die Weiß-Nicht-Option soll verhindern, dass Antworten geraten werden. Hier stellt sich die Frage, welchen Effekt die Weiß-Nicht-Option als ungewohntes Verfahren auf das Antwortverhalten hat und ob diese Antwortoption von allen Studierenden in gleicher Weise genutzt wird. Erste Ergebnisse werden im Herbst 2006 erwartet.
  • Ein Ziel des PTM ist die Evaluation der Lehre. Im Reformstudiengang Medizin teilt das Curriculum den Lehrstoff in Organsysteme ein. Der Anstieg bzw. die Stagnation der Ergebnisse eines dieser Organsysteme im Progress Test ist ein Feedback an die Lehre. Auch kann untersucht werden, ob der Anstieg dauerhaft ist.
  • Der Progress Test soll das Wissen auf Absolventenniveau testen. Das bedeutet, dass ein fertig ausgebildeter Medizinstudent, der gut im Staatsexamen war, auch gute Ergebnisse im Progress Test haben müsste. Durch einen Vergleich der Progress-Test-Ergebnisse mit den Ergebnissen der Staatsexamina wird diese Kriteriumsvalidität zur Zeit untersucht.

Aus datenschutzrechtlichen Gründen ist es uns verboten, persönliche Daten der Studierenden mit abzufragen, so dass Korrelationen der Testergebnisse mit Personendaten (Alter, Geschlecht, Vorbildung) nur in expliziten Studien durchgeführt werden können.


Fazit

Obwohl im Rahmen der neuen Approbationsordnung in vielen Fakultäten die Kapazitäten in der Lehre durch die gestiegenen Anforderungen noch knapper geworden sind, sollte das Ziel von Prüfungen, Studierende zum Lernen zu motivieren, nicht aus den Augen verloren werden. Leider können einmalige Semesterabschlussklausuren häufig nur kurzfristig memoriertes Wissen abbilden und keine Auskunft über die Nachhaltigkeit von Gelerntem geben.

Da die Studierenden wegen des Umfangs des Testinhalts sich nicht kurzfristig auf einen interdisziplinären Progress Test vorbereiten können, bildet er dauerhaft gespeichertes Wissen ab.

Ein nicht bestehensrelevanter Progress Test kann auch eine sinnvolle Ergänzung von summativen Prüfungen in einem Curriculum sein, um schwache Studierende frühzeitig zu erkennen oder herausragende Studierende zu honorieren. Er kann außerdem zum eigenständigen Lernen über die vorgegeben Semesterinhalte hinaus motivieren.

Der PTM hat gezeigt, dass formatives Feedback von der Mehrzahl der Studierenden und Lehrenden gewünscht wird und dass sich unterschiedliche Curricula vergleichen lassen. Eine Ausdehnung des Projekts auf weitere Universitäten, vor allem mit Curricula, die klinische Inhalte bereits in den ersten Semestern lehren, ist sinnvoll.


Literatur

1.
Rushton A. Formative assessment: a key to deep learning? Med Teach. 2005;27(6):509-513.
2.
Blake JM, Norman GRN, Keane DR, Mueller CB, Cunnington J, Didyk N. Introducing Progress Testing in McMaster University's Problem.based Medical Curriculum: Psychometric Properties and Effect on Learning. Acad Med. 1996;71(9):1002-1007.
3.
Verhoeven BH, Snellen-Balendong HA, Hay IT, Boon JM, van der Linde MJ, Blitz-Lindeque JJ, Hoogenboom RJ, Verwijnen GM, Wijnen WH, Scherpbier AJ, van der Vleuten CP. The versatility of progress testing assessed in an international context: a start for benchmarking global standardization? Med Teach. 2005;27(6):514-520.
4.
Arnold L, Willoughby TL. The Quarterly Profile Examination. Acad Med. 1990;65(8):515-516.
5.
van der Vleuten CP, Verwijnen GM, Wijnen WH. Fifteen years of experience with progress testing in a problem-based learning curriculum. Med Teach. 1996;18:103-109.
6.
Verhoeven BH, Verwijnen GM, Scherpbier AJJ, Schuwirth LW, van der Vleuten CP et al. Quality assurance in test construction: the approach of a multidisciplinary central test committee. Educ Health. 1999;12:49-60.
7.
AG PTM. Leitfaden für Fragenautorinnen und -autoren des Progress Test Medizin. Berlin: Charité Universitätsmedizin Berlin; 2003.
8.
Anderson J. Multiple-choice questions revisited. Med Teach. 2004;26(2):110-113.