gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

Entwicklung eines formativen kompetenzorientierten Progresstests mit MC-Fragen von Studierenden – Ergebnisse einer multifakultären Pilotstudie

Artikel Prüfungen

  • corresponding author Stefan Wagener - Universität Heidelberg, Medizinische Fakultät, Heidelberg, Deutschland
  • author Andreas Möltner - Universität Heidelberg, Kompetenzzentrum Prüfungen in der Medizin Baden-Württemberg, Heidelberg, Deutschland
  • Sevgi Tımbıl - Universität Heidelberg, Medizinische Fakultät, Heidelberg, Deutschland
  • author Maryna Gornostayeva - Universität Heidelberg, Kompetenzzentrum Prüfungen in der Medizin Baden-Württemberg, Heidelberg, Deutschland
  • author Jobst-Hendrik Schultz - Universität Heidelberg, Medizinische Fakultät, Heidelberg, Deutschland
  • author Peter Brüstle - Albert-Ludwigs-Universität Freiburg, Kompetenzzentrum Evaluation in der Medizin Baden-Württemberg, Freiburg, Deutschland
  • author Daniela Mohr - Universität Tübingen, Medizinische Fakultät, Tübingen, Deutschland
  • Anna Vander Beken - Universität Ulm, Medizinische Fakultät, Ulm, Deutschland
  • Julian Better - Universität Marburg, Medizinische Fakultät, Marburg, Deutschland
  • Martin Fries - Universität Marburg, Medizinische Fakultät, Marburg, Deutschland
  • Marc Gottschalk - Universität Magdeburg, Medizinische Fakultät, Magdeburg, Deutschland
  • Janine Günther - Universität Freiburg, Medizinische Fakultät, Freiburg, Deutschland
  • Laura Herrmann - Universität Freiburg, Medizinische Fakultät, Freiburg, Deutschland
  • Christian Kreisel - Universität Marburg, Medizinische Fakultät, Marburg, Deutschland
  • Tobias Moczko - Universität Witten/Herdecke, Medizinische Fakultät, Witten, Deutschland
  • Claudius Illg - Universität Heidelberg, Medizinische Fakultät, Heidelberg, Deutschland
  • Adam Jassowicz - Universität Heidelberg, Medizinische Fakultät, Heidelberg, Deutschland
  • Andreas Müller - Universität Heidelberg, Medizinische Fakultät, Heidelberg, Deutschland
  • Moritz Niesert - Universität Heidelberg, Medizinische Fakultät, Heidelberg, Deutschland
  • Felix Strübing - Universität Heidelberg, Medizinische Fakultät, Heidelberg, Deutschland
  • author Jana Jünger - Universität Heidelberg, Kompetenzzentrum Prüfungen in der Medizin Baden-Württemberg, Heidelberg, Deutschland

GMS Z Med Ausbild 2015;32(4):Doc46

doi: 10.3205/zma000988, urn:nbn:de:0183-zma0009886

Dieses ist die deutsche Version des Artikels.
Die englische Version finden Sie unter: http://www.egms.de/en/journals/zma/2015-32/zma000988.shtml

Eingereicht: 18. November 2014
Überarbeitet: 25. Februar 2015
Angenommen: 6. Mai 2015
Veröffentlicht: 15. Oktober 2015

© 2015 Wagener et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Zusammenfassung

Einleitung: Progresstests geben Studierenden Feedback über ihren Wissenszuwachs im Verlauf ihres Studiums. In der medizinischen Ausbildung haben Peer-assisted-learning und kompetenzbasierte Ausbildung zunehmend Bedeutung erlangt. Während Progresstests sich als longitudinales Feedback-Instrument bewährt haben, gibt es bisher keine Progresstests, die in Zusammenarbeit mit Studierenden erstellt wurden und die die Kompetenzorientierung der medizinischen Ausbildung aufgreifen.

In dieser Studie soll zum einen untersucht werden, inwieweit Studierende in die Prüfungsentwicklung eines Progresstests eingebunden werden können und zum anderen soll gezeigt werden, dass sich die Wissensaspekte von Kompetenzen in einem kompetenzorientierten Progresstest abbilden lassen.

Methoden: Für den kompetenzorientierten Progresstest wurde ein zweidimensionaler „Blueprint“ für 144 MC-Fragen mit gruppierten medizinischen Fächern und gruppierten Kompetenzbereichen von drei Expertengruppen erstellt. An der Entwicklung des kompetenzorientierten Progresstests haben sich 31 Studierende aus sieben medizinischen Fakultäten in Deutschland aktiv beteiligt. Nach einem intensiven und umfassenden Schulungsprogramm erstellen und reviewten die Studierenden unter Nutzung einer eigenständigen Plattform des ItemManagementSystems die Prüfungsfragen des kompetenzorientierten Progresstests. Der kompetenzorientierte Progresstest wurde im November 2013 an acht medizinischen Fakultäten in Deutschland als formativer Test im Rahmen einer Pilotstudie durchgeführt, an dem 469 Studierende teilnahmen. Die erzielten Punktwerte wurden für den Gesamttest sowie in differenzierter Form für die „Fächergruppen“ und „Kompetenzbereiche“ analysiert.

Ergebnisse: Für den Piloteinsatz im Jahr 2013 wurde von den Studierenden ein MC-Fragenpool von über 200 MC-Fragen entwickelt. 118 MC-Fragen von Studierenden wurden im Progresstest verwendet. 26 MC-Fragen wurden von Dozenten insbesondere im Bereich Wissenschaftskompetenz ergänzt. Es zeigte sich, dass die MC-Fragen von Studierenden hinsichtlich teststatistischer Kriterien und inhaltlicher Prüfung im Postreview von hoher Qualität waren. Der Progresstest weist insgesamt eine sehr hohe Reliabilität auf. Im Vergleich der Studienjahre bildete sich der Progress im Verlauf des Studiums sowohl in der Gesamtbetrachtung des Tests als auch hinsichtlich der „Fächergruppen“ und „Kompetenzbereiche“ ab.

Ausblick: Die Weiterentwicklung in Kooperation mit Studierenden wird fortgesetzt. Im Fokus steht dabei die Erweiterung auf zusätzliche Fragen- und Prüfungsformate, die Kompetenzorientierung auf einem höheren Kompetenzlevel abbilden können, wie z.B. Key Feature-Fragen, Situational-Judgement-Test-Fragen und OSCE. Des Weiteren werden die Feedbackformate sukzessive erweitert. Auch ist geplant, den formativen kompetenzorientierten Progresstest webbasiert anzubieten.

Schlüsselwörter: Progresstest, kompetenzorientiert, Medizinstudierende, medizinische Ausbildung, MC-Fragen


Einleitung

Der Progresstest ist in der medizinischen Ausbildung ein weltweit anerkanntes und verwendetes Verfahren, um den Lernfortschritt im Verlauf des Studiums abzubilden [1] und wird auch in Deutschland in verschiedenen Fakultäten durchgeführt [2]. Progresstests erfüllen vornehmlich zwei Funktionen: Einerseits geben sie Studierenden ein fortlaufendes Feedback über ihren individuellen Wissensstand im Studium, andererseits bieten sie die Möglichkeit, Curricula zu monitoren, Kohortenverläufe zu beobachten und unterschiedlich gestaltete Curricula zu vergleichen [3]. Eine Besonderheit des Progresstests ist die curriculumsunabhängige Konstruktion, welche eine interfakultäre Zusammenarbeit bei Konzeption, Erstellung und Durchführung des Tests ermöglicht [4], [5].

Die aktive Beteiligung der Studierenden an der Lehre ist seit mehreren Jahren in vielen Ausbildungssystemen verankert. Beim „peer assisted learning“ (PAL) werden in der medizinischen Ausbildung meist fortgeschrittene Studierende („seniors“) beim Unterricht jüngerer Studierender („juniors“) eingesetzt [6], [7], [8]. Studien zum Training klinisch-praktischer Fertigkeiten konnten zeigen, dass geschulte Tutoren genauso fähig wie Dozenten sind, prozedurale klinische Techniken zu vermitteln, wie z.B. körperliche Untersuchungen, kommunikative Kompetenzen, chirurgischen Fertigkeiten und die Vermittlung klinischer Kompetenzen im Stationsalltag [9], [10], [11], [12], [13]. So konnte auch gezeigt werden, dass bereits in der Vorklinik kommunikative Kompetenzen integriert mit klinisch praktischen Fertigkeiten durch studentische Tutoren wirksam gelehrt werden können [14]. Betont wird dabei, dass sich ältere Studierende als „peers“ besser in die Situation jüngerer Studierender hineinversetzen können, die vieles (noch) „nicht wissen“ [15] und der Unterricht durch „peers“ als angenehmer empfunden wird [16]. Mittlerweile zeigen Frameworks, wie PAL in die medizinische Ausbildung implementiert werden kann [17], [18].

Im Gegensatz zur Lehre sind Studierende in Prüfungen (peer assessment) weit weniger eingebunden. In wenigen Studien außerhalb und innerhalb der medizinischen Ausbildung wurden Studierende bei der Erstellung von MC-Fragen eingesetzt [19], [20], was sich u. a. zur Erstellung von Fragen für eine Aufgabendatenbanken als wertvoll erwiesen hat [21], [22]. Auch wird der Einfluss des Erstellens von MC-Fragen auf Lernstrategien und Lernverhalten thematisiert [20], [21], [23]. Bei der Untersuchung der Qualität von MC-Fragen von Studierenden zeigte sich, dass Studierende MC-Fragen mit guter Qualität erstellen können [24], wobei es im Vergleich von Fragen von Studierenden und von Dozenten Hinweise gibt, dass beide gleichwertig sein können [22]. Bisher sind uns allerdings keine Studien bekannt, bei denen Studierende Prüfungen vollständig selbst entwickelt haben.

Die nachweislich positiven Erfahrungen zum „peer-assisted-learning“ und „peer assessment“ machen die Beteiligung von Studierenden sinnvoll und vielversprechend:

1.
Die studentische Perspektive auf einen formativen und freiwilligen Progresstest ist wichtig für die Planung und den Einsatz eines Progresstests. Die Studierenden können aus ihrer Sicht wesentliche Hinweise für die Bedarfsanalyse, die Relevanzeinschätzung und die Teilnahmemotivation beitragen.
2.
Mit der Integration von Studierenden kann zu einer positiven Prüfungskultur beitragen werden. Studierende können ihre Anforderungen im Hinblick auf Gesamtkonzept des Progresstests einbringen und erhalten die Möglichkeit, einen Test mit zu entwickeln, dessen Feedback für ihre Entwicklung im Studium hilfreich ist.
3.
Die Beteiligung von Studierenden kann Aufschluss darüber geben, inwieweit Studierende einen Progresstest inhaltlich und organisatorisch erarbeiten, diesen voranbringen, umsetzen und zukünftig auch weiterentwickeln können.
4.
Mit der Beteiligung von Studierenden kann erkundet werden, inwieweit es möglich ist, einen Progresstest auch fakultätsübergreifend zu organisieren und durchzuführen.

Die internationale Entwicklung der kompetenzbasierten medizinischen Ausbildung („competency based education“ CBE) [25], [26] hat in Deutschland zur Entwicklung der „Nationalen Kompetenzbasierten Lernzielkataloge für Medizin und Zahnmedizin“ (NKLM/NKLZ) geführt [http://www.nklm.de, zuletzt geprüft am 14.12.2014]. Ziel des NKLM/NKLZ ist es, zu beschreiben, „welche Kompetenzen von einer (Zahn-)Ärztin oder einem (Zahn-)Arzt zum Zeitpunkt der Approbation erwartet werden dürfen“ [http://www.mft-online.de/files/nklm_nklz_information_20130419_kurz.pdf, zuletzt geprüft am 14.12.2014]. Die inhaltliche Abstimmung darüber erfolgt bis voraussichtlich Mai 2015 in einem nationalen Konsensprozess.

Der Nationale Kompetenzbasierte Lernzielkatalog für Medizin (NKLM) folgt dabei einer Einteilung in drei Abschnitte: Abschnitt I beinhaltet „Kompetenzrollen und Teilkompetenzen“, Abschnitt II umfasst „medizinisches Wissen, klinische Fähigkeiten und professionelle Haltungen“, Abschnitt III umfasst „Patientenzentrierte Gesundheitsversorgung“ (siehe Abbildung 1 [Abb. 1]). Im NKLM sind damit übergeordnete Kompetenzen als Rollen abgebildet, die sich am CanMEDS-Modell orientieren [http://www.royalcollege.ca/portal/page/portal/rc/canmeds/framework, zuletzt geprüft am 14.12.2014].

Die Zielsetzungen des NKLM umfassen dabei sowohl die Integration der Lernziele in die Lehre als auch in die Prüfungen der medizinischen Ausbildung. Somit sind mit der Umsetzung des NKLM in der medizinischen Ausbildung neue Anforderungen gesetzt, etablierte Prüfungsformen zu erweitern und innovativer Prüfungsformate zur Erfassung von „Kompetenzen“ zu entwickeln.

Im Rahmen des durch das Bundesministerium für Bildung und Forschung im Förderprogramm „Qualitätspakt Lehre“ [http://www.bmbf.de/de/15375.php, zuletzt geprüft am 14.12.2014] geförderten Verbund-Projekts „Medical Education Research – Lehrforschung im Netz BW“ (MERLIN) [http://www.merlin-bw.de/, zuletzt geprüft am 14.12.2014] wurden durch das „Kompetenzzentrum für Prüfungen in der Medizin / Baden-Württemberg“ der Medizinischen Fakultät Heidelberg diese Anforderungen aufgegriffen und mit der Einbindung von Studierenden in die Entwicklung des Progresstests kombiniert, um gerade den für ein longitudinales Feedback geeigneten Progresstest in Richtung Kompetenzorientierung zu entwickeln.

Dieses erfordert ein schrittweises Vorgehen. Ausgangspunkt der Entwicklung eines kompetenzorientierten Progresstests und Fokus dieser Studie sind zunächst die Wissenskomponenten, die in jeder Kompetenz enthalten sind (siehe dazu z.B. die Kompetenztreppe nach North [27] oder die Kompetenzpyramide nach Miller [28]). Diese Wissenskomponenten lassen sich als theoretischer Teil einer Kompetenz mit MC-Fragen überprüfen. Auch wenn Kompetenzen möglichst in ihrer Gesamtheit auf einem höheren Level als nur in Bezug auf ihre Wissensanteile zu prüfen sind, stellt diese Pilotstudie den ersten Schritt in Richtung eines kompetenzorientierten Progresstests dar.

Betrachtet man bereits etablierte Progresstests im Vergleich, zeigt sich, dass vielfach Blueprints verwendet werden, in denen eine Kompetenzorientierung zwar in Teilen enthalten ist, nicht aber ein Konstruktionskriterium des jeweiligen Blueprints darstellt. Die Entwicklung von Prüfungsfragen (in der Regel MC-Fragen Typ A) erfolgt auf Basis ein- bis zweidimensionaler Blueprints anhand von Organsystemen, Disziplinen oder Tasks [http://ptm.charite.de/, zuletzt geprüft am 14.12.2014], [http://www.nbme.org/Students/sas/ifom.html, zuletzt geprüft am 14.12.2014], [http://www.ivtg.nl/en, zuletzt geprüft am 14.12.2014]. Um einen Blueprint für einen kompetenzorientierten Progresstest zu entwickeln, ist es hingegen erforderlich, Leistungsanforderungen im Medizinstudium und Kompetenzorientierung gleichermaßen abzubilden und als Konstruktionsprinzip zu verwenden.

In der vorliegenden Studie wird die Konstruktion eines kompetenzorientierten Blueprints erläutert und der Fokus auf folgende Fragestellungen gelegt:

1.
Inwieweit können Studierende in die Prüfungsentwicklung eines Progresstests eingebunden werden?
2.
Lassen sich Wissensanteile von Kompetenzen reliabel in einem Progresstest, der auf MC-Fragen basiert, abbilden?

Methoden

Blueprintentwicklung für einen kompetenzorientierten Progresstest

Zur Blueprintentwicklung wurden einerseits die aktuell geltende deutsche Approbationsordnung für Ärzte (ÄAppO) [http://www.gesetze-im-internet.de/_appro_2002/BJNR240500002.html, zuletzt geprüft am 14.12.2014] sowie andererseits der Nationale Kompetenzbasierte Lernzielkatalog Medizin (NKLM) http://www.nklm.de, zuletzt geprüft am 14.12.2014] herangezogen. Ziel der Blueprintentwicklung war es, die 55 Leistungsnachweise der ÄAppO und die 17 relevanten Gebiete des NKLM (Abschnitt I+II des NKLM) in einem zweidimensionalen Blueprint für einen schriftlichen Test abzubilden. Um einen Blueprint für eine Prüfungszusammenstellung praktikabel zu machen, ist eine Begrenzung der Zahl der Zellen erforderlich. Hierzu erfolgte eine Gruppierung der Leistungsnachweise und der Gebiete des NKLM. Im Rahmen des IMS-Anwendertreffens im Januar 2013 wurden drei interfakultäre und interdisziplinäre Expertengruppen gebildet, die in einem ersten Schritt unabhängig voneinander die Aufgabe hatten, die Gebiete des NKLM in Clustern von „Kompetenzbereichen“ zusammenzustellen. In einem zweiten Schritt erhielten die Expertengruppen die Aufgabe, für die Leistungsnachweise der ÄAppO Cluster von „Fächergruppen“ zu bilden mit der zusätzlichen Bedingung, dass die Cluster jeweils vorklinische und klinische Fächer möglichst ausgewogen enthalten sollten.

Als Konsequenz für die Erstellung von MC-Fragen bedeutete der Blueprint somit, dass die MC-Fragen jeweils eine Fächergruppe und einen Kompetenzbereich integriert abbilden.

Rekrutierung der Studierenden

Die Rekrutierung der Studierenden erfolgte durch ein Anschreiben an alle Studiendekanate der medizinischen Fakultäten in Deutschland mit der Anfrage um Kooperation und Weiterleitung an interessierte Studierende an den jeweiligen Standorten. An der Entwicklung des Progresstest haben sich darauf hin zu Beginn 31 Studierende aus sieben medizinischen Fakultäten in Deutschland (Düsseldorf, Freiburg, Heidelberg, Magdeburg, Marburg, Tübingen, Witten-Herdecke) beteiligt. Daraus entwickelte sich ein studentisches Kernteam von 17 Studierenden aus fünf Fakultäten (Freiburg, Heidelberg, Magdeburg, Marburg, Witten-Herdecke). Dieses setzte sich aus Studierenden aus dem 3. bis 9. Semester zusammen. Allen aktiv beteiligten Studierenden wurde ein Vertrag als studentische Hilfskraft angeboten, um die Verbindlichkeit der Mitarbeit sicherzustellen. Dies wurde von den meisten Studierenden in Anspruch genommen.

Training der Studierenden

Die Studierenden erhielten im Zeitraum von Februar 2013 bis Oktober 2013 in insgesamt fünf 2-tägigen Workshops ein umfassendes Trainingsprogramm. Dies umfasste die Themen:

  • Kompetenzbasiertes Prüfen
  • CanMeds-Rollenmodell
  • Konzept des Progresstests
  • Blueprint des kompetenzorientierten Progresstests
  • formative und summative Prüfungen
  • Qualitätskriterien von MC-Fragen
  • Gruppenreview von MC-Fragen
  • Arbeiten mit dem ItemManagmentSystem

In den Arbeitsphasen hatten die Studierenden die Aufgabe, anhand des Blueprints passende MC-Fragen hinsichtlich Fächergruppen und Kompetenzbereiche zu entwickeln. Dies erfolgte zum Teil innerhalb der Workshops und zum Teil in selbstorganisierten standortübergreifenden Kleingruppen unter Einsatz einer eigenständigen und ausschließlich für den Progresstest bereitgestellten Plattform des ItemManagementSystems [https://www.ucan-assess.org/cms/de/tools/item-and-exam-management/, zuletzt geprüft am 14.12.2014]. Dies umfasste:

  • MC-Fragen-Erstellung
  • Gruppenreview
  • Überarbeitung der MC-Fragen
  • Re-Review

Während der Workshops fanden zur Qualitätssicherung Gruppenreviews gemeinsam mit Dozenten statt.

Der Prozess der MC-Fragen-Entwicklung für den formativen kompetenzorientierten Progresstests durch Studierende wurde von einem Team von engagierten Studierenden im Rahmen der Jahrestagung der Gesellschaft für medizinische Ausbildung, GMA 2013 in Graz vorgestellt [29].

MC-Fragen-Pool

Für den MC-Fragen-Pool des formativen kompetenzorientierten Progresstest wurden für die Pilotierung ausschließlich MC-Fragen (Typ A) verwendet. Der gesamte MC-Fragen-Pool wurde abschließend von Dozenten formal und inhaltlich gereviewt.

Pilotierung des formativen kompetenzorientierten Progresstests

Die Pilotstudie des formativen kompetenzorientierten Progresstests fand Ende November 2013 an acht medizinischen Fakultäten statt. Dies umfasste einerseits die am MERLIN-Projekt beteiligten medizinischen Fakultäten in Baden-Württemberg (Freiburg, Heidelberg, Mannheim, Tübingen und Ulm) sowie die drei weiteren medizinischen Fakultäten in Magdeburg, Marburg und Witten-Herdecke. Die Ankündigung und Anmeldung der Studierenden sowie die Durchführung des Progresstests vor Ort erfolgte selbständig seitens der beteiligten medizinischen Fakultäten. Die Federführung lag beim Kompetenzzentrum für Prüfungen in der Medizin / Baden-Württemberg der Medizinischen Fakultät Heidelberg.

Die Testzeit für 144 MC-Fragen betrug drei Stunden, wobei die Studierenden auch vor Ablauf der Testzeit den Progresstest beenden konnten.

Vor Beginn der Testdurchführung wurden die Studierenden standardisiert instruiert – analog zu einer „Don’t know option“ – MC-Fragen, die sie nicht beantworten können, nicht anzukreuzen, um Rateeffekte zu minimieren [3], [30].

Testgüte des Progresstests und Ergebnisse in Abhängigkeit vom Studienjahr

Für den Gesamttest und die nach den beiden Achsen des Blueprints definierten Teilbereiche der Fächergruppen und Kompetenzbereiche wurden die Reliabilitäten durch Bestimmung der internen Konsistenz (Cronbachs α) abgeschätzt. Um einen Vergleich zwischen den Reliabilitäten der aus unterschiedlich vielen Aufgaben bestehenden Skalen zu ermöglichen, wurde zusätzlich die auf Testlänge 1 normierte Reliabilität nach der Spearman-Brown-Formel bestimmt.

Der Anteil der korrekt und der nicht beantworteten Aufgaben („Don’t know“) wurden in Abhängigkeit vom Studienjahr der teilnehmenden Studierenden bestimmt.

Für die Kompetenzbereiche wurde eine Untersuchung der diskriminanten Validität vorgenommen. Hierzu erfolgte nach einer Hauptkomponentenanalyse der Daten [31] eine Diskriminanzanalyse der Aufgaben der einzelnen Kompetenzbereiche (eine eingehende Beschreibung des Vorgehens findet sich bei [32]).

Repräsentativität

Zur Repräsentativität ist anzumerken, dass die Teilnehmerstichprobe aufgrund der freiwilligen Teilnahme und der unterschiedlichen Rekrutierungswege nicht als repräsentativ angesehen werden kann. Inwieweit die erhobenen Daten damit einem Selektions-Bias unterliegen (z.B. ob eher erfolgreiche oder eher weniger erfolgreiche Studierende teilgenommen haben), kann im Rahmen der Pilotstudie nicht geklärt werden, da keine Vergleichsdaten von Teilnehmern und Nicht-Teilnehmern erhoben werden konnten.

Feedback zum formativen kompetenzorientierten Progresstest

Für den formativen kompetenzorientierten Progresstest wurde ein Feedbackverfahren entwickelt, mit dem einerseits den Studierenden ein Leistungsstand in ihrem Studium zurückgemeldet und andererseits den Fakultäten eine Übersicht der jeweiligen Studienjahre geben wird:

1.
Die teilnehmenden Studierenden erhielten ein individuelles Feedback in Bezug auf ihren Leistungsstand im Studium im Vergleich zur Kohorte des Studienjahres am eigenen Standort sowohl summarisch als auch differenziert nach Fächergruppen und Kompetenzbereichen (ein exemplarisches Feedback ist online einsehbar [https://www.ucan-assess.org/cms/de/networks/studentischer-progresstest/, zuletzt geprüft am 14.12.2014]).
2.
Die Fakultäten erhielten ein Feedback zu den Studienjahrkohorten am Standort sowohl summarisch als auch differenziert nach Fächergruppen und Kompetenzbereichen.

Von Vergleichen zwischen den teilnehmenden medizinischen Fakultäten wurde aufgrund der unterschiedlichen Ausgestaltung der jeweiligen Curricula sowie der nicht anzunehmenden Repräsentativität der Teilnehmer abgesehen.

Evaluation

Die Evaluation des formativen kompetenzorientierten Progresstests wurde seitens der MERLIN-Projektpartner der Medizinischen Fakultät Freiburg im „Kompetenzzentrum Evaluation in der Medizin Baden-Württemberg“ der Universität Freiburg entwickelt. Alle Studierenden beantworteten direkt nach der Durchführung des Progresstests einen kurzen Fragebogen mit 11 Fragen zum Progresstest.


Ergebnisse

Blueprint des kompetenzorientierten Progresstests

Aus dem Konsensprozess der Expertenrunde resultierte ein zweidimensionaler Blueprint. Dieser clustert die 17 relevanten Gebiete des NKLM in fünf gewichtete Fächergruppen und die 55 Leistungsnachweise der ÄAppO in acht gewichtete Kompetenzbereiche (siehe Tabelle 1 [Tab. 1]). Der Blueprint enthält 144 Items, um sowohl der Gewichtung als auch einer angemessenen Bearbeitungszeit Rechnung zu tragen (siehe Abbildung 2 [Abb. 2]).

MC-Fragen-Erstellung durch Studierende

Die Studierenden erstellten für die Pilotstudie 207 gereviewte MC-Fragen, diese deckten 118 der 144 MC-Fragen des Blueprints ab. Beispiele von MC-Fragen, die gemäß Blueprint jeweils eine Fächergruppe und einen Kompetenzbereich integriert abbilden, sind in Tabelle 2 [Tab. 2] dargestellt.

Abbildung 3 [Abb. 3] zeigt, dass aber insbesondere für den Kompetenzbereich C (Wissenschaftskompetenz) und in Teilen auch für den Kompetenzbereich A (kommunikative Kompetenz) zu wenig MC-Fragen erstellt werden konnten. Die zur Abdeckung des Blueprints zusätzlich erforderlichen 26 MC-Fragen wurden von Dozenten ergänzt.

Pilotstudie: Teilnehmende Studierende

An der Pilotstudie des formativen kompetenzorientierten Progresstests Ende November 2013 an acht medizinischen Fakultäten nahmen insgesamt 469 Studierende teil. Die Anzahl der Studierenden pro Fakultät bzw. pro Studienjahr unterlag hohen Schwankungen (siehe Tabelle 3 [Tab. 3]).

Ergebnisse der MC-Fragen
Qualität der MC-Fragen

Alle MC-Fragen wurden einem Postreview unterzogen und nach statistischen Kennwerten bewertet. Von den insgesamt 144 MC-Fragen, die auch 26 MC-Fragen von Dozenten umfassten, wurden 31 MC-Fragen aufgrund auffälliger statistischer Kennwerte in Bezug auf die Aufgabenschwierigkeit (P≤0.40 bzw. P≥0.85) und die korrigierte Trennschärfe (r‘≤0.20) überprüft, wobei als korrigierte Trennschärfe die Produkt-Moment-Korrelation der Punktzahl der Aufgabe mit der Summe der Punktzahl aller anderen Aufgaben verwendet wurde. Nach weiterem inhaltlichen Review der statistisch auffälligen MC-Fragen durch Fachexperten, wurde bei fünf MC-Fragen je eine zusätzliche Antwort als korrekt gewertet, davon wurden drei MC-Fragen von Studierenden und zwei MC-Fragen von Dozenten erstellt. Vier MC-Fragen, die von Studierenden erstellt wurden, wurden aus der Wertung genommen. Insgesamt gingen 140 MC-Fragen in die Auswertung ein.

Kennwerte der Prüfung

Es wurden im Mittel 69,38 Punkte von 140 möglichen Punkten erzielt (SD=23,69). Die Schwierigkeit des gesamten Tests lag damit bei P=0,496.

Reliabilität

Die Reliabilität des gesamten Progresstests (n=140) lag bei α=0,954 (Cronbachs α). Die Gesamt-Reliabilität, die Reliabilität differenziert nach Fächergruppen und Kompetenzbereiche sowie die Reliabilität nach Studienjahr sind in Tabelle 4 [Tab. 4] dargestellt.

Don’t Know-Option

Aufgrund der standardisierten Instruktion zur „Don’t know“-Option während der Einführung des Progresstests, die alle teilnehmenden Studierenden erhalten hatten, wurden alle Nicht-Beantwortungen von MC-Fragen als „Don’t know“-Beantwortungen interpretiert.

Erzielte Punktwerte

Die Anzahl der richtigen Antworten steigt mit zunehmendem Studienjahr kontinuierlich an (siehe Abbildung 4 [Abb. 4]). Dies zeigt sich in der Gesamtbetrachtung der richtigen Antworten (1. Studienjahr: 22,02% bis 6. Studienjahr: 66,67%) und auch in der differenzierten Betrachtung nach Fächergruppen und der Kompetenzbereiche (siehe Abbildung 5 [Abb. 5] und Abbildung 6 [Abb. 6]). Ebenso verringert sich die Anzahl der „Don’t Know“-Antworten mit zunehmendem Studienjahr. Die Anzahl falscher Antworten steigt mit zunehmendem Studienjahr zwar absolut leicht an, in Relation zur den jeweils beantworteten Fragen („Anteil Falsch“) nimmt sie aber mit zunehmendem Studienjahr ab.

Evaluation

An der Evaluation nahmen insgesamt 463 Studierende teil (98,7%), davon 284 (61,3%) weibliche Studierende, 162 (35,0%) männliche Studierende. 17 Studierende machten keine Angabe zum Geschlecht. Das Alter der teilnehmenden Studierenden lag im Mittel bei 24,56 Jahren (SD=3,30). Die Ergebnisse der 11 Items sind in Tabelle 5 [Tab. 5] dargestellt.


Diskussion

Die multifakultäre Pilotstudie zeigt, wie das Prüfungsformat „formativer Progresstests“ als kompetenzorientierte Prüfung entwickelt und eingesetzt wurde. Die inhaltliche Clusterung der 55 Leistungsnachweise nach der ÄAppO sowie der 17 Arbeitspakte des NKLM in einen zweidimensionalen Blueprint mit acht Fächergruppen und fünf Kompetenzbereichen erweist sich als ein praktikables Instrument zur Entwicklung von MC-Fragen für den kompetenzorientierten Progresstest.

Die positiven Erfahrungen mit der Integration von Studierenden in die medizinische Ausbildung konnten auch in dieser Studie gezeigt werden. Die Beteiligung von Studierenden an der Entwicklung des Progresstests, der Erstellung der MC-Fragen und der Durchführung der Pilotstudie an acht medizinischen Fakultäten war praktikabel und erfolgreich.

Allerdings ergaben sich in der Vorbereitung zur Pilotstudie auch Limitationen bei der Erstellung von MC-Fragen durch Studierende. Wie Abbildung 3 [Abb. 3] zeigt, konnten die Studierende insbesondere für den Kompetenzbereich C („Wissenschaftskompetenz“) und in Teilen für den Kompetenzbereich A („Kommunikative Kompetenz“) nicht genügend MC-Fragen erstellen. Dies mag darauf hinweisen, dass es den Studierenden in der Vorbereitung auf den Piloteinsatz noch nicht gelungen ist, diese Kompetenzbereiche hinreichend in ihrem Studium wieder zu erkennen bzw. hinreichend gute Szenarien dafür zu erdenken, weshalb eine intensivere Schulung zu diesen Kompetenzbereichen zu erfolgen hat. Vergleicht man dies mit der Anzahl von Fragen zu den Kompetenzbereichen B („klinisch-praktische Kompetenz“) und E („klinisch-theoretische Kompetenz“), so zeigt sich, dass dort meist überproportional viele MC-Fragen erstellt wurden, da diese Kompetenzbereiche in Kombination mit den Fächergruppen, ggf. mehr „klassische“ MC-Fragen erlauben.

Das Erstellen von MC-Fragen durch geschulte Studierende auf Basis des Blueprints führte insgesamt zu einer hohen Qualität der MC-Fragen, was die niedrige Anzahl von 5 korrigierten bzw. 4 ausgeschlossenen MC-Fragen von 144 MC-Fragen aufgrund des Postreviews zeigen. Insgesamt ist allerdings anzumerken, dass die Schwierigkeit der von Studierenden entwickelten MC-Fragen mit P=0,496 in Bezug auf alle Studienjahre und P=0,667 für das 6. Studienjahr für die Pilotstudie als zu hoch anzusehen ist.

Insgesamt weist der formative kompetenzorientierte Progresstest eine sehr hohe Reliabilität auf. Ebenso sind die Reliabilitäten bezogen auf die Fächergruppen und die Kompetenzbereiche und auch innerhalb der Studienjahre ausreichend hoch.

Als wesentliches Ergebnis ist festzuhalten, dass der formative kompetenzorientierte Progresstest den Wissensfortschritt in der Querschnittbetrachtung über alle Studienjahre hinweg anzeigt [33], [34]. Dies gilt sowohl in der Gesamtbetrachtung des Progresstests als auch hinsichtlich der Fächergruppen und Kompetenzbereiche. Die Anzahl der richtigen Antworten nimmt kontinuierlich zu, wobei die Anzahl der „Don’t know“-Antworten und auch der Anteil falscher Antworten in Relation auf die beantworteten MC-Fragen kontinuierlich abnimmt. Letzteres scheint darauf hinzudeuten, dass Studierende beantwortbare MC-Fragen mit ansteigendem Studienjahr sicherer auswählen können.

Somit zeigt diese Studie, dass sich die theoretischen Wissensaspekte als Basis von Kompetenzen (im Sinne der Kompetenztreppe nach North [27] oder der Kompetenzpyramide nach Miller [28]) in einem kompetenzorientierten Progresstest mit MC-Fragen von Studierenden abbilden lassen. Allerdings sind in dem vorliegenden kompetenzorientierten Progresstest die Kompetenzen damit auch nur in ihren Wissensaspekten erfasst.

So ist zukünftig nachzuweisen, ob eine Kompetenzorientierung mit Prüfungsfragen von Studierenden auch mit anderen Prüfungsformaten gelingt, die Kompetenzen auf eine höheren Level prüfen, wie dies etwa unter Einsatz von Key Feature-Fragen, Situational-Judgement-Test-Fragen für das Assessment von professionellem Verhalten [35], [36] oder OSCE möglich ist.

Auch sind in Bezug auf die Weiterentwicklung des kompetenzorientieren Progresstests Aspekte des verwendeten Konzepts der Kompetenzbasierung und des darauf basierenden Blueprints zu diskutieren. So konnte bei der Untersuchung der diskriminanten Validität der fünf Kompetenzcluster bereits nachgewiesen werden, dass diese Cluster sich auch in den empirischen Ergebnissen abbilden und damit eine Differenzierung nach diesen Gruppen bei Auswertung und Rückmeldung an Studierende und Fakultäten sinnvoll ist [32] (siehe Tabelle 6 [Tab. 6]).

Die Evaluation des Piloteinsatzes an acht medizinischen Fakultäten zeigt (siehe Tabelle 5), dass die Studierenden sehr motiviert waren, am Progresstest teilzunehmen und dieses Prüfungsformat kennen zu lernen. Die Studierenden wünschen sich einerseits den Progresstest als festen Bestandteil des Studienangebots sowie andererseits hilfreiche bzw. insgesamt mehr Rückmeldung über ihren Leistungsstand im Medizinstudium (Fragen 1, 2, 7, 8 und 10). Da der Progresstest als freiwilliger formativer Test angeboten wurde, waren die hohen Werte zu erwarten. Die Fragen zur Durchführung des Progresstest (Fragen 4 und 5) wurden insgesamt positiv beantwortet, wobei bei der Vorinformation der Studierenden zum Konzept des Progresstests (Frage 3) gewisse Abstriche zu machen sind. Zur Ausrichtung des Progresstests gaben die Studierenden ein deutliches Votum, dass der Progresstest aus Sicht der Studierenden als formativer Test stattfinden soll (Frage 9). Mehrheitlich wird von den Studierenden dabei ein Turnus von 1mal jährlich favorisiert (Frage 11). Die Studierenden sehen im Progresstest jedoch nur bedingt einen Test mit unmittelbarem Lerneffekt, was aufgrund der Testkonstruktion als Feedback-Instrument erwartungsgemäß war (Frage 6). Sieht man diese Frage im Zusammenhang mit dem Wunsch nach mehr hilfreichem Feedback zum Leistungsstand im Studium (Frage 7), so zeigt dies die zukünftige Richtung der Entwicklung von Feedbacks an Studierende an. Zwar ist aufgrund der reinen Teilnahme am Progresstest kein direkter Lerneffekt zu erwarten. Allerdings bietet das Feedback Lernmöglichkeiten in zweierlei Weise an. Durch Detailfeedback zu Einzelbeantwortungen der einzelnen Items kann das im Progresstest abgefragte fachliche Wissen nachträglich gelernt werden. Noch interessanter erscheint darüber hinaus das Feedback in Bezug zu den Fächergruppen und Kompetenzbereichen, das teilnehmende Studierenden dazu nutzen können, die Ausrichtung ihres Studiums mit Schwerpunktsetzungen bei Stärken und Schwächen zu steuern.


Ausblick

Aufgrund der Resultate des multifakultären Piloteinsatzes des formativen kompetenzorientierten Progresstests mit MC-Fragen von Studierenden werden die Weiterentwicklung und der weitere Einsatz dieses Prüfungsformats unter direkter Beteiligung von Studierenden angestrebt. Im Fokus der Weiterentwicklung sind dabei das Feedback an die teilnehmenden Studierenden, die Art der Prüfungsdurchführung (z.B. als online-basierter Test) sowie die Ergänzung um weitere Fragen- und Prüfungsformate (z.B. Key Feature-Fragen, Situational-Judgement-Test-Fragen und OSCE), welche insbesondere die Kompetenzorientierung auf einem höheren Level abbilden können, als dies mit MC-Fragen möglich ist.


Interessenkonflikt

Die Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.


Literatur

1.
Van der Vleuten CP, Verwijnen GM, Wijnen WH. Fifteen years of experience with progress testing in a problem-based learning curriculum. Med Teach. 1996;18(2):103-109. DOI: 10.3109/01421599609034142 Externer Link
2.
Nouns ZM, Georg W. Progress testing in German speaking countries. Med Teach. 2010;32(6):467-70. DOI: 10.3109/0142159X.2010.485656 Externer Link
3.
Wrigley W, van der Vleuten CP, Freeman A, Muijtjens A. A systemic framework for the progress test: strengths, constraints and issues: AMEE Guide No. 71. Med Teach. 2012;34(9):683–697. DOI: 10.3109/0142159X.2012.704437 Externer Link
4.
Schuwirth LW, van der Vleuten CP. The use of progress testing. Perspect Med Educ. 2012;1(1):24–30. DOI: 10.1007/s40037-012-0007-2 Externer Link
5.
Finucane P, Flannery D, Keane D, Norman G. Cross-institutional progress testing: Feasibility and value to a new medical school. Med Educ. 2010;44(2):184-186. DOI: 10.1111/j.1365-2923.2009.03567.x Externer Link
6.
Topping K. The Effectiveness of Peer Tutoring in Higher and Further Education: A Typology and Review of the Literature. High Educ. 1996;32(3):321–345. DOI: 10.1007/BF00138870 Externer Link
7.
Topping K, Ehly S. Peer-assisted learning. Mahwah NJ: Lawrence Erlbaum Associates; 1998.
8.
Erlich DR, Shaughnessy AF. Student–teacher education programme (STEP) by step: Transforming medical students into competent, confident teachers. Med Teach. 2014;36(4):322-332. DOI: 10.3109/0142159X.2014.887835 Externer Link
9.
Weyrich P, Celebi N, Schrauth M, Möltner A, Lammerding-Köppel M, Nikendei C. Peer-assisted versus faculty staff-led skills laboratory training: A randomised controlled trial. Med Educ. 2009;43(2):113-120. DOI: 10.1111/j.1365-2923.2008.03252.x Externer Link
10.
Silbert B, Lake FR. Peer-assisted learning in teaching clinical examination to junior medical students. Med Teach. 2012;34(5):392-397. DOI: 10.3109/0142159X.2012.668240 Externer Link
11.
Nestel D, Kidd J. Peer assisted learning in patient-centred interviewing: The impact on student tutors. Med Teach. 2005;27(5):439-444. DOI: 10.1080/01421590500086813 Externer Link
12.
Saleh M, Sinha Y, Weinberg D. Using peer-assisted learning to teach basic surgical skills: medical students' experiences. Med Educ Online. 2013;18:10.3402/meo.v18i0.21065. DOI: 10.3402/meo.v18i0.21065 Externer Link
13.
Nikendei C, Andreesen S, Hoffmann K, Jünger J. Cross-year peer tutoring on internal medicine wards: Effects on self-assessed clinical competencies - a group control design study. Med Teach. 2009;31(2):32-35. DOI: 10.1080/01421590802464452 Externer Link
14.
Ringel N, Maatouk-Bürmann B, Fellmer-Drüg E, Roos M, Herzog W, Nikendei C, Wischmann T, Weiss C, Eicher C, Engeser P, Schultz JH, Jünger J. Integriertes Peer Teaching klinischer und kommunikativer Kompetenzen – Wie bereiten wir studentische Tutoren darauf vor? Psychother Psychosom Med Psychol. 2015. DOI: 10.1055/s-0034-1398549 Externer Link
15.
Baillie S, Shore H, Gill D, May SA. Introducing peer-assisted learning into a veterinary curriculum: A trial with a simulator. J Vet Med Educ. 2009;36(2):174-179. DOI: 10.3138/jvme.36.2.174 Externer Link
16.
Ten Cate O, Durning S. Dimensions and psychology of peer teaching in medical education. Med Teach. 2007;29(6):546-552. DOI: 10.1080/01421590701583816 Externer Link
17.
Jünger J, Schultz JH, Schönemann J, Wagener S, Drude N, Duelli R, Resch F, Narciß E. Peer-assisted learning: A planning and implementation framework. Guide supplement 30.6 - practical application. Med Teach. 2009;31(1):55-56. DOI: 10.1080/01421590802298181 Externer Link
18.
Ten Cate O. AMEE Guide Supplements: Peer-assisted learning: A planning and implementation framework. Guide supplement 30.5–Viewpoint1. Med Teach. 2009;31(1):57-58. DOI: 10.1080/01421590802298173 Externer Link
19.
Green DH. Student-generated exams: testing and learning. J Market Educ. 1997;19(2):43-53. DOI: 10.1177/027347539701900205 Externer Link
20.
Palmer E, Devitt P. Constructing multiple choice questions as a method for learning. Ann Acad Med Singapore. 2006;35(9):604-608.
21.
Gooi AC, Sommerfeld CS. Medical school 2.0: How we developed a student-generated question bank using small group learning. Med Teach. 2014;13:1-5. DOI: 10.3109/0142159X.2014.970624 Externer Link
22.
McLeod PJ, Snell L. Student-generated MCQs. Med Teach. 1996;18(1):23-25. DOI: 10.3109/01421599609040257 Externer Link
23.
Baerheim A, Meland E. Medical students proposing questions for their own written final examination: evaluation of an educational project. Med Educ. 2003;37(8):734-738. DOI: 10.1046/j.1365-2923.2003.01578.x Externer Link
24.
Denny P, Luxton-Reilly A, Simon B. Quality of student contributed questions using PeerWise. In: Hamilton M, Clear T (Hrsg). Proc. 11th Australasian computing education conference - Volume 95. Darlinghurst: Australian Computer Society, Inc.; 2009. S.55-63.
25.
Frank JR, Snell LS, Cate OT, Holmboe ES, Carraccio C, Swing SR, Harris P, Glasgow NJ, Campbell C, Dath D, Harden RM, Iobst W, Long DM, Mungroo R, Richardson DL, Sherbino J, Silver I, Taber S, Talbot M, Harris KA. Competency-based medical education: theory to practice. Med Teach. 2010;32(8):638–645. DOI: 10.3109/0142159X.2010.501190 Externer Link
26.
Morcke AM, Dornan T, Eika B. Outcome (competency) based education: An exploration of its origins, theoretical basis, and empirical evidence. Adv Health Sci Educ. 2013;18(4):851-863. DOI: 10.1007/s10459-012-9405-9 Externer Link
27.
North K, Reinhardt K. Kompetenzmanagement in der Praxis. Wiesbaden: Gabler; 2005. DOI: 10.1007/978-3-322-84634-1 Externer Link
28.
Miller GE. The assessment of clinical skills/competence/performance. Acad Med. 1990;65(9 Suppl.):63-67. DOI: 10.1097/00001888-199009000-00045 Externer Link
29.
Better J, Fries M, Gottschalk M, Günther J, Illg C, Jassowicz A, Kreisel C, Kwakmann S, Maier P, Moliere F, Moczko T, Niesert M, Speck H, Strübing F, Zelienka I, Wagener S, Schultz JH, Jünger J. Entwicklung eines formativen kompetenzbasierten Progresstests durch Studierende. Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Graz, 26.-28.09.2013. Düsseldorf: German Medical Science GMS Publishing House; 2013. DocS02_02. DOI: 10.3205/13gma299 Externer Link
30.
Burton RF. Misinformation, partial knowledge and guessing in true/false tests. Med Educ. 2002;36(9):805–811. DOI: 10.1046/j.1365-2923.2002.01299.x Externer Link
31.
Yong AG, Pearce S. A Beginner's Guide to Factor Analysis: Focusing on Exploratory Factor Analysis. Tut Quant Method Psychol. 2013;9(2):79-94.
32.
Möltner A, Tımbıl S, Wagener S, Jünger J. Strukturanalyse des Studentischen Progress-Tests: Reliabilität und diskriminante Validität von Kompetenzbereichen. GMS Z Med Ausbild., 2015;32(4):Doc42. DOI: 10.3205/zma000984 Externer Link
33.
Dijksterhuis MG, Scheele F, Schuwirth LW, Essed GG, Nijhuis JG, Braat DD. Progress testing in postgraduate medical education. Med Teach. 2009;31(10):e464–e468. DOI: 10.3109/01421590902849545 Externer Link
34.
Dijksterhuis MG, Schuwirth LW, Braat DD, Scheele F. An exploratory study into the impact and acceptability of formatively used progress testing in postgraduate obstetrics and gynaecology. Perspect Med Educ. 2013;2(3):126–141. DOI: 10.1007/s40037-013-0063-2 Externer Link
35.
Metcalfe D, Dev H. Situational Judgement Test. 2nd ed. Oxford: Oxford University Press.; 2014.
36.
Foucault A, Dubé S, Fernandez N, Gagnon R, Charlin B. Learning medical professionalism with the online concordance-of-judgment learning tool (CJLT): A pilot study. Med Teach. 2014;22(Oct):1-6. DOI: 10.3109/0142159X.2014.970986 Externer Link