gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

Empfehlungen der Gesellschaft für Medizinische Ausbildung und des Medizinischen Fakultätentags für fakultätsinterne Leistungsnachweise während des Studiums der Human-, Zahn- und Tiermedizin

Empfehlung Medizin

Suche in Medline nach

  • corresponding author Jana Jünger - Für den GMA-Ausschuss Prüfungen, Heidelberg, Deutschland
  • corresponding author Ingo Just - Für die Arbeitsgruppe Prüfungen des Medizinischen Fakultätentags, Hannover, Deutschland

GMS Z Med Ausbild 2014;31(3):Doc34

doi: 10.3205/zma000926, urn:nbn:de:0183-zma0009261

Dieses ist die deutsche Version des Artikels.
Die englische Version finden Sie unter: http://www.egms.de/en/journals/zma/2014-31/zma000926.shtml

Eingereicht: 9. Mai 2014
Überarbeitet: 1. Juli 2014
Angenommen: 2. Juli 2014
Veröffentlicht: 15. August 2014

© 2014 Jünger et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielfältigt, verbreitet und öffentlich zugänglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Zusammenfassung

Die Praxis der Leistungserfassung bei Studierenden der Human-, Zahn- und Tiermedizin an Hochschulen und Universitäten im deutschsprachigen Raum hat in der letzten Dekade bedeutende Änderungen erfahren. Die Betonung der praktischen Anforderungen an die ärztliche Tätigkeit in der Ausbildung weg von einer oft theoriedominierten Lehre, die wissenschaftliche Auseinandersetzung mit den Grundlagen der Vermittlung von ärztlichem Wissen und Fertigkeiten sowie geänderte gesetzliche Rahmenbedingungen erfordern einen stetigen Anpassungsprozess von Lehre und der Art und Weise, Prüfungen im Medizinstudium durchzuführen. Um hier Qualitätsstandards zu etablieren, wurden im Jahr 2008 von der Gesellschaft für medizinische Ausbildung Empfehlungen zur Durchführung fakultätsinterner Prüfungen verabschiedet, die nunmehr einer Aktualisierung unterzogen wurden und gemeinsam vom Ausschuss Prüfungen der GMA mit dem Medizinischen Fakultätentag (MFT) als Empfehlungen für die Durchführung qualitativ hochwertiger Prüfungen verabschiedet wurden.

Schlüsselwörter: Empfehlungen, Prüfungen


Einleitung

Diese Empfehlungen für fakultätsinterne Prüfungen sind an alle Mitarbeiterinnen und Mitarbeiter1 der human-, zahn- und tiermedizinischen Fakultäten in Deutschland, Österreich und der Schweiz gerichtet, die mit der Planung, Durchführung und Auswertung von fakultätsinternen Prüfungen betraut sind, also Dozentinnen und Dozenten, Studiendekanate und aufgrund der engen Verzahnung von Prüfungen und Lehre auch Curriculumsentwickler und Lehrverantwortliche. Die Empfehlungen beinhalten Qualitätsstandards, die u. a. für eine objektive, zuverlässige, valide – und damit justitiable – Prüfung Voraussetzung sind. In Form einer Checkliste geschrieben, sollen die Empfehlungen als praktisches Arbeitsinstrument zur Organisation von Prüfungen dienen.


Hintergrund

Im Jahr 2008 legte der GMA-Ausschuss Prüfungen gemeinsam mit dem Kompetenzzentrum für Prüfungen in der Medizin Baden-Württemberg „Leitlinien für fakultätsinterne Leistungsnachweise in der Medizin“ vor [1]. Diese sollten dabei helfen, konsentierte Qualitätsstandards für die durch die Neufassung der Ärztlichen Approbationsordnung des Jahres 2002 erforderlichen Prüfungen an den medizinischen Fakultäten in Deutschland zu etablieren, die den international anerkannten Ansprüchen an qualitativ hochwertige Verfahren der Leistungserfassung genügen (z. B. [2], [3], [4]). Ihre Bedeutung zeigt sich an verschiedenen Publikationen zu Prüfungsformaten und der Qualität universitärer Prüfungen, die auf dem Hintergrund dieser Empfehlungen entstanden [5], [6], [7].

Die wesentliche Bedeutung von Leistungsrückmeldungen und Leistungserfassungen und ihrer lernsteuernden Wirkung für die medizinische Ausbildung und die daraus folgende Notwendigkeit einer systematischen Einbindung des Prüfungsgeschehens in das Curriculum („constructive alignment“, „programmatic assessment“ [8], [9], [10], [11], [12]) sind allgemein anerkannt, ihre praktische Umsetzung ist vielfach jedoch noch defizitär. Dies gilt insbesondere bei Lehrinhalten, die über die traditionell vorherrschende Vermittlung von medizinischem Expertenwissen hinausgehen, wie sie etwa im CanMEDS-Rollenmodell der ärztlichen Tätigkeiten beschrieben sind. Auf der Grundlage dieses Rollenmodells werden im Schweizer Lernzielkatalog und dem sich in Entwicklung befindenden „Nationalen kompetenzbasierten Lernzielkatalogs Medizin“ (NKLM) [13] in Deutschland die erforderlichen Qualifikationen und Kompetenzen der ärztlichen Ausbildung definiert.

Diese Entwicklungen in den Anforderungen an die ärztliche Ausbildung müssen sich somit auch in den Verfahren zur Leistungserfassung spiegeln, neue Prüfungsformate und -methoden zur Erfassung der für die Ausübung des ärztlichen Berufs erforderlichen Qualifikationen und Kompetenzen müssen entwickelt und eingesetzt werden. Für die Praxis der Prüfungen in der medizinischen Ausbildung bedeutet dies, dass häufiger verschiedene Prüfungsformen kombiniert werden, formative Prüfungen im Vergleich zu summativen Prüfungen einen breiteren Raum einnehmen [12], sowie kriteriumsorientierte Bewertungen einen höheren Stellenwert aufweisen sollten. Dem soll die vorliegende Aktualisierung der Empfehlungen von 2008 Rechnung tragen. Insbesondere ist dabei sicherzustellen, dass an innovative Prüfungsformen die gleichen Qualitätsansprüche bezüglich Messzuverlässigkeit und Aussagekraft gestellt werden wie an traditionelle Prüfungsmethoden.

Schwerpunkt der Empfehlungen sind nach wie vor Prüfungen, die zur Erlangung von Leistungsnachweisen an den medizinischen Fakultäten erbracht werden müssen. Solche „summativen oder bilanzierenden Beurteilungen bezwecken die abschließende Ermittlung eines Lernstands“ [14]. Die formalen – insbesondere gesetzlichen – Anforderungen an rein formative Prüfungen sind i. A. deutlich geringer, für die inhaltliche Qualität der Aufgaben gelten jedoch die gleichen Ansprüche wie bei summativen Prüfungen.

Den Verfassern dieser Empfehlungen ist bewusst, dass eine vollständige Umsetzung die medizinischen Fakultäten vor erhebliche organisatorische und personelle Probleme stellt, die nur mittel- oder sogar längerfristig zu bewältigen sind. Dennoch zeigen Beispiele an den medizinischen Fakultäten, dass sämtliche Punkte der Empfehlungen erfüllbar sind. Die Fakultäten sind deshalb aufgerufen, in einem kontinuierlichen Prozess die Qualität ihrer Leistungserfassungen und -bewertungen zu verbessern. Um dies zu unterstützen, ist vorgesehen, durch den Ausschuss Prüfungen der GMA beispielgebende praktische Ansätze zu Umsetzungen der Anforderungen der vorliegenden Empfehlungen zu veröffentlichen.


Aktualisierung der Empfehlungen

Auf Grund der oben erwähnten Entwicklungen wurde vom Ausschuss Prüfungen der GMA im Jahr 2012 eine Aktualisierung der Empfehlungen aus dem Jahr 2008 beschlossen. Im Rahmen der „International Conference in competency-based Assessment“ in Heidelberg am 04.07.2012 wurden erste Verbesserungsvorschläge (vgl. [15]) entworfen und in einer weiteren Sitzung am 27.09.2012 bei der Jahrestagung der GMA in Aachen gemeinsam mit der Arbeitsgruppe Prüfungen des MFT die Themenbereiche 1-4 der Empfehlungen (Allgemeine strukturelle Vorbedingungen, Prüfungskonzeption und -bewertung, organisatorische Vorbereitungen zur Prüfungsdurchführung, Durchführung der Prüfung) eingehend diskutiert und Verbesserungen erarbeitet. Eine weitere Diskussion sowie die Behandlung der Themenbereiche 5-7 (Auswertung und Dokumentation, Rückmeldung an die Studierenden, Prüfungsnachbereitung) erfolgten auf der Sitzung des Ausschusses Prüfungen der GMA und der AG Prüfungen des MFT während der GMA-Tagung am 26.9.2013 in Graz. Nach der Einarbeitung der dort beschlossenen Veränderungen wurde die Aktualisierung in einem Umlaufverfahren weiter ergänzt. Im Januar 2014 erfolgte eine externe juristische Prüfung2 dieser Version durch eine auf Prüfungsrecht spezialisierte Kanzlei in Hannover. Die daraus erwachsenen Änderungen wurden Anfang Februar 2014 eingearbeitet und am 11.2.2014 in einer Sitzung des Ausschusses Prüfungen der GMA diskutiert. Noch offene Punkte wurden auf dieser Sitzung geklärt und eingearbeitet. Die Empfehlungen wurden sowohl in der Arbeitsgruppe Lehre des Medizinischen Fakultätentags (MFT) und dem Vorstand der GMA im Mai 2014 vorgestellt und verabschiedet. Sowohl MFT und GMA unterstützen die Empfehlungen, die Leitliniencharakter haben.


Erläuterung zur neuen Version der Empfehlungen

Die erste Version der Empfehlungen [1] bestand aus den als Checkliste formulierten Einzelpunkten und zugehörigen nummerierten Erläuterungen. Um die Lesbarkeit zu erleichtern, sind in dieser Version die einzelnen Punkte der Empfehlungen mit entsprechenden Erläuterungen als fortlaufender Text formuliert, eine zusätzliche Checkliste befindet sich im Anhang. Die in der Checkliste aufgelisteten Einzelkriterien sind im folgenden Text jeweils kursiv gesetzt (siehe Anhang [Anh. 1]).


1. Allgemeine strukturelle Vorbedingungen: Inhaltliche und formale Voraussetzungen

Die strukturellen Vorbedingungen umfassen Kriterien, die die curriculare Einbindung der Lehrveranstaltung(en), auf die sich die Prüfungen beziehen, gewährleisten sollen, formale Anforderungen zur Information der Studierenden und Regularien sowie Qualifizierung der Prüfungsverantwortlichen. Sie beziehen sich damit nicht auf Vorbereitung oder Durchführung einer konkreten Prüfung sondern betreffen die Rahmenbedingungen, die für qualitativ hochwertiges Prüfen erforderlich sind.

1.1. Gesamtprüfungsprogramm

Ein Gesamtprüfungsprogramm, in dem Anzahl, Umfang, Inhalt, zeitlicher Ablauf und Format der im Medizinstudium durchzuführenden summativen wie formativen Einzelprüfungen aufeinander abgestimmt sind, liegt allen Studierenden und Lehrenden vor.

Die an der Fakultät bzw. im Studiengang Medizin/Zahnmedizin/Tiermedizin verwendbaren Prüfungsformen sollten in den entsprechenden formalen Regelungen (Studienordnung, Prüfungsordnung oder in geeigneten Ausführungsbestimmungen) aufgeführt und hinsichtlich ihrer Durchführung und Bewertung festgelegt sein. Dabei ist Sorge zu tragen, dass die Bestimmungen hinreichend Raum für die Etablierung innovativer Prüfungsformen bieten.

Es ist darauf zu achten, dass die Prüfungsinhalte mit adäquaten Prüfungsformen, die sowohl Methoden zur Leistungserfassung theoretischer Kenntnisse wie auch praktischer Fertigkeiten beinhalten, abgeprüft werden („Triangulation“: Leistungserfassung auf Basis unterschiedlicher Quellen, zu unterschiedlichen Zeitpunkten, unter unterschiedlichen Bedingungen, durch verschiedene Personen und mit unterschiedlichen Methoden [16], [17]). Z. B. können theoretische Kenntnisse mit schriftlichen Klausuren, praktische Prüfungsinhalte mit objektiv-strukturierten praktischen/klinischen Prüfungen (OSPE/OSCE) angemessen erfasst werden. Die Prüfungsformen sollten den jeweiligen Qualitätsanforderungen an Objektivität, Reliabilität (Zuverlässigkeit) und Validität (Gültigkeit) genügen. Basiert die Leistungsbewertung auf verschiedenen Prüfungsteilen, so bezieht sich die Anforderung an die Messzuverlässigkeit auf die Gesamtprüfung, nicht notwendigerweise auf die einzelnen Teile (siehe auch Erläuterung zu 2.6).

Um die Studierenden bestmöglich auf ihre spätere ärztliche Berufsausübung vorzubereiten, sind in die curricularen Lernziele Kompetenzen aufzunehmen, die wesentlich über medizinisches Expertenwissen und fachlichen Fertigkeiten hinausgehen. Damit ist es aber auch erforderlich, geeignete Prüfungsformen und Strukturen zu entwickeln, die eine angemessene, zuverlässige und praktikable Leistungserfassung dieser Kompetenzen ermöglichen. Dies bedingt den Einsatz neuer Prüfungsformen, insbesondere arbeitsplatzbasierter Prüfungsformen, wie z. B. DOPS, Encounter-Cards oder 360°-Assessment, zur Erfassung von kommunikativen Kompetenzen, professionellem Handeln, Managementfähigkeiten. Besondere Beachtung erfordert die Qualitätssicherung dieser Prüfungsformate, so ist etwa im Vorfeld eine ausreichende Schulung der Prüfer sicherzustellen oder bei der Analyse der Prüfungsergebnisse zur Kontrolle der bei arbeitsplatzbasierten Leistungserfassungen geringeren Standardisierbarkeit der Prüfungssituation der Einsatz angemessener Auswerteverfahren (z. B. Generalisierbarkeitstheorie) vorzusehen.

Die Leistungsmessung bei nichtfachspezifischen Lernzielen ist logistisch oft nicht im Rahmen der einzelnen Fachprüfungen durchzuführen. Hier sind andere Prüfungsstrukturen denkbar, bei denen Prüfungsbestandteile einzelner Prüfungen fachübergreifend und analog zu einem Portfolio zusammengestellt und beurteilt werden. So könnten z. B. die Kommunikationsstationen in OSCEs verschiedener Fächer für eine Bewertung der Kompetenz als „Kommunikator“ zusammengefasst werden. Dieses Portfolio könnte auch die Erfassung von kritischen Ereignissen (etwa zur Beurteilung professionellen Verhaltens) umfassen.

1. 2. Lernzielkatalog

Für jede in der Studienordnung definierte Unterrichtseinheit (z. B. Fach, Modul, Kurs, Seminar, Querschnittbereich) im vorklinischen und klinischen Abschnitt des Studiums liegt ein vollständiger schriftlicher Lernzielkatalog vor.

Aus der Gesamtheit der Lernzielkataloge der Unterrichtseinheiten muss entnommen werden können, welche Lernziele bei Vorliegen eines Gesamtlernzielkatalogs in welchen Veranstaltungen vermittelt werden.

1.3. Information der Studierenden bzgl. Lernzielkatalog

Die Studierenden werden vor jeder Unterrichtseinheit/jedem Modul über die spezifischen Lern- und Prüfungsziele zeitgerecht informiert.

1.4. Adäquate Prüfungsformate

Die in den Lernzielen formulierten Kenntnisse, Fähigkeiten und Haltungen werden mit adäquaten Prüfungsformaten geprüft. Insbesondere sind Verfahren einzusetzen, die geeignet sind, ärztliche Entscheidungs- und Handlungskompetenzen sowie Fertigkeiten der ärztlichen Gesprächsführung zu erfassen (s. 1.1).

Neben schriftlichen Prüfungsformaten (als Multiple-Choice-Prüfung oder mit offenen Fragen), die vornehmlich der Prüfung theoretischen Wissens dienen, sind zur Leistungserfassung praktischer Fertigkeiten in medizinischen Studiengängen OSCEs etabliert. Zur Erfassung anderer Kompetenzbereiche ärztlichen Handelns sind darüber hinaus weitere Prüfungsformen erforderlich, mit denen zuverlässige arbeitsplatzbezogene Leistungserfassungen möglich sind. Hierzu gehören z. B. miniCEX, 360°-Assessments, Encounter-Cards, Direct Observation of Practical Skills (DOPS).

1.5. Schriftliche Regelungen für Prüfungsvorbereitung und Prüfungsablauf

Für die nachfolgend aufgeführten Bereiche sollten schriftliche Regelungen vorhanden sein.

1.
Teilnahmevoraussetzungen
2.
Festsetzung von Prüfungsterminen (incl. Wiederholungstermine) und formaler Prüfungsablauf.
Bei jeder Prüfung sollten klare Regularien für den formalen Prüfungsablauf standardmäßig eingehalten werden. Diese Regularien sollten schriftlich niedergelegt sein und folgende Aspekte enthalten:
– Form und Terminvorgaben für Prüfungsankündigung
– Form und Terminvorgaben für die Anmeldung der Studierenden zur Prüfung, ggf. automatische Anmeldung zur Prüfung durch Einteilung zum Modul
– Zahl und Qualifikation der Prüfer (z. B. Facharzt, Habilitation usw.)
– Dauer der Prüfung
– Prüfungseinführungen (z. B. eigener Termin zur Einweisung für computerbasierte Prüfungen)
– Ansagen zu Beginn der Prüfung
– Bei der Prüfung erlaubte Hilfsmittel
– Mitnahme von Prüfungsunterlagen
– Umgang bei verspätetem Erscheinen zur Prüfung
– Rücktritt und Versäumnis von Prüfungen
– Vorgehen bei Täuschungsversuchen
– Regelungen zum Prüfungsabbruch
3.
Regelungen zu den im Studiengang einsetzbaren Prüfungsformen (s. 1.1)
4.
Festlegung räumlicher und zeitlicher Voraussetzungen und Bedingungen für die Prüfungsdurchführung (s. 3.3)
5.
Bewertungsskalen, Bestehensgrenzen, Anwendung einer Gleitklausel3 (s. 2.5, 2.8)
6.
Bewertung bei fehlerhaft gestellten Aufgaben (s. 5.2)
7.
Gewichtung von Teilprüfungen (s. 3.1)
8.
Kompensationsmöglichkeiten und Nachteilsausgleich bei Prüfungen (s. 1.6)
9.
Teilnahmebedingungen und Verfahren für Nach- und Wiederholungsprüfungen (s. 1.6)
10.
Bekanntmachung und Einsichtnahme in Prüfungsergebnisse (s. 6.2)
11.
Regelungen bei Einsprüchen gegen Bewertung und Prüfungsaufgaben (s. 5.2, 6.3)
12.
Umgang mit Verletzungen der Durchführungsbedingungen und außergewöhnlichen Störungen der Prüfungsdurchführung sowie Regelungen für dadurch erforderliche Prüfungswiederholungen (s. 4.3)
13.
Veröffentlichung von Aufgaben (s. 6.5)
14.
Dokumentation der Prüfung und der Prüfungsergebnisse (s. 5.5)

1.6. Kompensation von Prüfungsleistungen, Nach- und Wiederholungsprüfungen

1.
Können Leistungsnachweise oder Teile von Leistungsnachweisen seitens Studierender nicht oder nur unter nicht zumutbaren Bedingungen erbracht werden, die in der Art und Form der Prüfungsdurchführung begründet sind, sollte grundsätzlich geklärt sein, unter welchen Bedingungen Prüfungsleistungen kompensiert werden können.
Dies betrifft z. B. Studierende mit körperlichen Beeinträchtigungen, bei denen u. U. der Behindertenbeauftragte hinzugezogen werden sollte, oder Studierende mit eingeschränkten Kenntnissen der deutschen Sprache, die nicht regulär im Studiengang eingeschrieben sind (Studierende in internationalen Studienaustauschprogrammen, z. B. Erasmus).
2.
In den maßgeblichen rechtlichen Bestimmungen (Studienordnung, Prüfungsordnung) sind die Bedingungen für die Durchführung und Teilnahme an Nach- und Wiederholungsprüfungen festzulegen. Ebenfalls geregelt sein muss, ob und inwieweit notenverbessernde Prüfungen durchgeführt werden.
Das Prüfungsformat für Wiederholungs- und Nachprüfungen sollte mit dem Format der Erstprüfung übereinstimmen, z. B. sollte keine schriftliche oder mündliche Nachprüfung bei nicht bestandenem OSCE durchgeführt werden. Ebenfalls sollte bei Nichtbestehen einer schriftlichen Prüfung keine mündliche Nachprüfung erfolgen4.
Bei eigenständigen Wiederholungsprüfungen (also Prüfungen, in denen mehrheitlich Kandidaten geprüft werden, die mindestens einmal nicht bestanden haben), ist u. U. eine Modifikation der Gleitklausel zu empfehlen (s. auch 2.5).

1.7. Prüfungsverantwortliche

1.
In jedem Fach ist mindestens ein Prüfungsverantwortlicher nebst Stellvertreter benannt, dessen Verantwortlichkeiten klar definiert sind. (Verantwortungsbereiche: z. B. Blueprint, Fragenerstellung, Durchführung, Korrektur, Prä- und Postreview, Auswertung, Rückmeldung an Curriculumsentwickler).
2.
Die Prüfungsverantwortlichen haben an Weiterbildungsmaßnahmen zum Thema Prüfungen teilgenommen.
Jeder Prüfungsverantwortliche für einen Lehrbereich (Fach, Modul, Block etc.) sollte eine zertifizierte Weiterbildung zum Thema Prüfungen aufweisen können.

2. Prüfungskonzeption und bewertung

Die folgenden Empfehlungen beziehen sich auf die Vorbereitung konkreter Prüfungen. Sie betreffen die curriculare Anbindung der Prüfungsinhalte und Maßnahmen zur Qualitätssicherung von Aufgaben und Gesamtprüfung (Reliabilität und Validität) sowie die ökonomische und für die Studierenden transparente Durchführung.

2.1. Abstimmung der Prüfungen mit Gesamtprüfungsprogramm

Die Einzelprüfungen sind mit dem Gesamtprüfungsplan des Studiengangs abgestimmt. Diese Abstimmung betrifft sowohl summative als auch formative Leistungsrückmeldungen.

2.2. Validität

Jeder Einzelprüfung liegt ein schriftliches Gesamtkonzept („Blueprint“) zugrunde, das die fachspezifischen Prüfungsinhalte repräsentativ abbildet.

Der Blueprint dient der Sicherung der inhaltlichen Validität der Prüfung. Diese wird gewährleistet

1.
durch die Repräsentativität der Aufgaben für den abzuprüfenden Bereich und
2.
die Vermeidung von für diesen irrelevanten Prüfungsinhalten („konstuktirrelevante Varianz“).

Die Validität ist das Kriterium für die Testgüte. Sie ist ein Maß dafür, ob die bei der Messung erzeugten Daten wie beabsichtigt die zu messende Größe, also die Kenntnisse oder Fertigkeiten in dem durch die Prüfung abzudeckenden Fachgebiet o. ä., repräsentieren: Misst der Test das Merkmal, das er messen soll5?

Nach der Auswertung der Prüfungen können weitere Quellen der Validität untersucht werden:

  • stellen sich die Testergebnisse plausibel dar?
  • Gibt es eine hohe Korrelation zwischen dem Test und anderen Tests, die das gleiche Konstrukt messen sollen (z. B. MC-Klausur Innere Medizin und Anteil Innere Medizin in Staatsprüfungen)?

2.3. Einbindung von Fachvertretern

Bei der Zusammenstellung der Prüfungen sind Vertreter aus allen beteiligten Lehrgebieten beteiligt.

2.4. Begutachtung der Prüfungsaufgaben (Prä-Review) und Prüfung der inhaltlichen Validität

1.
Vor der Durchführung einer Prüfung findet eine standardisierte, inhaltliche und formale Bewertung (Prä-Review) der Prüfungsaufgaben statt.
Bei Prüfungsformaten, in denen nur eingeschränkte Möglichkeiten zu ihrer Standardisierung bestehen (z. B. arbeitsplatzbasierte Prüfungen), ist festzulegen, wie unterschiedliche Rahmenbedingungen und Schwierigkeitsgrade berücksichtigt werden (z. B. detailliertes Standard-Setting).
Bei der Erstellung von Prüfungen sollten im Hinblick auf die Validität die folgenden Punkte in einer Gesamtsicht beachtet werden:
– Ist jede einzelne Aufgabe qualitativ hochwertig? Hier ist insbesondere wichtig, dass nur die zu messende Fertigkeit/Fähigkeit (z. B. Wissen in einem bestimmten Fachgebiet) zur richtigen Beantwortung führt und nicht andere Fähigkeiten (z. B. Sprachkenntnisse) zur Lösung der Aufgabe - erforderlich sind.
– Sind die Inhalte allgemeingültig/evidenzbasiert und z. B. keine lokale Lehrmeinung?
– Deckt sich der Inhalt der Prüfung mit der Lehre/den Lernzielen?
– Handelt es sich um Wissen, das beim gegenwärtigen Ausbildungsstand erwartet werden kann und nicht z. B. um Inhalte, die in einen späteren Abschnitt des Studiums oder der medizinischen Weiterbildung gehören?
– Ist der Inhalt des zu prüfenden Stoffgebiets mit seinen Subgebieten verhältnismäßig angemessen und umfassend im Test vertreten? Um dies zu gewährleisten müssen angemessene Methoden der Fragenzusammenstellung standardmäßig gewählt werden (s. 2.2, „Blueprint“).
– Wurden die Prüfungsaufgaben sowie die ganze Prüfung einem sorgfältigen Review-Prozess unterzogen?
– Ist das theoretische Rahmenwerk argumentativ nachvollziehbar?
– Erscheint der Test den Prüflingen plausibel? (Akzeptanz)
2.
Am Review nehmen mindestens zwei Fachvertreter und ein Vertreter eines anderen Faches teil.
3.
Das Ergebnis der Begutachtung muss dokumentiert werden.

2.5. Bestehensgrenzen

1.
Vor der Durchführung einer Prüfung wird die Bestehensgrenze durch ein interdisziplinäres Expertengremiums nach inhaltlichen Kriterien (z. B. mittels eines Standard-Setting-Verfahrens) oder anhand eines formalen Kriteriums (z. B. 60%-Regel) schriftlich festgelegt.
Bestehensgrenzen sollten möglichst anhand inhaltlicher Kriterien entsprechend einer kriteriumsorientierten Leistungsmessung festgesetzt werden (vgl. z. B. Verfahren des Standardsetzens beim OSCE). Bei MC-Fragen sollten mindestens formale Kriterien (z. B. 60%-Regel) eingesetzt werden.
2.
Eine Regelung zur Anwendung einer Gleitklausel ist schriftlich festgelegt.
Eine Gleitklauselregelung ist i. A. bei Prüfungen mit Multiple-Choice-Aufgaben erforderlich. Im Studiengang sollte durch eine einheitliche Regelung klargestellt sein, bei welchen Prüfungsformen und in welcher Weise eine Gleitklausel einheitlich zur Anwendung kommt. Es ist festzulegen, wie Prüfungen mit gemischten Formaten (z. B. Multiple-Choice und offene Fragen) zu behandeln sind.
Ergänzend zu einer kriteriumsorientierten Bestehensgrenze sollten auch bei anderen Prüfungsformen entsprechende Regelungen zur Kompensation unangemessen schwieriger Prüfungen getroffen werden, die den Studierenden rechtzeitig bekannt gegeben werden müssen.
Wir empfehlen für Prüfungen mit MC-Fragen zur Vereinfachung eine modifizierte Gleitklausel, die die durchschnittliche Prüfungsleistung aller Teilnehmer, die zum ersten Mal in direktem Anschluss an den Kurs an der Prüfung teilnehmen, (ohne Beschränkung auf Studierende in der Regelstudienzeit o. Ä.) berücksichtigt. Für Nachhol- und Wiederholungsprüfungen mit einem erheblichen Anteil an Teilnehmern, die die Prüfung nicht zum ersten Mal ablegen, sind geeignete Regelungen zu treffen.
3.
Rundungen der Bestehens- und Notengrenzen sind verbindlich festzulegen.
Ergibt sich z. B. bei 99 Aufgaben und einer Bestehensgrenze von 60% der maximalen Punktzahl die Bestehensgrenze von 59,4 Punkten, so wird empfohlen, diese auf 60 Punkte aufzurunden, falls bei den Prüfungsaufgaben nur ganze Punkte vergeben werden. Werden auch halbe Punkte vergeben, so wäre die Bestehensgrenze entsprechend auf 59,5 Punkte zu setzen (nach der deutschen ÄAppO muss die Mindestprozentzahl zum Bestehen erreicht oder überschritten sein, d. h. es finden in keinem Fall Abrundungen statt).

2.6. Reliabilität der Prüfung

Bei summativen Prüfungen ist eine Reliabilität von mindestens 0,8 für den Leistungsnachweis zu erwarten.

Soweit methodisch möglich, wird empfohlen, Leistungsnachweise eines Fachs auf Basis mehrerer Teilprüfungen zu erstellen (s. Erläuterung zu 1.1). In diesem Fall ist das Kriterium der Mindestreliabilität von 0,8 auf die Gesamtbewertung anzuwenden, nicht notwendigerweise auf die einzelnen Teilprüfungen. Ein Beispiel hierfür wäre, wenn in einem Fach sowohl eine schriftliche Prüfung für das theoretische Wissen wie auch eine OSCE-Prüfung für die praktischen Fertigkeiten abzulegen sind. Hier kann sowohl bei Klausur wie bei OSCE die Reliabilität der beiden einzelnen Prüfungen jeweils 0,8 unterschreiten, die Reliabilität der zusammengesetzten Prüfung kann aber merklich höher sein. Zur Bestimmung der Reliabilität zusammengesetzter Leistungsnachweise sei auf die einschlägige Literatur verwiesen (z. B. [18]).

Dabei ist zu beachten, dass Teilprüfungen, die nicht durch andere Prüfungsleistungen kompensiert werden können, eine hinreichende Messzuverlässigkeit der Entscheidung bestanden/nicht bestanden aufweisen, um zu verhindern, dass einem Studierenden auf Grund einer einzelnen wenig zuverlässigen Teilprüfung der Leistungsschein verweigert wird. Beispiele hierfür sind etwa „K.O.-Stationen“ in einem OSCE oder Teilprüfungen bei fächerübergreifenden Leistungsnachweisen, die jede für sich bestanden werden müssen.

Um in einzelnen Prüfungen eine Reliabilität von mindestens 0,8 zu erreichen, sind in der Regel bei MC-Klausuren wenigstens 40 qualitativ hochwertige Fragen erforderlich, bei OSCE wenigstens 12 Stationen. Diese Angaben können nur als grobe Anhaltspunkte dienen, in Abhängigkeit von Prüfungsziel, Aufgabenqualität und zu prüfender Studierendenkohorte sind erhebliche Schwankungsbreiten möglich, weshalb zur Abschätzung der zu erwartenden Reliabilität die Kennwerte entsprechender früherer Prüfungen des Faches herangezogen werden sollten.

Insbesondere „kleine“ Fächer stehen vor dem Problem, dass auf Grund des Prüfungsumfangs nur schwer eine Reliabilität von wenigstens 0,8 erreicht werden kann. Eine Lösung im Bereich der Humanmedizin in Deutschland bieten die sog. „fächerübergreifenden Leistungsnachweise“, bei denen mehrere Fächer, die ihre Unterrichtseinheiten in zeitlicher Nähe durchführen, eine gemeinsame Prüfung durchführen und eine Gesamtnote bilden können. Sind keine fächerübergreifenden Leistungsnachweise möglich, sollte zumindest durch eine intensive Qualitätssicherung eine möglichst hohe Validität durch Repräsentativität der Aufgaben für den Lehrstoff und der Vermeidung von Aufgaben, die lernzielfremde Kenntnisse oder Fertigkeiten prüfen (konstruktirrelevante Varianz), gesichert werden.

2.7. Ressourcenaufwand

Die geplante Prüfung ist ressourcensparend konzipiert.

Hierunter sind Möglichkeiten einer Einsparung von Ressourcen bei der Konzeption, Durchführung und Auswertung der Prüfungen zu verstehen. Dazu gehören z. B. Einlesen der Antwortbögen durch Belegleser, adäquate Anzahl der Aufsichtspersonen, Verwendung eines fakultäts-/studiengangsübergreifenden Prüfungspools, Einsatz computerbasierter Durchführung, standardisierte teststatistische Auswertung (z. B. zentral in der Fakultät), Verwendung der Mindestanzahl von Prüfern (z. B. beim OSCE einer pro Station bei zentraler Aufsicht ausreichend), Wahl ressourcensparender Prüfungsformate und Aufgabenformate (offene Fragen auf das Notwendige beschränken).

2.8. Bewertung der Aufgaben

1.
Die zu verwendenden Bewertungsskalen (Noten, Punkte) von Prüfungen sollten für den Studiengang einheitlich und verbindlich sein.
2.
Die richtigen Antworten, der Erwartungshorizont, die Korrekturrichtlinien und Bewertungsmodus sind vor der Durchführung der Prüfung schriftlich festgelegt.
Die richtigen Antworten und der Erwartungshorizont liegen dem Prüfer schriftlich vor. Die schriftliche Korrekturanleitung für eine Klausur ist eindeutig (z. B. zur Vergabe halber Punkte oder zur Korrektur offener Fragen). Empfehlung: Jeweils derselbe Prüfer sollte die Antworten aller Studenten einer offenen Frage korrigieren.
Der Bewertungsmodus bei einem OSCE ist eindeutig festgelegt. Für jede OSCE-Station/-aufgabe ist eindeutig festgelegt, wie viele Punkte anhand einer Checkliste oder auf Basis einer globalen Beurteilung („Global Rating“) der Fertigkeit/Fähigkeit vergeben werden. Für mündliche Prüfungen gilt Entsprechendes.
3.
Die Anzahl der Punkte für jede einzelne Frage/Aufgabe ist vor Prüfungsbeginn festgelegt.
Bei schriftlichen Prüfungen ist bei nicht einheitlicher Gewichtung der Aufgaben die jeweils zu erzielende Punktzahl in der Klausur anzugeben. Es ist zu beachten, dass bei MC-Aufgaben, die nicht vom Einfachauswahltyp sind (z. B. „Mehrfach richtig/falsch“), erbrachtes Teilwissen ebenfalls angemessen zu berücksichtigen ist.

2.9. Bewertung von Teilprüfungen

1.
Setzen sich die im Zeugnis aufzuführenden Noten aus mehreren Teilprüfungen zusammen, sollten die Bewertungen der Teilprüfungen auf einer hinreichend differenzierten Bewertungsskala vorgenommen werden.
Notenskalen, wie etwa das deutsche System der Vergabe von 4 Notenstufen bei bestandener Prüfung, bilden die Prüfungsleistungen nur grob ab. Werden wenig abgestufte Noten von Teilprüfungen zur Bildung einer Gesamtnote zusammengefasst, können durch die Mittelung Verzerrungen der Beurteilung der Gesamtleistung entstehen.
2.
Die Rundung der Noten sollte eindeutig festgelegt werden.
Rundungen auf ganze Zahlen, wie sie bei der Bildung der durch die deutsche ÄAppO für das Zeugnis geforderten Notenstufen 1, 2, 3 und 4 notwendig sind, sollten immer in Richtung der nächstliegenden ganzen Zahl durchgeführt werden. Bei gleichem Abstand (Dezimalstellen 0,500) ist zu Gunsten der Studierenden zu runden, so ist etwa 1,500 auf die ganze Note 1, hingegen ist 1,501 auf die ganze Note 2 zu runden.
Es wird empfohlen, Teilbewertungen, die zu einer Gesamtnotenbildung verwendet werden, auf einer Skala mit wenigstens drei Kommastellen durchzuführen. Die Verwendung von drei Kommastellen ist im Normalfall hinreichend genau, um Verzerrungen durch iterierte Rundungen zu vermeiden (wie etwa, dass im deutschen System aus 2,54 durch die Rundung auf eine Stelle 2,5 und durch eine nachfolgende Rundung in Richtung der besseren Note eine 2 wird).
Die Bewertungsskala sollte eine geforderte Gleichabständigkeit von Notengrenzen berücksichtigen. Ist z. B. bei schriftliche Prüfungen vorgegeben, dass ab 60% bis zu 70% der erreichten Punktzahl die Note 4, ab 70% bis zu 80% die Note 3, ab 80% bis 90% die Note 2 und ab 90% eine 1 zu vergeben ist, so müsste eine notenäquivalente Dezimalskala von 0,5 bis 4,5 reichen. Damit wird das Intervall von 80-90% der erreichten Punktzahl (Note 2) auf die Noten von 2,5 bis 1,5 und 90-100% auf ein gleich großes Intervall von 1,5 bis 0.5 abgebildet. Nur so ist eine einfache lineare Umrechnung der Punktwerte in Dezimalnoten möglich.

3. Organisatorische Vorbereitungen zur Prüfungsdurchführung

Neben der inhaltlichen Vorbereitung der Prüfung bedarf es verschiedener organisatorischer und logistischer Vorarbeiten, um einen formal korrekten Ablauf der Prüfung zu gewährleisten.

3.1. Bekanntgabe von Prüfungsterminen und -formate

Die Prüfungstermine und -formate werden den Studierenden zu Beginn einer Unterrichtseinheit bekannt gegeben.

Setzt sich die Gesamtnote eines Fachs oder Querschnittsbereichs aus mehreren Teilprüfungen zusammen, so sind die Gewichtungen bekannt zu geben. Bei Änderungen der Zusammensetzung der Gesamtnote oder Gewichtung der Teilprüfungen sind klare Übergangsregelungen für Studierende zu formulieren, die Prüfungen wiederholen müssen.

3.2. Prüfungsanmeldung

Für jede Prüfung ist eine schriftliche oder Online-Anmeldung durch die Studierenden erforderlich. Die Anmeldung zu Lehrveranstaltung und Prüfung kann gemeinsam erfolgen. Unter Umständen kann bei curricular feststehenden Prüfungen eine eigenständige Anmeldung nicht erforderlich sein.

Es sollte geregelt sein, ob Studierende bei Nichtbestehen einer Prüfung für die nächstmögliche Wiederholung automatisch angemeldet sind oder ob eine gesonderte Anmeldung erforderlich ist

Summative Prüfungen sind als Abschluss einer Unterrichtseinheit zu sehen und sollten sich direkt auf das vorangegangene Curriculum beziehen. Deshalb ist es empfehlenswert, die Prüfung(en) oder letzte Teilprüfung verpflichtend für alle Studierenden zeitnah nach Abschluss der Unterrichtseinheit durchzuführen.

3.3. Räumlichkeiten und Personal für Prüfungen

1.
Zur Durchführung der Prüfung ist gewährleistet, dass ausreichend Räume zur Verfügung stehen und diese für alle Kandidaten vergleichbare Bedingungen bieten.
2.
Zur Durchführung der Prüfung steht ausreichend geschultes Personal zur Verfügung (Prüfer, Aufsichtspersonen, Korrektoren zur Bewertung offener Fragen usw.).

3.4. Schulung von Prüfern und Rückmeldung an Prüfer

1.
Die Prüfer und Korrektoren sind hinsichtlich einheitlicher Bewertungskriterien vor der Prüfung geschult.
Es soll ein gemeinsames Training derjenigen, die die Prüflinge bewerten, zur Erhöhung der Interrater-Reliabilität durchgeführt werden. Dies ist insbesondere bei parallelen Prüfungsparcours eines OSCE, bei mündlichen Prüfungen oder bei schriftlichen Prüfungen mit offenen Fragen notwendig.
Für Prüfungen, in denen der Prüfer mit dem Prüfling direkt in Kontakt tritt, sind insbesondere Schulungen mit videographierten Prüfungen sinnvoll.
2.
Prüfer sind hinsichtlich Rückmeldung und Erläuterung der abgeprüften Leistungen und ihrer Bewertung an die Studierenden („Feedback“) geschult. Dies gilt insbesondere bei allen formativen Prüfungen.
Die Schulungsmaßnahmen sind an die speziellen Erfordernisse des Prüfungsformats anzupassen, neben einer eingehenderen Erstschulung sind Auffrischungsschulungen durchzuführen. Die Wirksamkeit der Schulungsmaßnahmen ist zu überprüfen (z. B. durch standardisierte Studierende).
3.
Prüfer erhalten Rückmeldung über ihre Prüfungsleistung.
Bei Prüfungen, in denen Prüfereinflüsse bei der Bewertung zu berücksichtigen sind, erfolgt eine Rückmeldung an die Prüfer (s. 5.1). So ist z. B. bei mündlichen oder mündlich-praktischen Prüfungen eine Rückmeldung hinsichtlich Strenge oder der Ausnutzung der Bewertungsskalen zu geben. U. U. ist vor dem Einsatz bei der nächsten Prüfung eine Nachschulung von Prüfern durchzuführen.

4. Durchführung der Prüfung

4.1. Einhaltung formaler Kriterien

Bei der Durchführung der Prüfung werden die schriftlich niedergelegten formalen Kriterien eingehalten und dokumentiert (z. B. mit Hilfe einer Checkliste zum formalen Prüfungsablauf).

4.2. Vollständigkeit der Prüfungsunterlagen

Die Vollständigkeit der Prüfungsunterlagen und des Prüfungsmaterials wird zu Beginn der Prüfung durch die Studierenden oder die Prüfungsaufsicht kontrolliert.

Eine eindeutige Zuordnung sowohl des Aufgaben- als auch des Antwortblattes zu jedem Studierenden und eine kontrollierte Abgabe ist für einen vollständigen Rückfluss aller Aufgabenblätter empfehlenswert.

4.3. Protokoll des Prüfungsverlaufs

Der Verlauf der Prüfung und dabei auftretende Probleme werden protokolliert (z. B. Nennung von Prüfungsverantwortlichen und -durchführenden, Aufsichtspersonen, spezielle Vorkommnisse, Täuschungsmanöver, Computerausfall bei computerbasierten Prüfungen).

Beispiele für die Verletzung von Durchführungsbedingungen sind:

  • Lärmbeeinträchtigungen durch Baumaßnahmen während einer Klausur.
  • Ungeeignete Prüfungsräume
  • Mangelhafte Prüfungsmaterialien wie schlechte Kopien der Prüfungsaufgaben, fehlerhafte Fragennummerierungen.
  • Ausfall von Computern bei computerbasierten Prüfungen

Studierende müssen eine Verletzung von Durchführungsbedingungen unverzüglich während oder nach der Prüfung geltend machen. Es ist nicht zulässig, zunächst das Ergebnis der Prüfung abzuwarten und sich im Falle des Nichtbestehens auf die Verletzung der Durchführungsbestimmungen zu berufen.

Bei erheblichen Beeinträchtigungen der Prüfungsdurchführung wird empfohlen, eine Wiederholungsprüfung für alle Prüfungsteilnehmer anzubieten und das bessere Prüfungsergebnis zu werten.

Geregelt werden sollte auch die Entscheidung über Störungen der Prüfung durch Prüfungsteilnehmer und deren möglichen Ausschluss, ebenso der Abbruch einer Prüfung (z. B. wegen akuter Erkrankung) und die entsprechende Dokumentation durch den Prüfungsverantwortlichen.


5. Auswertung und Dokumentation

Eine sorgfältige Auswertung der Prüfung mit Dokumentation einschließlich der statistischen Analyse ist zur inhaltlichen und insbesondere rechtlichen Absicherung erforderlich. Bei summativen Prüfungen entstehen Studierenden bei Fehlern u. U. erhebliche Nachteile, die von Mehrarbeit und Verlängerung der Studiendauer bei erforderlichen Prüfungswiederholungen, der Nichtgewährung von Stipendienleistungen bei ungerechtfertigter schlechter Bewertung bis hin zum Studienabbruch reichen können. Statistische Analyse und Dokumentation sind darüber hinaus eine wesentliche Grundlage für die Prüfungsnachbereitung (s. 7.1).

5.1. Statistische Analyse

Für alle Prüfungsformate ist eine adäquate statistische Analyse der Prüfungsergebnisse durchzuführen, die insbesondere Aufgabenschwierigkeit und -trennschärfe umfasst (Primärauswertung).

Bei Prüfungsformaten, in denen neben den Aufgaben weitere systematische Einflussfaktoren wie etwa Prüfereinflüsse existieren (z. B. OSCE), sind diese bei der Auswertung zu berücksichtigen (z. B. mit Verfahren der Generalisierbarkeitstheorie). Für Multiple-Choice-Aufgaben ist zusätzlich eine Distraktorenanalyse durchzuführen.

Ergeben sich Hinweise auf fehlerhafte oder unklare Aufgabenstellungen, so ist die Aufgabe formal und inhaltlich nachzukontrollieren.

5.2. Korrekturen der Auswertung

Nach einer evtl. notwendigen Korrektur der Aufgaben- oder Prüfungsbewertung wird eine Endauswertung der Prüfung (einschl. einer weiteren teststatistischen Analyse) durchgeführt.

Die nochmalige Überprüfung der Aufgabenstellungen nach der Prüfungsdurchführung dient der juristischen Absicherung/Rekursfestigkeit der Leistungsbewertungen. Für die Auswertung von Prüfungen wird deshalb ein zweistufiges Vorgehen empfohlen: Im ersten Schritt wird eine teststatistische Auswertung der Prüfung vorgenommen, nach der kontrolliert wird, ob einzelne Aufgaben hinsichtlich Schwierigkeit oder Trennschärfe „auffällig“ sind. Hier sind erfahrungsgemäß insbesondere sehr schwere Aufgaben (Schwierigkeiten unter 0,4) oder Aufgaben mit sehr niedriger Trennschärfe (unter 0,2) hinsichtlich ihrer inhaltlichen Korrektheit von den Prüfungsverantwortlichen zu überprüfen.

Erweisen sich dabei Aufgaben als fehlerhaft, ist eine Neuauswertung der Prüfung erforderlich. Erst im Anschluss an diese Auswertung sollten die Prüfungsergebnisse bekannt gegeben werden. Eine nochmalige Auswertung ist notwendig, wenn z. B. auf Grund begründeter studentischer Einwände weitere Korrekturen an der Aufgabenbewertung vorgenommen werden müssen (s. u).

Auch bei automatischer Auswertung wie z. B. bei computerbasierten Prüfungen ist darauf zu achten, dass alle Maßnahmen zur Qualitätssicherung vor der Bekanntgabe der Ergebnisse durchlaufen wurden. Der Prüfungsverantwortliche muss die Prüfungsergebnisse formal freigeben.

Bei der Korrektur fehlerhaft gestellten Aufgaben ist sicherzustellen, dass den Prüfungsteilnehmern hierdurch keine Nachteile entstehen. So dürfen z. B. Multiple-Choice-Aufgaben des Typs A („Eins aus Fünf“) nicht einfach aus der Wertung genommen werden, wenn mehr als eine der Antwortoptionen als zutreffend anerkannt werden muss. Stattdessen muss allen Teilnehmern, die eine der zutreffenden Antworten gegeben haben, diese Antwort anerkannt werden (man vergleiche hierzu auch die Regelungen bei den schriftlichen Staatsexamina des Instituts für medizinische und pharmazeutische Prüfungsfragen IMPP).

Bei begründeten Einsprüchen gegen Prüfungsaufgaben oder ihrer Bewertung sollen die notwendigen Korrekturen bei allen Prüfungsabsolventen durchgeführt (d. h. nicht nur bei den Beschwerdeführern) und bekannt gegeben werden. Es ist darauf zu achten, dass berechtigte Einsprüche und die daraus resultierenden Korrekturen (Verantwortlichkeiten bei Entscheidungen) dokumentiert werden. Werden Prüfungsaufgaben als fehlerhaft erkannt, so ist ein verbindliches Vorgehen notwendig, bei dem gewährleistet ist, dass durch fehlerhafte Aufgabenstellungen Studierende nicht benachteiligt werden. Ist eine Aufgabe nicht lösbar, so kann

1.
die Aufgabe aus der Wertung genommen und die maximal erreichbare Punktzahl entsprechend reduziert oder
2.
die bei dieser Aufgabe ursprünglich vorgesehene erreichbare Punktzahl allen Studierenden zugebilligt werden (hier bleibt die maximal erreichbare Punktzahl unverändert).

Bei Korrekturen der Antwortmöglichkeiten nach Bekanntgabe des Ergebnisses dürfen Prüfungsbewertungen der Studierenden nicht nachträglich verschlechtert werden.

5.3. Prüfungsbericht

Es wird ein Prüfungsbericht erstellt, der die Angaben zur Bewertung und Benotung sowie die statistische Analyse der Ergebnisse umfasst. Insbesondere sind darin Veränderungen der Aufgabenbewertungen oder -gewichtungen, der als korrekt gewerteten Lösungen und nicht gewertete Aufgaben unter Angabe der für die Änderungen Verantwortlichen zu dokumentieren.

5.4. Kontrollstichproben

Es erfolgt eine stichprobenartige Kontrolle der Korrekturen und Bewertungen.

Neben einer stichprobenartigen Kontrolle der Korrekturen und Bewertungen ist eine Kontrolle der Prüfungsleistungen aller durchgefallenen Studierenden zu empfehlen. Kontrollen schriftlicher Prüfungen müssen durch unabhängige Korrektoren vorgenommen werden. Werden Klausuren mit Hilfe von Beleglesern eingelesen, so sind ebenfalls stichprobenartige Überprüfungen notwendig. Art und Umfang von Kontrollen sollten dokumentiert werden.

5.5. Dokumentation der Ergebnisse, Aufbewahrungsrichtlinien

Die Prüfungsergebnisse und Notenspiegel werden durch die Fächer oder zentral zusammengestellt und zur gesicherten Dokumentation zentral gespeichert.

Aufbewahrungsfristen für Prüfungen und Prüfungsunterlagen sind verbindlich (z. B. in der Prüfungsordnung) festzulegen. Es gibt keine einheitlichen Vorgaben für die Aufbewahrungszeiten – es gelten die entsprechenden Bestimmungen vor Ort (z. B. Landesarchivierungsordnung). Bitte informieren Sie sich bei Ihrer Rechtsabteilung. Als Anhaltspunkt können folgende Regelungen gelten: Schriftliche Prüfungen und mündliche Prüfungsprotokolle sind nach abgeschlossener Prüfung mindestens 18 Monate aufzubewahren. Bei computerbasierten Prüfungen sind die Einzelergebnisse in Form von Prüfungsprotokollen 18 Monate abzuspeichern. Die Listen über Prüfungsteilnehmer und Leistungsnachweise sind mindestens 10 Jahre in Papierform oder digital zentral aufzubewahren. Bei Einsprüchen gegen die Prüfung dürfen bis zur endgültigen Entscheidung keine Unterlagen vernichtet werden.


6. Rückmeldung an die Studierenden

Rückmeldungen an die Studierenden über ihre Prüfungsleistungen sind transparent und zeitnah zu geben. Nur so können Prüfungen als Instrument zur Lernsteuerung effektiv eingesetzt werden.

6.1. Bekanntgabe der Ergebnisse

Eine datenschutzkonforme Bekanntgabe der Prüfungsergebnisse erfolgt innerhalb eines angemessenen und vorab festgelegten Zeitraums. Dieser Zeitraum sollte 3 Wochen nicht übersteigen.

Bei der Bekanntgabe von Noten sind die datenschutzrechtlichen Bestimmungen einzuhalten. Insbesondere ist etwa ein öffentlicher Aushang der Prüfungsergebnisse mit Nennung persönlicher Daten unzulässig.

6.2. Prüfungseinsicht

Die Studierenden haben innerhalb einer angemessenen Frist die Möglichkeit zur Einsicht in ihre Prüfungsunterlagen. Die entsprechenden gesetzlichen Vorgaben sind dabei zu berücksichtigen.

Den Studierenden muss auf Nachfrage bzw. Antrag Einsicht in ihre eigene Prüfungsarbeit gewährt werden. Dabei ist eine angemessene Zeit zur Einsichtnahme nach Bekanntgabe des Ergebnisses zu gewährleisten. Die Möglichkeit der Einsichtnahme in die Klausur sollte den gesamten Zeitraum der Einspruchsfrist umfassen. Das Terminangebot zur Einsichtnahme muss angemessen sein. Für die Zeit der Einspruchsfrist sollte das Terminangebot öffentlich bekannt gemacht sein. Die Institution kann feste Zeiten für eine solche Einsichtnahme festsetzen. Diese müssen mit den Ankündigungen zur Prüfung veröffentlicht werden. Sollte es Studierenden aus begründetem Anlass nicht möglich sein, während dieses Termins Einsicht zu nehmen, ist die Einsichtnahme anderweitig zu ermöglichen. Die Einsichtnahme sollte unter Aufsicht erfolgen, weshalb eine Terminsetzung zur Vorbereitung einer parallelen Einsichtnahme mehrerer Teilnehmer sinnvoll ist.

6.3. Einspruchsfrist

Die Frist zum Einspruch gegen Prüfungsergebnisse muss wenigstens einen Monat ab der Bekanntgabe der Prüfungsergebnisse umfassen. Innerhalb dieses Monats sollte auch die Einsichtnahme möglich sein. Hierüber hat eine individuelle Rechtsbehelfsbelehrung zu erfolgen, die mit dem Ergebnis dem Prüfungsteilnehmer schriftlich zugestellt wird.

Diese sollte folgenden Inhalt haben:

Sie haben an der Prüfung XY am XY teilgenommen und bestanden/nicht bestanden mit der Note XY.
Rechtsbehelfsbelehrung: Gegen diesen Bescheid können Sie innerhalb von einem Monat Widerspruch beim Lehrverantwortlichen (Studiendekanat) einlegen.

Es empfehlt sich eine (automatisierte) Benachrichtigung über das Nichtbestehen mit Rechtsbehelfsbelehrung durchzuführen. Ohne Rechtsbehelfsbelehrung gilt in Deutschland eine Einspruchsfrist von einem Jahr.

Die Ablehnung eines Widerspruchs gegen die Bewertung von Aufgaben oder der Prüfungsdurchführung bedarf ebenfalls einer Rechtsbehelfsbelehrung.

6.4. Art und Umfang der Rückmeldung

Art und Umfang der Rückmeldung der Prüfungsergebnisse an die Studierenden mit dem Ziel, den Studierenden detaillierte Information zu ihrem Leistungsstand zu geben, sind festgelegt (z. B. Aufgliederung des Gesamtergebnisses nach Teilfächern o. ä.). Eine längsschnittliche Rückmeldung, die den Studierenden Informationen über ihren Leistungsstand

1.
in Bezug auf die an sie gestellten Erwartungen,
2.
auf die anderen Prüfungsteilnehmer sowie
3.
ihrer individuellen Leistungsentwicklung gibt,

ist anzustreben.

Aufgrund gesetzlicher Bestimmungen ist die Anzahl an durchzuführenden summativen Prüfungen sehr hoch, was den Einsatz zusätzlicher formativer Prüfungen häufig erschwert. Es sollte daher durch die Betrachtung der einzelnen summativen Prüfungen einer Studierenden im Längsschnitt das formative Potential summativer Prüfungsleistungen genutzt werden.

6.5. Veröffentlichung von Aufgaben

Eine Veröffentlichung der Prüfungsaufgaben wird - zumindest solange kein hinreichend großer Aufgabenpool zur Verfügung steht - nicht empfohlen. Eine einheitliche Regelung und Empfehlungen diesbezüglich (z. B. Notwendigkeit eines vollständigen Rückflusses der Aufgabenblätter) sollte innerhalb einer Fakultät/eines Studiengangs angestrebt und den Studenten bekannt gemacht werden.


7. Prüfungsnachbereitung

Die Nachbereitung der Prüfung dient zunächst der Qualitätssicherung des Prüfungsgeschehens in einem Fach, indem Mängel bei Aufgaben aufgedeckt und korrigiert werden können. Weiterhin ist sie ein wichtiges Rückmeldeinstrument an die Lehrverantwortlichen, da Prüfungen darüber Auskunft geben, was die Studierenden tatsächlich gelernt haben und ob und inwieweit Änderungen im Curriculum (z. B. veränderte Schwerpunktsetzungen bei den Lehrveranstaltungen) sinnvoll oder erforderlich sind.

7.1. Nachbegutachtung der Prüfung (Post-Review)

Zur Qualitätssicherung und -verbesserung künftiger Prüfungen findet eine schriftlich dokumentierte Nachbewertung (Post-Review) der Prüfung statt, an der die Prüfungsbeauftragten teilnehmen. Anhand inhaltlicher Kriterien, teststatistischer Auswertungsergebnisse (z. B. Schwierigkeiten, Trennschärfen, Reliabilität) sowie studentischer Kommentare und Hinweise werden in dieser Nachbewertung Verbesserungsvorschläge für Prüfungsaufgaben und Prüfungszusammenstellung erarbeitet.

7.2. Rückmeldung an Autoren und Fachverantwortliche

Die Prüfungsergebnisse, deren Auswertung sowie die Ergebnisse des Post-Review-Prozesses sollen zeitnah mindestens einmal im Semester an die Fragenautoren, die Curriculumsentwickler und Fachvertreter weitergegeben werden Adäquate Konsequenzen und erforderliche Maßnahmen sollten ergriffen und dokumentiert werden.


Anmerkung

1 Zur besseren Lesbarkeit wurde im Text z. T. auf die Nennung der weiblichen Form verzichtet, beide Geschlechter sind immer in gleichberechtigter Weise gemeint.

2 Diese Empfehlungen haben keine rechtlich bindende oder präjudizierende Wirkung. Es gelten jeweils die entsprechenden Regelungen der für die Prüfung verantwortlichen Institutionen bzw. die Gesetzeslage

3 Eine Gleitklausel ist eine formale Vorschrift, bei der in Abhängigkeit von den Prüfungsergebnissen der Teilnehmer bei niedrigen Gesamtergebnissen eine Korrektur der Bestehensgrenze nach unten vorgenommen wird. Hierdurch werden Prüfungen mit exorbitant hohen Durchfallquoten verhindert.

4 Nachgewiesenermaßen besteht bei einer mündlichen Prüfung im Vergleich zur schriftlichen Prüfung eine Tendenz zur besseren Bewertung. Beispiel: Kandidat A besteht die Prüfung nicht und erhält die Möglichkeit einer mündlichen Nachprüfung. Mit hoher Wahrscheinlichkeit erhält er mindestens die Note 3. Kandidat B besteht die schriftliche Prüfung mit einer 4. Er erhält deshalb keine Möglichkeit zu einer Nachprüfung und behält im Endzeugnis die Note 4. Kandidat B hat keine Möglichkeit, die Note zu verbessern und ist gegenüber Kandidat A benachteiligt.

5 Kritisch ist hierbei, dass aus Tests generelle Rückschlüsse über Individuen oder Gruppen gezogen werden, die auf einer sehr limitierten Anzahl von Stichproben basieren. Nur bei hoher Validität ist die Generalisierung anhand der Testergebnisse auf andere Situationen zulässig. In der klassischen Testtheorie sind Objektivität und Reliabilität Voraussetzung für eine hohe Validität.


Danksagung

Unser besonderer Dank gilt allen Mitgliedern des Ausschusses Prüfungen der GMA und der AG Prüfungen des MFT, die an der Erstellung der Empfehlungen, ihrer Diskussion und ihrer Evaluation mitgewirkt haben. Besonders hervorzuheben sind dabei

  • Prof. Dr. Klaus Albegger, Graz
  • Dr. Daniel Bauer, München
  • Dipl. Med.-Inf. Konstantin Brass, Heidelberg
  • Peter Brüstle (M.A.), Freiburg
  • Dr. Corinne M. Dölling, Berlin
  • PD Dr. Roman Duelli, Heidelberg
  • Dr. Jan Ehlers, Hannover
  • Prof. Dr. Martin Fischer (MME), München
  • Dr. Volkhard Fischer, Hannover
  • Prof. Dr. Johannes Forster (MME), Freiburg
  • Andreas Fuhrig, Göttingen
  • Prof. Dr. Matthäus Grasl (MME), Wien
  • Dr. Achim Hochlehnert, Heidelberg
  • Dipl.-Ing. Matthias Holzer, München
  • Dr. Hans Haage, Rheinbach
  • Dr. Sören Huwendiek (MME), Bern
  • Prof. Dr. Jana Jünger (MME), Heidelberg
  • Prof. Dr. Ingo Just, Hannover
  • Dr. Roland Kabuß (MME), Hannover
  • Prof. Dr. Klaus J. Klose, Marburg
  • Dr. Richard Melamed, Frankfurt
  • Dr. Andreas Möltner, Heidelberg
  • Dr. Daniela Mohr, Tübingen
  • Elisabeth Narziß (Ärztin), Mannheim
  • Dr. Zineb Nouns, Berlin
  • Prof. Dr. Franz Resch, Heidelberg
  • Dr. Thomas Rotthoff (MME), Düsseldorf
  • PD Dr. Jobst-Hendrik Schultz, Heidelberg
  • Dr. Katrin Schüttpelz-Brauns, Mannheim
  • Dipl.-Päd Tina Stibane, Marburg
  • Markus Stieg (Arzt), Berlin
  • Dipl. Wi.-Rom. Anna Vander Beken, Ulm

Interessenkonflikt

Die Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.


Literatur

1.
Gesellschaft für Medizinische Ausbildung; Kompetenzzentrum Prüfungen Baden-Württemberg, Fischer MR. Leitlinie für fakultätsinterne Leistungsnachweise während des Medizinstudiums: Ein Positionspapier des GMA-Ausschusses Prüfungen und des Kompetenzzentrums Prüfungen Baden-Württemberg. GMS Z Med Ausbild. 2008;25(1):Doc74. Zugänglich unter/available from: http://www.egms.de/static/de/journals/zma/2008-25/zma000558.shtml Externer Link
2.
WHO; WFME. Guidelines for Accreditation of Basic Medical Education. Geneva, Copenhagen: WHO; 2005.
3.
WFME; AMSE. WFME Global Standards for Quality Improvement in Medical Education European Specifications. Copenhagen: University of Copenhagen, MEDINE Quality Assurance Task Force; 2007.
4.
National Board of Medical Examiners. Test Administration Handbook. Philadelphia: National Board of Medical Examiners; 2003.
5.
Jünger J, Möltner A, Lammerding-Köppel M, Rau T, Obertacke U, Biller S, Narciß E. Durchführung der universitären Prüfungen im klinischen Abschnitt des Medizinstudiums nach den Leitlinien des GMA-Ausschusses Prüfungen: Eine Bestandsaufnahme der medizinischen Fakultäten in Baden-Württemberg. GMS Z Med Ausbild. 2010;27(4):Doc57. DOI: 10.3205/zma000694 Externer Link
6.
Reindl M, Holzer M, Fischer MR. Durchführung der Prüfungen nach den Leitlinien des GMA-Ausschusses Prüfungen: Eine Bestandsaufnahme aus Bayern. GMS Z Med Ausbild. 2010;27(4):Doc56. DOI: 10.3205/zma000693 Externer Link
7.
Möltner A, Duelli R, Resch F, Schultz JH, Jünger J. Fakultätsinterne Prüfungen an den deutschen medizinischen Fakultäten. GMS Z Med Ausbild. 2010;27(3):Doc44. DOI: 10.3205/zma000681 Externer Link
8.
Schuwirth LW, van der Vleuten CP. Programmatic assessment: From assessment of learning to assessment for learning. Med Teach. 2011;33(6):478-485. DOI: 10.3109/0142159X.2011.565828 Externer Link
9.
van der Vleuten CP, Schuwirth LW, Driessen EW, Dijkstra J, Tigelaar D, Baartman LK, van Tartwijk J. A model for programmatic assessment fit for purpose. Med Teach. 2012;34(3):205-214. DOI: 10.3109/0142159X.2012.652239 Externer Link
10.
Biggs JB. Enhancing teaching through constructive alignment. High Educ. 1996;32:347-364. DOI: 10.1007/BF00138871 Externer Link
11.
Loftus S, Gerzina T. Being a Health Professional Educator. In Loftus S, Gerzina T, Higgs J, Smith M, Duffy E (Hrsg). Educating Health Professionals: Becoming a University Teacher. Rotterdam: SensePublishers; 2013. S.3-14. DOI: 10.1007/978-94-6209-353-9_1 Externer Link
12.
Norcini J, Anderson B, Bollela V, Burch V, Costa MJ, Duvivier R, Galbraith R, Hays R, Kent A, Perrot V, Roberts T. Criteria for good assessment: Consensus statement and recommendations from the Ottawa 2010 Conference. Med Teach. 2011;33(3):206-214. DOI: 10.3109/0142159X.2011.551559 Externer Link
13.
Hahn EG, Fischer Mr. Nationaler Kompetenzbasierter Lernzielkatalog Medizin (NKLM) für Deutschland: Zusammenarbeit der Gesellschaft für Medizinische Ausbildung (GMA) und des Medizinischen Fakultätentages (MFT). GMS Z Med Ausbild. 2009;26(3):Doc35. DOI: 10.3205/zma000627 Externer Link
14.
Tremp R, Reusser K. Leistungsbeurteilung und Leistungsnachweise in Hochschule und Lehrerbildung - Trends und Diskussionsfelder. Beitr Lehrerbild. 2007;25(1):5-13.
15.
Nürnberger F. Handreichung Regelungen zu Prüfungen an Medizinischen Fakultäten und Fachbereichen. Berlin: Medizinischer Fakultätentag; 2010.
16.
Schuwirth LW, van der Vleuten CP. Assessing competence: Extending the appoaches to reliability. In: Hodges BD, Ligar L (Hrsg). The question of competence: reconsidering medical education in the twenty-fisrt century. Ithaca, New York: Cornell University Press; 2012. S.113-130.
17.
Jackson N, Jamieson A, Khan A. Assessment in medical education and training: a practical guide. Oxford, New York: Radcliffe; 2007.
18.
Lucke J. The a and the w of Congeneric Test Theory: An Extension of Reliability and Internal Consistency to Heterogeneous Tests. Appl Psychol Measure. 2005;29(1):65-81. DOI: 10.1177/0146621604270882 Externer Link
19.
Lucke J. The alpha and the omega of Congeneric Test Theory: An Extension of Reliability and Internal Consistency to Heterogeneous Tests. Appl Psychol Measure. 2005;29(1):65-81. DOI: 10.1177/0146621604270882 Externer Link