gms | German Medical Science

Prüfungen sind Messinstrumente für die Leistungsfähigkeit und besitzen wie alle Messinstrumente nur eine begrenzte Genauigkeit. Diese muss ausreichend hoch sein, damit Prüfungsergebnisse auch eine inhaltliche Aussagekraft aufweisen können. Für die Abschätzung der Messzuverlässigkeit der vergebenen Punktwerte in Prüfungen stehen etablierte Verfahren zur Verfügung (z. B. Cronbachs α), die Zuverlässigkeit der Entscheidung „bestanden/durchgefallen“ findet jedoch bei der Analyse und Bewertung von Prüfungen kaum Beachtung.

Dies ist insofern bemerkenswert, als gerade diese für den Studierenden eine deutlich höhere Bedeutung für den Studienverlauf aufweist als die Messzuverlässigkeit eines Punktwerts, ein „nicht bestanden“ führt zu Nacharbeitungsaufwand, Zeitverlust und u. U. zur Frage nach Fortsetzung oder Beendigung des Studiums. Auch auf Seiten der prüfenden Institution ist die Entscheidung von Bedeutung: Besitzt der Studierende die für die Fortsetzung des Studiums erforderlichen Kenntnisse und Fertigkeiten, führt ein ungerechtfertigtes „durchgefallen“ ebenfalls zu einem höheren Arbeitsaufwand. Lässt man andererseits einen Studierenden trotz fehlender Qualifikation bestehen, so sind nicht nur erhebliche Probleme bei der Fortführung des Studiums zu erwarten, sondern im medizinischen Bereich schlimmstenfalls Gefährdungen von Patienten nicht auszuschließen (vgl. [5]).

Das Thema hat in Deutschland im Bereich der medizinischen Ausbildung vermutlich auch deshalb bislang wenig Beachtung gefunden, als in den Studien- oder Prüfungsordnungen der meisten Fakultäten für das nach wie vor dominierende Prüfungsformat der Multiple-Choice-Prüfungen die Regularien der Ärztlichen Approbationsordnung im Wesentlichen übernommen wurden. Mit der dort rein formal festgelegten Bestehensgrenze von 60% der gestellten Aufgaben ist eine inhaltlich begründete, kriteriumsorientierte Festlegung der Mindestanforderungen nicht möglich. Unseres Wissens lässt es in Deutschland lediglich die Studienordnung der medizinischen Fakultät Heidelberg zu, bei Multiple-Choice-Klausuren ein Standard-Setting durchzuführen, d. h. von der formalen Regel einer 60%-Grenze abzuweichen und – ähnlich zum etablierten Standard-Setting bei einem OSCE – mit einem Standardvorgehen eine an inhaltlichen Kriterien orientierte Bestehensgrenze zu definieren [2], [5].

Die Etablierung neuer Prüfungsformate, mit denen neben reinem Fachwissen auch praktische Fertigkeiten, Qualifikationen und für die Ausübung des Arztberufs erforderliche Kompetenzen geprüft werden sollen, erfordert jedoch die Definition und bei Prüfungen die praktische Festlegung von Mindestanforderungen. Damit wird es auch erforderlich, bei der Beurteilung von Prüfungen oder Prüfungsformen der Entscheidungsgenauigkeit („decision accuracy“) und der Entscheidungskonsistenz („decision consistency“,„pass-fail-reliability“) eine hohe Aufmerksamkeit zu widmen [19]. Dabei bezeichnet die Entscheidungsgenauigkeit das Ausmaß, in dem Studierende, die den Mindestanforderungen genügen, in einer konkreten Prüfung bestehen und Studierende ohne hinreichende Kenntnisse durchfallen. Die Entscheidungskonsistenz ist die Übereinstimmung von „bestanden/durchgefallen“ in zwei äquivalenten Prüfungen, d. h. in zwei Prüfungen, die das selbe Wissen/die selben Fertigkeiten gleich gut messen. Man beachte hier, dass das „Selbe“ hier nicht impliziert, das die Prüfungen im testtheoretischen Sinn nur ein Konstrukt abfragen. Ein OSCE kann Stationen zu praktischen Fertigkeiten („Skills“) und zu kommunikativen Kompetenzen enthalten, die teststatistisch wie Unterskalen aufzufassen sind. Eine hierzu äquivalente Prüfung müsste dann auch in gleichem Umfang und Schwierigkeit praktische und Kommunikationsstationen enthalten.

Für den Fall einzelner Prüfungen sind – insbesondere seit den 1980er Jahren – eine Reihe von Verfahren zur Bestimmung von Genauigkeit und Konsistenz entwickelt worden, wenngleich noch keine dieser Methoden als „Standardprozedur“ angesehen werden kann (vgl. [6], [13], [14], [16], [18], [23], [25]). Zur Erlangung von Leistungsnachweisen in vielen medizinischen Fächern sind jedoch mehrere einzelne Prüfungen abzulegen, etwa eine schriftliche Prüfung für das theoretische Wissen und ein OSCE zur Prüfung der praktischen Fertigkeiten. Werden diese Prüfungsleistungen durch gewichtete Mittelungen oder Summierungen zu einem Gesamtscore verrechnet, kann die gesamte Prüfung wie eine „einzige“ behandelt werden.

Oft findet sich aber eine andere, inhaltlich durchaus begründete, Praxis: Statt die Prüfungsleistungen kompensatorisch zu verrechnen, müssen sämtliche Einzelprüfungen bestanden werden. Diese konjunktive Kombination (logische „und“-Verknüpfung) der Entscheidungen „bestanden“/durchgefallen“ hat erhebliche Auswirkungen auf die Genauigkeit/Konsistenz der Gesamtentscheidung, da eine einzige unzuverlässige Entscheidung bei einer Teilprüfung die Zuverlässigkeit der Gesamtentscheidung zunichte machen kann:

Praktische Anwendungsfälle sind hier z. B. Fächer, die die zu prüfenden Lehrinhalte auf mehrere Teilprüfungen aufteilen, um den Umfang einer einzelnen Prüfung zu begrenzen oder Fächer, in denen sowohl theoretisches Wissen wie auch praktische Fertigkeiten vermittelt werden und die deshalb eine schriftliche Prüfung für die Theorie und eine praktische für die Fertigkeiten durchführen. In diesen Fällen ist es häufig gerechtfertigt, das Erreichen von Mindeststandards in jeder Einzelprüfung zu fordern, statt eine Kompensation zu ermöglichen. Schließlich wird auch für das gesamte Studium eine konjunktive Kombination angewandt: Nur wer in allen Fächern bestanden hat, hat das Studium erfolgreich beendet.

Prüfungsleistungen können auch noch auf andere Weisen kombiniert werden. So sind neben den bereits erwähnten konjunktiven Verknüpfungen auch disjunktive (logische „oder“-Verknüpfungen) möglich, bei denen von mehreren Prüfungsteilen nur eine einzige bestanden werden muss. Ein Beispiel hierfür wären Wiederholungsprüfungen. Kann eine Prüfung einmal wiederholt werden, hat man insgesamt bestanden, wenn man die erste Prüfung besteht oder die zweite (dass ein Studierender zur zweiten Prüfung nicht antreten muss, wenn er bereits die erste bestanden hat, ist für die Logik ohne Belang). In der schulischen und universitären Praxis sind auch noch komplexere Regularien anzutreffen, wie z. B., dass drei von fünf möglichen Leistungsscheinen erworben werden müssen.

Zur Entscheidungszuverlässigkeit bei komplexen Kombinationen von Prüfungsleistungen liegen nur wenige Arbeiten vor [24], ein allgemein einsetzbares Analyseverfahren wurde von Douglas und Mislevy vorgeschlagen [7], [8]. Mit diesem soll in der vorliegenden Studie exemplarisch der fächerübergreifende Leistungsnachweis Allgemeinmedizin/Innere Medizin/Klinische Chemie der medizinischen Fakultät Heidelberg des Wintersemesters 2012/13 untersucht werden, für dessen Erwerb zwei Klausuren und ein OSCE unabhängig voneinander bestanden werden müssen. Dabei steht jedem Studierenden für jede Einzelprüfung die Möglichkeit zweier Prüfungswiederholungen offen.

Der „fächerübergreifende Leistungsnachweis“ (FÜL) ist eine Besonderheit der deutschen Approbationsordnung, nach der im Medizinstudium jede Fakultät mehrere Fächer zu einem gemeinsamen Leistungsnachweis bündeln muss. Diese juristische Vorgabe ist für die folgenden statistischen Betrachtungen jedoch ohne Bedeutung, das Verfahren von Douglas und Mislevy zielt auf die Genauigkeit und Zuverlässigkeit einer komplexen Entscheidung über „bestanden“/„nicht bestanden“ ab, die durch eine Kombination von Einzelentscheidungen gewonnen wird. Ungeachtet der formaljuristischen Begrifflichkeit bei einem FÜL sollen auch hier die Bezeichnungen „Gesamtprüfung“ (für den gesamten Leistungsnachweis) und „Einzel-“ oder „Teilprüfungen“ (für die einzelnen Fachprüfungen) Verwendung finden.

Intention der Arbeit ist, ein für die Analyse der Entscheidungszuverlässigkeit von „bestanden/durchgefallen“ geeignetes Verfahren am Beispiel einer zusammengesetzten Prüfung darzustellen und damit als wesentlichen Bestandteil der Qualitätssicherung von Prüfungen zu etablieren.

Ausgangspunkt ist die Annahme, dass die zu prüfenden Studierenden bezüglich ihrer Kenntnisse/Fertigkeiten unterteilt werden können in solche, welche die Mindestanforderungen erfüllen („Master“, „competent examinee“) und solche, die ihnen nicht genügen („Non-Master“, „incompetent examinee“). Bei einer Prüfung in einem Fach könnte eine solche Definition z. B. darin bestehen, dass ein Lernzielkatalog existiert und als „Master“, definiert wird, welcher z. B. 70% dieser Lernziele beherrscht.

In einer konkreten Prüfung wird dann eine Auswahl von Lernzielen getroffen, die geprüft werden und eine Bestehensgrenze festgelegt. Diese Bestehensgrenze könnte dann z. B. ebenfalls mit 70% angesetzt werden. So würde z. B. ein Studierender, der 90% aller Lernziele beherrscht, mit großer Wahrscheinlichkeit diese Grenze überschreiten, hingegen jemand, der 72% beherrscht und demzufolge ebenfalls die Mindestanforderungen erfüllt („Master“), wird aber möglicherweise Pech haben und durchfallen. Analoges gilt für Studierende knapp unterhalb der Grenze zum Master, die mit etwas Glück bestehen. Eine eingehendere Diskussion des Unterschieds zwischen der Definition eines Master („performance standard“) und der Bestehensgrenze („passing score“) findet sich etwa in [12] (s. auch [2], [5]).

Abhängig vom Ziel der Prüfung kann die Bestehensgrenze variiert werden, prüft man strenger (höhere Bestehensgrenze) vermindert man die Wahrscheinlichkeit, einen Non-Master bestehen zu lassen, erhöht aber gleichzeitig das Risiko, einen Master fehlzuklassifizieren, indem er durchfällt. Dies ist völlig analog zu diagnostischen Test, die einem „Goldstandard“ (das entspräche dem Wissen, ob jemand Master oder Non-Master ist) ein tatsächliches Testergebnis gegenüberstellen. Fasst man die Prüfung als Test zur „Diagnose“ der Non-Master auf, so besitzt dieser eine gewisse Sensitivität (die Wahrscheinlichkeit, Non-Master durchfallen zu lassen) und eine Spezifität (Wahrscheinlichkeit, dass ein Master besteht). Änderungen des „Cut-Off“-Punkts des Testwerts führen zu einer Erhöhung oder Verringerung der Sensitivität bei gleichzeitiger Verringerung bzw. Erhöhung der Spezifität.

Das Ausmaß, mit dem man durch die Prüfung Master und Non-Master erkennen kann, wird als „Entscheidungsgenauigkeit“ bezeichnet. Der vollständigen Darstellung dient die linke Vierfeldertafel in Tabelle 1 [Tab. 1], die die Relativanteile für Master/Prüfung bestanden, Master/Prüfung nicht bestanden, Non-Master/bestanden und Non-Master/nicht bestanden aufführt.

Werden zwei äquivalente Prüfungen durchgeführt, so ist der Grad der Übereinstimmung der beiden Prüfungsergebnisse die Entscheidungskonsistenz („decision consistency“, „pass-fail reliability“). Die analoge Vierfeldertafel zeigt Tabelle 1 [Tab. 1] rechts. Bei Äquivalenz der Prüfungen muss der Anteil von Studierenden, der in der ersten Prüfung besteht und in der zweiten nicht, genau so groß sein, wie der, die in der ersten durchfallen und in der zweiten bestehen.

Die beiden in der Literatur am häufigsten verwendeten Kennmaße für die Entscheidungsgenauigkeit und die -konsistenz sind die relative Zahl der Korrektentscheidungen P_a (entspricht der „Korrektklassifikationsrate“ in diagnostischen Tests) bzw.Übereinstimmungen P_c [11] und Cohens κ [4] (für seine Verwendung im Zusammenhang mit Sensitivität und Spezifität diagnostischer Tests s. [3]). Cohens κ korrigiert die Zahl der Korrektentscheidungen P_a und der Übereinstimmungen P_c um den Effekt, der unter Zufall aus den Randsummen der Vierfeldertafel zu erwarten wäre. Die entsprechenden Werte seine durch κ_a bzw. κ_c bezeichnet.

κ nimmt bei vollständiger Übereinstimmung maximal den Wert 1 an. Die Verwendung von κ als Maß der Übereinstimmung wird mancherorts kritisiert (z. B. [10]) und andere Alternativen propagiert. Unseres Erachtens besitzen in diesem Zusammenhang alle Koeffizienten jedoch den Nachteil, dass bei Reduktion auf einen einzigen Index wesentliche Informationen verlorengehen. Es sollte deshalb zur Beurteilung einer Prüfung immer die gesamte Vierfeldertafel herangezogen werden.

In der Literatur wird eine Vielzahl von Verfahren zur Bestimmung der Entscheidungskonsistenz von einzelnen Prüfungen dargestellt, bekannt sind etwa das Verfahren von Livingston-Lewis [16] oder das von Peng-Subkoviak [18]. Übersichten und Vergleiche finden sich etwa bei [6], [13], [14], [23], [25]. Unseres Erachtens kann zum gegenwärtigen Zeitpunkt keine eindeutige Präferierung unter den verschiedenen Methoden vorgenommen werden.

Das Verfahren von Douglas und Mislevy [7]‚ [8] dient zur Bestimmung der Entscheidungsgenauigkeit und konsistenz bei komplexen Entscheidungsregeln aus den Einzelprüfungen. Voraussetzung ist, dass die Daten der Einzelprüfungen durch eine multivariate Normalverteilung beschrieben werden können und die Reliabilitäten der Prüfungen bekannt sind. In der Praxis sind die Verteilungen von Prüfungsergebnissen jedoch nicht normalverteilt, weshalb eine adäquate Transformation der Daten vorgenommen werden muss. Für die genaue Beschreibung des Vorgehens muss hier auf die Originalliteratur [7], [8] verwiesen werden.

Zum Verständnis sei ein einfaches fiktives Beispiel für die Bestimmung der Entscheidungsgenauigkeit mit zwei Einzelprüfungen graphisch dargestellt (siehe Abbildung 1 [Abb. 1]). Insgesamt hat bestanden, wer beide Einzelprüfungen bestanden hat (konjunktive Verknüpfung).

Abbildung 1a [Abb. 1] stellt die Verteilung der Prüfungsergebnisse dar. Die Teilnehmer, deren Ergebnisse im gelben Teil der Verteilung liegen, haben beide Einzelprüfungen und somit auch insgesamt bestanden (in der Tabelle 1 [Tab. 1] ist das der Anteil a₁₊₂). Orange unterlegt ist der Teil der Verteilung, bei dem eine Einzelprüfung bestanden und eine nicht bestanden wurde. Insgesamt haben diese Personen damit nicht bestanden, ebenso natürlich wie diejenigen, die keine der beiden Einzelprüfungen bestanden haben (braun unterlegt). Der Anteil des im Grundriss "L-förmige" Bereichs (orange und braun) derjenigen, die insgesamt nicht bestehen ist in Tabelle 1 [Tab. 1] mit a₃₊₄ bezeichnet.

Im Verfahren von Douglas und Mislevy wird nach dem Modell der klassischen Testtheorie und der Normalverteilungsannahme die Verteilung der „wahren Werte“ bestimmt, also die Verteilung der Werte, wenn diese messfehlerfrei gemessen worden wären. Hierzu müssen die Reliabiltäten der Einzelprüfungen bekannt sein. Die resultierende Verteilung besitzt eine deutlich geringere Varianz. Auf der Ebene der wahren Werte sind „Master“ und „Non-Master“ definiert. Abbildung 1b [Abb. 1] zeigt diese Verteilung, die Master sind diejenigen, die in beiden abgeprüften Inhalten die Mindestanforderungen erfüllen (grüner Bereich, in Tabelle 1 [Tab. 1] a₁₊₃), Non-Master die, die mindestens bei einem Gebiet der beiden Einzelprüfungen die Mindestanforderung nicht erfüllen (im Grundriss "L förmiger" roter Bereich, a₂₊₄ in Tabelle 1 [Tab. 1]).

Zur Bestimmung der Entscheidungsgenauigkeit wird nun im Modell betrachtet, wie die Ergebnisse der Master verteilt sind (siehe Abbildung 1c [Abb. 1]). Aufgrund der Messfehler der Prüfungen fällt ein Teil der Master durch (dunkelgrüner Bereich). Der hellgrüne Bereich stellt also den Anteil der Master dar, die insgesamt bestehen (in der Tabelle 1 [Tab. 1] das a₁), der dunkelgrüne den der Master, die insgesamt durchfallen (siehe Tabelle 1 [Tab. 1] a₃).

Die entsprechende Abbildung für die Non-Master ist Abbildung 1d [Abb. 1]. Diese ist zur besseren Sichtbarkeit der Grenzlinien aus einer anderen Perspektive dargestellt. Hellrot ist der Anteil der Non-Master, die insgesamt nicht bestehen, dunkelrot derer, die insgesamt bestehen (in Tabelle 1 [Tab. 1] a₄ bzw. a₂).

Fasst man die beiden Verteilungen der Master und Non-Master in Abbildung 1c [Abb. 1] und 1d [Abb. 1] zusammen, so ergibt sich wieder die Gesamtverteilung der Prüfungsergebnisse der Abbildung 1a [Abb. 1].

Ziel der Studie ist eine Analyse der Ergebnisse der Prüfungen für den fächerübergreifenden Leistungsnachweis Innere Medizin/Allgemeinmedizin/Klinische Chemie an der medizinischen Fakultät Heidelberg des Wintersemesters 2012/2013. Der Leistungsnachweis besteht aus der schriftlichen Klausur Innere Medizin/Allgemeinmedizin, einer praktisch-mündlichen Prüfung (OSCE) und der Klausur Klinische Chemie. Zusätzlich sind zur Erlangung des Leistungsnachweises noch ein Patientenbericht zu erstellen, ein MiniCEX abzulegen und zur Prüfung professionellen Verhaltens Encounter Cards einzuholen. Da bei diesen die Bestehensrate jeweils 100% beträgt, besitzen sie hier keine Relevanz. Für die Auswertung wurden nur die Studierenden berücksichtigt, die an allen drei Prüfungen teilgenommen haben (N=147). Die Basisdaten der Prüfungen sind in Tabelle 2 [Tab. 2] aufgeführt. Insgesamt sind 7 der 147 Teilnehmer an allen drei Prüfungen bei wenigstens einer Teilprüfung durchgefallen.

Für die Klausuren in den Fächern Klinische Chemie und Innere Medizin wurde als Master definiert, wer 60% der Aufgaben im zugrundeliegenden Aufgabenpool der jeweiligen Fächer zutreffend löst. Für den OSCE ist als Master definiert, wessen durchschnittlich erreichte Punktzahl in OSCE-Stationen des Faches die durch das Standard-Setting festgelegte Punktzahl erreicht („performance standard“, [5]).

Als Bestehensgrenzen für die Klausuren wurden jeweils 60% der erreichbaren Punktzahlen bei den tatsächlich gestellten Aufgaben gewählt, beim OSCE war Bestehensgrenze das Mittel der im Standard-Setting festgelegten Punktzahlen der verwendeten Stationen („passing score“).

Die Analyse der Entscheidungsgenauigkeit und der -konsistenz von „bestanden“/„durchgefallen“ erfolgt im Wesentlichen mit dem von Douglas und Mislevy vorgeschlagenen Verfahren [7], [8].

Das Verfahren von Douglas und Mislevy macht keine Annahmen über die interne testtheoretische Struktur der Einzelprüfungen noch über die zwischen den einzelnen Prüfungen. Insbesondere müssen die Einzelprüfungen nicht homogen oder eindimensional sein, noch muss durch das Gesamt der Prüfungen eine „einheitliche“ Leistungsdimension abgebildet werden. Voraussetzung ist jedoch, dass die Daten hinreichend gut durch eine Normalverteilung beschrieben werden und die Messzuverlässigkeiten (Reliabilitäten) der Einzelprüfungen adäquat abgeschätzt werden.

Da die Punktwerte der Prüfungen jeweils hochsignifikant von Normalverteilungen abweichen (Shapiro-WilksTests: alle p<0,0008), wurden die Daten einer multivariaten Box-Cox-Transformation unterworfen [1]. Für die so transformierten Daten ergab ein Test auf Abweichung von einer trivariaten Normalverteilung mittels des verallgemeinerten Shapiro-Wilks-Tests von Villasenor-Alva und Gonzalez-Estrada [22] ein p=0,8467 (MVW=0,9929), so dass von einer hinreichend guten Anpassung der Daten ausgegangen werden kann. Im Unterschied zu der in der Arbeit von Douglas und Mislevy verwendeten normalisierenden Rangtransformation, wird mit dieser Transformation eine Anpassung an eine multivariate Normalverteilung angestrebt. Zur Abschätzung der Reliabilität der Einzelprüfungen wurde der Koeffizient λ₂ von Guttman gewählt, der eine leicht bessere Schätzung für die Mindestreliabilität als Cronbachs α (=Guttmans λ₃) erlaubt [9].

Die Vierfeldertafeln von Entscheidungsgenauigkeit und -konsistenz für die Einzelprüfungen und ihrer konjunktiven Verknüpfung wurden durch numerische Integration der multivariaten Normalverteilungen mit dem Algorithmus von Miwa, Hayter und Kuriki [17] bestimmt.

Die Analyse unter Berücksichtigung zweier Wiederholungsmöglichkeiten für jede Einzelprüfung ist insofern eher theoretischer Natur, als anzunehmen ist, dass Studierende, die eine Prüfung nicht bestanden haben, auf die Wiederholungsprüfung konzentriert lernen. In der hier vorgenommenen Analyse wird angenommen, dass die Studierenden diese Prüfungen mit demselben Wissenstand ablegen wie die erste. Für die zur Bestimmung der Kennwerte erforderliche Integration einer höherdimensionalen Normalverteilung ist der Algorithmus von Miwa et al. [17] ungeeignet, so dass diese Analyse wie in [8] durch Monte-Carlo-Integration erfolgte. Insgesamt wurden hierzu 100.000 simulierte Datensätze erzeugt um eine ausreichende Genauigkeit der Ergebnisse zu gewährleisten.

Für die einzelnen Prüfungen ergeben sich die Vierfeldertafeln in Tabelle 3 [Tab. 3], Tabelle 4 [Tab. 4] und Tabelle 5 [Tab. 5]. Die aus dem Normalverteilungsmodell resultierende geschätzten Anzahl von Prüfungsteilnehmern, die die Prüfung nicht bestehen, sind: Durchfallquote des Modells ×N=0,0331×147=4,9 für die Klausur Innere Medizin, 3,0 für Klinische Chemie und 1,9 für den OSCE. Damit weichen diese Raten nur wenig von der Zahl der tatsächlich durchgefallenen Studierenden 4, 5 bzw. 1 ab (siehe Tabelle 2 [Tab. 2]). Bei allen drei Prüfungen sind Cohen’s κ-Koeffizienten κ_a (Entscheidungsgenauigkeiten) und κ_c (Entscheidungskonsistenzen) niedrig.

Für die konjunktive Kombination der drei Prüfungen sind Entscheidungsgenauigkeit und -konsistenz in Tabelle 6 [Tab. 6] aufgeführt. Gemäß dem Modell von Douglas und Mislevy wäre zu erwarten, dass 7,8 Teilnehmer (= Durchfallquote des Modells ×N=0,0531×147=7,8) nicht bestehen, tatsächlich sind 7 Teilnehmer durchgefallen (mehrere der Studierende haben mehr als eine Prüfung nicht bestanden), so dass auch hier eine zufriedenstellende Übereinstimmung des Modells und der tatsächlichen Daten vorliegt. Die Prüfungslogik führt zu einer klaren Aussortierung der Studierenden, die den Anforderungen nicht genügen, der Anteil von Non-Mastern, die bei allen drei Prüfungen bestehen, beträgt insgesamt nur 0,004 (wobei jedoch berücksichtigt werden muss, dass deren Gesamtanteil lediglich bei 0,0232 liegt). Die „Sensitivität“ zur Entdeckung von Non-Mastern beträgt 82%, die „Spezifität“ liegt bei 97%, der positive Vorhersagewert ist mit 36% jedoch gering.

Die Entscheidungskonsistenz (Wiederholung mit drei jeweils äquivalenten Prüfungen) erreicht mit κ_c=0,474 keinen befriedigenden Wert. 94,7% der Prüfungsteilnehmer würden gleich klassifiziert werden (P_c) d. h. bei 5,3% der Teilnehmer erhielte man unterschiedliche Aussagen zum Bestehen des gesamten Leistungsnachweises.

Insgesamt kann jede der drei Prüfungen Innere Medizin, Klinische Chemie und der OSCE zweimal wiederholt werden, bevor der Studierende endgültig nicht bestanden hat. Logisch bedeutet das, dass ein Studierender eine von drei Klausuren Innere Medizin, eine von drei Prüfungen in Klinischer Chemie und einen von drei OSCEs bestanden haben muss. Innerhalb eines Prüfungsformats wird die Entscheidung bestanden/nicht bestanden also disjunktiv verknüpft, diese drei Teilentscheidungen sodann konjunktiv (siehe Abbildung 2 [Abb. 2]). Die Tatsache, dass ein Studierender, der eine erste Prüfung bestanden hat, gar nicht zu einer weiteren antritt, ist für die Entscheidungslogik ohne Belang.

In Tabelle 7 [Tab. 7] sind die Vierfeldertafeln für die Entscheidungsgenauigkeit und -konsistenz unter der Annahme dargestellt, dass ein Studierender in allen Prüfungen mit dem selben Wissensstand antritt.

Bedeutend ist hier vor allem, dass von den 2,32% der Studierenden (a₂₊₄=0,0232), die die Anforderungen nicht erfüllen (Non-Master), mehr als die Hälfte (a₂=0,0124) den Leistungsnachweis schlussendlich doch erhalten würde, d. h. durch die Möglichkeit der Wiederholungen wird nur noch ein Teil der Studierenden, die den Anforderungen nicht genügen, vom Weiterstudium ausgeschlossen (man beachte den substantiellen Unterschied zu den Ergebnissen des vorigen Abschnitts, bei dem der entsprechende Wert mit a₂=0,0040 in Tabelle 6 [Tab. 6] gegenüber 0,0124 in Tabelle 7 [Tab. 7] deutlich niedriger ist).

Entscheidungsgenauigkeit: Alle drei Einzelprüfungen weisen eine insgesamt zufriedenstellende Reliabilität auf (siehe Tabelle 2 [Tab. 2]). Von den „Non-Mastern“, die insgesamt nur einen Anteil von 0,5 – 1,8% (siehe Tabellen 3 [Tab. 3][Tab. 4] bis 5 [Tab. 5], a₂₊₄) der Prüfungsteilnehmer ausmachen, besteht aber jeweils ein knappes Drittel die Prüfungen (a₂). Der relative Anteil der Master, die die Prüfung nicht bestehen ist in allen Fällen gering (a₃), in absoluten Zahlen sind dies aber jeweils deutlich mehr als Non-Master an der Prüfung teilnehmen, so dass bei allen drei Prüfungen mehr als doppelt so viel Kandidaten durchfallen als Non-Master in der Gruppe anzunehmen sind.

Entscheidungskonsistenz: Die Zuverlässigkeit der Entscheidung „durchgefallen“ muss als unzufriedenstellend eingestuft werden. Von denjenigen, die durchfallen, würden etwa 60–65% bei einer äquivalenten Wiederholungsprüfung bestehen. Die geringe Entscheidungskonsistenz zeigt sich auch in den niedrigen κ_c-Werten von 0,33–0,41

Entscheidungsgenauigkeit: Die Vierfeldertafel der Entscheidungsgenauigkeit für die konjunktive Verknüpfung der drei Prüfungen (siehe Tabelle 6 [Tab. 6]) zeigt, dass von den 2,3% Non-Mastern (also Studierende, die in mindestens einem der drei Fächer den Mindestansprüchen nicht genügen), lediglich 17% bestehen (a₂/a₂₊₄=0,040/0,232=0,0172). Es erhöht sich jedoch der relative Anteil an Mastern, die durchfallen auf 3,5% (a₃/a₁₊₃=0,0348), bei den Einzelprüfungen lag dieser Anteil bei höchstens 2%. Auch hier fallen deutlich mehr Prüflinge durch (5,3%, a₃₊₄) als Non-Master teilnehmen. Cohens κ_a ist mit 0,49 fast genauso hoch wie das des besten κ_a bei den Einzelprüfungen (Klausur Innere Medizin), geringer ist der Anteil an Korrektklassifikationen mir P_a=0,96. Die Aussage, dass bei konjunktiven Verknüpfungen die Prüfung mit der schlechtesten Entscheidungsgenauigkeit dominiert ist demzufolge etwas differenzierter zu beurteilen.

Berücksichtigt man die Tatsache, dass jedem Studierenden zwei Wiederholungsmöglichkeiten zur Verfügung stehen (siehe Tabelle 7 [Tab. 7]), so müssen unter der Annahme, dass die Studierenden mit dem selben Wissen oder Können in äquivalente Wiederholungsprüfungen gehen, nur 47% der Non-Master den Leistungsnachweis endgültig nicht erhalten (a₄/a₂₊₄=0,0108/0,0232=0,4655). Bei den Mastern ist der Anteil mit 2.3‰ verschwindend gering (a₃/a₁₊₃=0,0022/0,9768=0,0023). Damit ist die Prüfungsstruktur mit den beiden Wiederholungsmöglichkeiten für jede Einzelprüfung offensichtlich nur wenig geeignet, die Non-Master zuverlässig zu erkennen.

Entscheidungskonsistenz: Bei der konjunktiven Verknüpfung der drei Prüfungen ist die Stabilität der Entscheidung „durchgefallen“ ebenfalls nicht zufriedenstellend, aber etwas besser als in den Einzelprüfungen. Bei einem äquivalenten Prüfungskomplex, bestehend aus den Prüfungen in den drei Fächern, würde etwas mehr als die Hälfte die Prüfung bestehen. Wird als Index für die Konsistenz κ_c verwendet, so ist dieser mit 0,47 höher als bei jeder Einzelprüfung.

Bei Berücksichtigung der Wiederholungsmöglichkeiten zeigt sich ein ähnliches Bild, nur etwas mehr als die Hälfte der Studierenden, die letztendlich durchfallen, würden bei einem „Neustart von Anfang an“ erneut ihr Studium abbrechen müssen.

Zusammenfassend muss festgestellt werden, dass die Entscheidung „bestanden“/„durchgefallen“ sowohl hinsichtlich ihrer Genauigkeit als auch ihrer Konsistenz mit den durchgeführten Prüfungen einer Verbesserung bedarf. Durch die Wiederholungsmöglichkeiten ist auch ein „Aussieben“ der Non-Master nicht zuverlässig möglich, andererseits besteht kaum Gefahr, dass jemand, der den Anforderungen genügt, auf Grund ein- oder mehrfachen Pechs bei Prüfungen sein Studium beenden muss.

Als Grund hierfür könnte zunächst das Normalverteilungsmodell für das Ergebnis verantwortlich gemacht werden. Um bei niedrigen Nichtbestehensquoten eine akzeptable Entscheidungsgenauigkeit und -konsistenz zu erreichen, benötigt man eine äußerst hohe Reliabilität (für den κ_c-Koeffizienten ist eine entsprechende Tabelle in [21] angegeben). Diese Eigenschaft ist jedoch nicht spezifisch für die Normalverteilung, hier nicht dargestellte Analysen für andere Verteilungsannahmen führen zu ähnlichen Resultaten. Bei den üblichen Annahmen für die Verteilungsform der Punktzahlen in Prüfungen liegen bei niedrigen Nichtbestehensquoten und nicht exzessiv hohen Reliabilitäten die meisten Non-Master in der Nähe der Bestehensgrenze. Dies ist unabhängig davon, ob es sich um eine (z. B. gesetzlich vorgegebene) formale, norm- oder kriteriumsorientierte Grenze handelt. Deshalb besteht eine relativ hohe Wahrscheinlichkeit, dass die Non-Master „mit etwas Glück“ bestehen, so dass bei diesen weder eine hohe Genauigkeit noch Konsistenz zu erwarten ist.

Die wesentliche Beschränkung des Verfahrens von Douglas und Mislevy ist die Annahme einer multivariaten Normalverteilung. Bei den hier analysierten Prüfungen war durch eine multivariate Box-Cox-Transformation eine akzeptable Normalisierung der Daten möglich, was für die Daten anderer Prüfungen nicht in jedem Fall gelingen wird. Weiter impliziert die Annahme einer multivariaten Normalverteilung für die wahren Werte und Messfehler einen konstanten Messfehler. An der Bestehensgrenze kann der Messfehler jedoch deutlich höher sein und zu einer Überschätzung der Entscheidungsgenauigkeit führen. Andererseits sind die Verteilungen der beobachteten Punktwerte deutlich linksschief, durch die normalisierende Transformation werden die Werte sehr schlechter Studierender „näher’ an die Bestehensgrenze gerückt, womit sie in der Analyse eher zur Gruppe derjenigen zählen, für die aufgrund der Messungenauigkeit fehlerhafte oder inkonsistente Entscheidungen zu erwarten sind, obwohl sie in der Originalskala zuverlässig als Non-Master erkannt werden.

Bei niedrigen Nichtbestehensraten, wie sie in der analysierten Prüfung auftreten, wäre zum Erreichen einer ausreichenden Zuverlässigkeit der Entscheidung „bestanden“/„durchgefallen“ eine hochreliable Prüfung erforderlich. Dies ist insofern nicht überraschend, als bei einer Prüfung mit den üblicherweise angestrebten Messzuverlässigkeiten ein Großteil der Aufgaben gute Trenneigenschaften für den Großteil der Probanden aufweist, für die Separation der dünn besetzten Extremgruppen aber wenig Informationen liefert. Ein – in der üblichen Prüfungspraxis der Universitäten zwar schwer etablierbares – Vorgehen wäre die Durchführung von zwei Prüfungen: Die erste dient der üblichen Bewertung der studentischen Leistungen, die zweite wird speziell zur Identifikation von Mastern und Non-Mastern mit spezifisch für diesen Zweck selegierten Aufgaben durchgeführt (auf letzteres hat bereits Kane [12], p. 430) hingewiesen. In der ersten Prüfung wird eine relativ hohe Bestehensgrenze eingesetzt, mit der die Wahrscheinlichkeit, dass ein Non-Master besteht, sehr gering bleibt. Die verbleibende Gruppe besteht dann aus (schlechten) Mastern und Non-Mastern, die im zweiten Test möglichst gut zu separieren ist. Methoden der optimalen Aufgabenwahl finden sich in der Literatur zu „(computerized) classification tests“ (CCT) (z. B. [20], [15]).

Das Verfahren von Douglas und Mislevy ist dazu geeignet, Prüfungen, die sich aus mehreren Teilprüfungen zusammensetzen und bei denen die Gesamtentscheidung über „bestanden/durchgefallen“ das Resultat einer komplexen Verknüpfung der Einzelergebnisse ist, hinsichtlich der Entscheidungsgenauigkeit und -konsistenz dieser Gesamtentscheidung zu analysieren. Praktisch bedeutsam sind vor allem konjunktive Verknüpfungen (jede einzelne Prüfung muss bestanden werden) oder disjunktive Verknüpfungen (von mehreren Prüfungen muss nur eine bestanden werden, dies gilt etwa für Wiederholungsprüfungen).

Als Beispiel wurde der für die gegenwärtige deutsche Medizinerausbildung bedeutsame Fall eines „fächerübergreifenden Leistungsnachweises“ gewählt. In diesem Beispiel werden theoretische und praktische Prüfungen verschiedener Fächer kombiniert, zum Bestehen ist das Bestehen jeder einzelnen Prüfung erforderlich. Für jede Einzelprüfung stehen dem Studierenden zwei Wiederholungsmöglichkeiten zur Verfügung.

Mit dem Verfahren von Douglas und Mislevy konnten Entscheidungsgenauigkeit und konsistenz des Leistungsnachweises erfolgreich analysiert werden, es zeigte sich eine hohe Übereinstimmung des Modells mit den Daten.

Die Analyse zeigte auch eine wesentliche Problematik von Prüfungen bei niedrigen Durchfallquoten auf: Mit Prüfungen, die den gewöhnlichen Ansprüchen an eine hinreichende Reliabilität entsprechen, sind diese nur schwer zuverlässig zu identifizieren. Erforderlich wären zielgerichtete Klassifikationstests mit entsprechender Aufgabenwahl zur Identifikation der „Master“ und „Non-Master“.

Eine Analyse von Entscheidungsgenauigkeit und -konsistenz sollte bei relevanten Prüfungen allgemein durchgeführt werden. Die Beschränkung auf das Normalverteilungsmodell muss noch als erheblicher limitierender Faktor betrachtet werden, es ist zu hoffen, dass geeignete Verfahren mit schwächeren Verteilungsannahmen (z. B. multivariate Betabinomialverteilungen) oder verteilungsfreie Methoden entwickelt werden.

Die Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.