gms | German Medical Science

Eine kompetenzbasierte medizinische Ausbildung („competency based medical education“ – CBME) ist insbesondere in den letzten 20 Jahren in den Fokus des Interesses der Curriculumsentwicklung an den medizinischen Fakultäten und der Gesundheitspolitik gerückt [3], [26]. Konsequenterweise muss sich dies auch in den Leistungserfassungen widerspiegeln [5]. Dies hat zu einer wahren Flut an Veröffentlichungen zum Thema kompetenzbasierten Prüfens geführt (man vergleiche hierzu die kritische Diskussion in [11]), wobei insbesondere praktische und arbeitsplatzbasierte Verfahren zur Erfassung von Kommunikationskompetenz, Handlungskompetenz u. ä. im Zentrum stehen. Weniger Aufmerksamkeit haben Prüfungen mittels traditioneller Multiple-Choice-Aufgaben in diesem Zusammenhang erfahren, da – ausgehend von Kompetenzen als primär handlungsbezogen – der reinen Erfassung von Wissen eine geringere Bedeutung zugesprochen wird. Dennoch ist Wissen eine wesentliche Voraussetzung kompetenter Handlungen, welches mittels „kompetenzorientierter Wissenstests“ [23] erfasst werden kann. Hierfür bieten MC-Fragen nach wie vor erhebliche Vorteile: Auf Grund der im Allgemeinen kurzen Bearbeitungszeit einer Aufgabe kann in einer Prüfung eine hohe Zahl von Fragen gestellt werden, die damit – relativ zum Zeitaufwand – eine deutlich bessere Abdeckung und Repräsentativität für den zu prüfenden Lehrinhalt erlaubt als aufwändig zu korrigierende offene schriftliche Frageformate oder praktische Prüfungsformen. Zudem sind Objektivität und eine hohe Reliabilität leichter zu erreichen als etwa mit arbeitsplatzbasierten Prüfungen, bei denen die Gefahr besteht, dass ihre augenscheinlich höhere Validität durch ungenügende Standardisierung zunichte gemacht wird.

Im Rahmen des vom BMBF geförderten Verbund-Projekts „Medical Education Research – Lehrforschung im Netz BW“ (MERLIN, http://www.merlin-bw.de/) wurde im Jahr 2013 vom Kompetenzzentrum für Prüfungen in der Medizin/Baden-Württemberg ein „studentischer kompetenzorientierter Progresstest“ (SKPT) konzipiert.

Progresstests sind in der medizinischen Ausbildung anerkannte und eingesetzte Verfahren, um den Lernfortschritt im Verlauf des Studiums abzubilden [28]. Dazu wird Studierenden aller Ausbildungsstufen (Studienjahre) derselbe Test vorgelegt. Bei hinreichender Sicherung der Äquivalenz der Tests (gleiche Schwierigkeit) in aufeinanderfolgenden Jahren, kann für den Studierenden sein Lernfortschritt im Laufe seiner Ausbildung abgebildet und entsprechendes Feedback gegeben werden. Progresstests werden auch in Deutschland an verschiedenen Fakultäten durchgeführt [18] und haben Progresstests haben vornehmlich zwei Funktionen: Einerseits geben sie Studierenden ein fortlaufendes Feedback über ihren individuellen Wissensstand im Studium, andererseits bieten sie für die Fakultäten die Möglichkeit, Curricula zu monitoren, Leistungsfortschritte in unterschiedlichen Kohorten zu beobachten und verschieden gestalteten Curricula zu vergleichen [24], [34].

Die Aufgabenzusammenstellung des SKPT beruht auf einem zweidimensionalen Blueprint, dessen eine Achse aus den inhaltlich in acht Gruppen zusammengefassten Fächern der Approbationsordnung und dessen andere Achse aus den in fünf Kompetenzbereiche gruppierten Einzelkompetenzen des Nationalen kompetenzbasierten Lernzielkatalogs Medizin (NKLM) [4] besteht. Der Blueprint wurde von drei interfakultären und interdisziplinären Expertengruppen gebildet, die die Aufgabe hatten, die Gebiete des NKLM in Clustern von „Kompetenzbereichen“ zusammenzustellen sowie für die Leistungsnachweise der ÄAppO „Fächergruppen“ zu bilden, wobei diese Gruppen jeweils vorklinische und klinische Fächer möglichst ausgewogen enthalten sollten (siehe Tabelle 1 [Tab. 1] und Tabelle 2 [Tab. 2]).

Eine Besonderheit dieses Progresstests ist, dass die Aufgaben von Studierenden erstellt werden, die hierfür in mehrfach jährlich stattfindenden Workshops geschult werden. Die teilnehmenden Studierenden erstellen dabei anhand der im NKLM definierten Kompetenzen Fragen mit Bezug zu den Fächergruppen, um die Zellen des Blueprints in Tabelle 2 [Tab. 2] zu füllen. Die Zahl der vorhandenen Fragen je Zelle wird fortlaufend dokumentiert, so dass insbesondere gegen Ende des Prozesses der Aufgabenerstellung gezielt nur noch Fragen für nicht gefüllte Zellen formuliert werden müssen. Für eine detaillierte Darstellung sei auf [33] verwiesen.

Der Progresstest wird (seit 2015 in Kooperation mit dem Institut für Kommunikations- und Prüfungsforschung gGmbH) jährlich im November/Dezember durchgeführt. Teilnehmen können alle Studierenden der Humanmedizin aus Medizinischen Fakultäten, an denen der SKPT angeboten wird, im Jahr 2017 waren dies 16 Medizinische Fakultäten: Dresden, Erlangen-Nürnberg, Freiburg, Gießen, Hannover, Heidelberg, Homburg, Krems (A), Leipzig, Magdeburg, Mannheim, Marburg, LMU München, Tübingen, Ulm und Witten/Herdecke. Mit Ausnahme der Karl-Landsteiner-Privatuniversität in Krems war die Teilnahme freiwillig.

Der Test besteht aus 120 MC-Fragen des Typs A (eine korrekte Antwort aus vier oder fünf Antwortoptionen) mit der zusätzlichen Antwortoption „weiß nicht“ sowie 10 Situational-Judgement-Aufgaben (SJT) zur Erfassung sozialer Kompetenzen [20]. Ausnahme hiervon ist der erste Progresstest 2013 mit 144 Typ A-Aufgaben, jedoch ohne SJT.

Die „weiß nicht“-Option wird in Progresstests wie auch in anderen formativen Tests häufig eingesetzt, um es den Teilnehmern zu ermöglichen, explizit ihr Wissensdefizit zu dokumentieren und das Raten unter den verfügbaren Antwortoptionen vermeiden zu können [13], [22].

Sie behandeln auf Ihrer pädiatrischen Station ein zwölfjähriges Kind mit Lungenentzündung, das schon häufig wegen Atemwegsbeschwerden und -infektionen in Behandlung war. Bei einer Ultraschalluntersuchung stellen Sie zudem einen Situs inversus, also eine gespiegelte Organausrichtung, fest. Daher senden Sie im Rahmen einer Bronchoskopie eine Biopsie in die Histologie.

Welche Diagnose erwarten Sie sich von der histologischen Untersuchung?

1.

Defekt der Zell-Zell-Kontakte

2.

Defekt der Kinozilien

3.

Ausbildung eines falschen Epithels

4.

Fehlen von Oberflächendifferenzierungen

5.

Defekt der Basalmembran

6.

Weiß nicht

Die korrekte Antwort lautet hier B. Weitere Beispiele sind als Anhang 1 [Anh. 1] angefügt, sämtliche Fragen der SKPTs mit Erläuterungen finden sich auf der öffentlich zugänglichen Internetseite

https://www.komp-pt.de/fragen-aus-dem-progresstest/.

Nach der Durchführung erhalten alle teilnehmenden Studierenden eine nach Fächergruppen und Kompetenzbereichen differenzierte Rückmeldung über ihre erbrachten Leistungen (erreichte Punktzahlen). Die Rückmeldung erfolgt absolut (kriteriumsbezogen), relativ im Vergleich zu den teilnehmenden Studierenden desselben Jahrgangs (normbezogen) sowie – bei mehrfacher Teilnahme – longitudinal zur Darstellung des Leistungszuwachses (Progress) im Vergleich zu den früheren Ergebnissen (ipsativ).

Ziel der Studie: Es soll geprüft werden, ob

1.

die nach Kompetenzbereichen differenzierten Leistungserfassungen jeweils eine hinreichende Messgenauigkeit aufweisen sowie

2.

durch die unterschiedlichen Aufgaben der Kompetenzbereiche empirisch voneinander unterschiedene Aufgabengruppen gebildet werden.

Beides ist insbesondere für die Nützlichkeit der Rückmeldungen an die teilnehmenden Studierenden von Bedeutung:

1.

Rückmeldungen sind nur dann brauchbar, wenn die zu beurteilenden Leistungen zuverlässig erfasst sind.

2.

Differenzierte Rückmeldungen machen nur dann Sinn, wenn die verschiedenen Einzelresultate auch Unterschiedliches beinhalten, also nicht redundant sind.

In der Terminologie von Campbell und Fiske [1] handelt es sich bei der Fragestellung (2) um den Nachweis der „Diskriminanzvalidität“ (auch „diskriminative Validität“). Der Begriff der „Validität“ war in den letzten 30 Jahren Gegenstand intensiver Diskussionen. Von vielen Autoren wird die Verwendung der unterschiedlichen Validitätsbegriffe (z. B. prädiktive, konvergente, diskriminative ... Validität) kritisch gesehen (eine eingehende Darstellung hierzu findet sich in [17]). In der vorliegenden Studie soll er dennoch in seiner „klassischen“ Bedeutung Verwendung finden: Die den Kompetenzbereichen zugeordneten Aufgaben bilden „Skalen“, welche unterschiedliche Leistungen messen (vgl. die Diskussion in [6]). Diese „Skalen“ sollten sich damit auch in den Antworten der Testteilnehmerinnen und -teilnehmer widerspiegeln, im Wesentlichen sollten Aufgaben des gleichen Bereichs ähnlich gut (oder schlecht) beantwortet werden.

Die Durchführung des SKPT in den Jahren 2013-2017 erfolgte einmal jährlich. In den beiden ersten Jahren wurde der Test an den jeweiligen Fakultäten in Papierform durchgeführt, seit 2015 steht er online zur Verfügung.

Die Ankündigung und Anmeldung der Studierenden sowie die Durchführung des Progresstests vor Ort erfolgte selbständig seitens der beteiligten medizinischen Fakultäten. Die übergeordnete Koordination lag beim „Kompetenzzentrum für Prüfungen in der Medizin/Baden-Württemberg“ an der Medizinischen Fakultät Heidelberg. Genauere Details zur Durchführung finden sich in [33], [29], [30], [31], [32].

Der SKPT ist als formativer Test mit freiwilliger Teilnahme konzipiert. In der Fakultät in Krems ist der Test verpflichtend. Da sich in verschiedenen (hier nicht dargestellten) Analysen gezeigt hat, dass diese Studierendengruppe sich deutlich von den freiwilligen Teilnehmern aus den anderen Fakultäten unterscheidet, wurde diese Gruppe in den nachfolgenden Analysen nicht mit einbezogen. Weiteres Einschlusskriterium war die Zahl der beantworteten Aufgaben. In der vorliegenden Studie wurden nur die Teilnehmer berücksichtigt, die mindestens 100 der 120 Aufgaben bearbeitet haben, d.h. die eine der vier oder fünf Antwortoptionen oder „weiß nicht“ angegeben haben (siehe Tabelle 3 [Tab. 3]). Aus den beiden ersten SKPTs im Papierformat der Jahre 2013 und 2014 wurden nur vollständige Datensätze einbezogen. Eine Aufteilung der Teilnehmer nach Studienjahr findet sich in Tabelle 4 [Tab. 4]. Die 10 Situational-Judgement-Aufgaben der Jahre 2014-2017 waren nicht Gegenstand der Studie.

Die Teilnehmer am SKPT willigten vor Durchführung des Tests ein, dass ihre Daten in pseudoymisierter Form zur Qualitätssicherung und für wissenschaftliche Zwecke verwendet werden dürfen.

Die nach dem Blueprint erstellten Aufgaben waren vom Typ A mit der zusätzliche Option „weiß nicht“. Bei Wahl der zutreffenden Antwort, wurde ein Punkt vergeben. Für die hier dargestellte Analyse wurden falsche Antworten und „weiß nicht“ sowie fehlende Antworten gleich behandelt und 0 Punkte vergeben (für alternative Bewertungsschemata, in denen „weiß nicht“ und Falschantworten unterschiedlich behandelt werden, s. [22]). Nach Durchführung des Tests erfolgte auf Grundlage von Teilnehmerkommentaren und der statistischen Auswertung eine zweite Begutachtung der Aufgaben (Post-Review). Stellte sich dabei heraus, dass bei einer Aufgabe mehrere Antworten zutreffend waren, erhielten die Teilnehmerinnen und Teilnehmer einen Punkt, wenn eine der korrekten Antworten gewählt wurde. Zwischen drei und acht Aufgaben in den SKPTs der Jahre 2013-2017 mussten nach dem Post-Review als fehlerhaft ausgeschlossen werden (siehe Tabelle 3 [Tab. 3]).

Zur Abschätzung der Reliabilität der Kompetenzbereiche wird die „greatest lower bound to reliability“ (glb) verwendet [7], [25]. Diese ist die algebraisch optimale Abschätzung der Reliabilität auch bei nicht-homogenen Skalen (in diesen Fällen liefert Cronbachs α als Maß der internen Konsistenz eine Unterschätzung der Reliabilität).

Die Reliabilität ist ein auf die Teilnehmerpopulation bezogenes relatives Maß der Messgenauigkeit, als absolutes Maß der Messgenauigkeit dient der Standardmessfehler, welcher sich aus der Reliabilität und der Standardabweichung der Skalenwerte der Teilnehmer errechnet [9].

Für den Vergleich mit Studierenden aus dem gleichen Studienjahr ist zusätzlich die Reliabilität bezogen auf diese Teilpopulationen von Relevanz. Hier sind gegenüber der Gesamtreliabilität niedrigere Werte zu erwarten, da (unter der Annahme annähernd gleicher Messfehler) die Varianz der Zahl der korrekten Antworten innerhalb der Teilnehmer des gleichen Studienjahrs niedriger als die aller Teilnehmer über die Studienjahre hinweg ist (vgl. hierzu [33]).

Die Prüfung der Frage, ob die verschiedenen Kompetenzbereiche auch empirisch Unterschiedliches bezeichnen, gestaltet sich auf Grund des Konstruktionsprinzips des Progresstests etwas komplex: Die einzelnen Aufgaben sind nicht nur jeweils einem Kompetenzbereich sondern auch einem Fach oder einer Fachgruppe zugeordnet. Damit überlagern sich schon durch die Testkonstruktion bedingt die durch die beiden Achsen des Blueprint definierten Konstrukte („construct overlap“, nähere Erläuterungen hierzu finden sich z. B. in [35]). Daher ist nicht davon auszugehen, dass sich die Kompetenzbereiche mit faktoren-oder clusteranalytischen Verfahren direkt in den Daten abzeichnen (man vergleiche hierzu die faktoranalytische Untersuchung zur Validität und Reliabilität von Kompetenzkonstrukten in [12]).

Als methodischer Ansatz wurde deshalb das Verfahren der linearen Diskriminanzanalyse nach Fisher gewählt. Die Objekte sind in diesem Fall die einzelnen Aufgaben mit dem Kompetenzbereich als Gruppierungsvariable. Die erreichten Punktzahlen der teilnehmenden Personen bei den Aufgaben („Lösungsmuster“) sind die Prädiktoren. Dabei stellt sich das Problem, dass mehr Personen teilgenommen haben als Aufgaben vorhanden sind. Analog zum Vorgehen bei einer Hauptkomponentenregression wurde deshalb eine Datenreduktion durch die Bestimmung von Hauptkomponenten vorgenommen. Die linearen Diskriminanzanalysen wurden danach mit einer verminderten Zahl von Hauptkomponenten durchgeführt. Diese „Diskriminanzanalyse der Hauptkomponenten“ („Discriminant analysis of principal components„’, DAPC) wird aus ähnlichen Gründen z. B. im Bereich genetischer Analysen eingesetzt, bei der die Zahl der Prädiktoren die der zu klassifizierenden Objekte übersteigt ([8], vgl. auch Anmerkung 2).

Der erste Schritt der Auswertung (Bestimmung der Hauptkomponenten) beinhaltet keine Verteilungsannahmen. Die Extraktion der Hauptkomponenten dient zur Reduktion der Originaldaten auf wenige Komponenten in den Antwortmustern, die die Daten nach dem Kleinst-Quadrate-Kriterium bestmöglich approximieren. Die lineare Diskriminanzanalyse nach Fisher ist ein Spezialfall der linearen Diskriminanzanalyse, bei der die a priori-Gruppengrößen als gleich angenommen werden. In diesem Spezialfall wird keine Normalverteilungsannahme für die Daten getroffen. Die Bestimmung der p-Werte für die Gruppenvergleiche (s. u.) erfolgt mittels t-Tests, die zwar im Prinzip auf Normalverteilungsannahmen beruhen, jedoch bekanntlich robust gegenüber deren Verletzung sind (eine nicht-parametrische Testung mittels eines Randomisierungstests wurde ebenfalls durchgeführt, deren Ergebnisse sind substantiell mit den hier dargestellten t-Tests identisch und werden deshalb aus Gründen der Überschaubarkeit hier nicht berichtet).

Eine aus der Faktorenanalyse bekannte und allgemein nicht zufriedenstellend zu beantwortende Frage ist die nach der Bestimmung der Zahl der zu verwendenden Hauptkomponenten. Für die hier untersuchten Progresstests ergab sich weder aus dem Scree-Test [21] oder dem Verfahren von Onatski [19] über die Jahre ein konsistenter Wert, weshalb zehn Hauptkomponenten, also doppelt so viele Komponenten wie Kompetenzbereiche, extrahiert wurden (die nachfolgend berichteten Ergebnisse sind wenig sensitiv gegenüber der Zahl der extrahierten Komponenten, es ergeben sich nahezu identische Resultate bei Analysen mit mehr als sechs Komponenten).

Zur Beantwortung der Frage, ob die einzelnen Kompetenzbereiche sich vom Gesamt aller anderen Bereiche abheben, wurde eine Analyse „one against the rest“ sowie eine paarweise Klassifikation aller Kompetenzbereiche gegeneinander („one against one“) durchgeführt [10], [27]. Signifikanztestungen erfolgten jeweils durch Kombination der einzelnen p-Werte aus den fünf Progresstests der Jahre 2013–2017 mittels der Methode von Fisher („Fisher’s combined probability test“). Als Signifikanzniveau wurde α=0.05 gewählt.

In Tabelle 5 [Tab. 5] sind Aufgabenzahlen, Reliabilitätskoeffizienten glb und zugehörige Standardmessfehler sem aufgeführt, eine graphische Darstellung von glb und sem über die Jahre hinweg findet sich in Abbildung 1 [Abb. 1].

„Klinisch-praktische Kompetenz“ (KP) und „Klinisch-theoretische Kompetenz“ (KT) werden annähernd stabil mit einer hohen Reliabilität (über 0.90) erfasst (man beachte dabei, dass die Zahl der Aufgaben in diesen beiden Kompetenzbereichen höher ist als in den anderen Kompetenzbereichen, s. Blueprint). Die „Wissenschaftskompetenz“ (WI) ist mit einer Reliabilität von etwa 0.80-0.85 ebenfalls über die Zeit hinweg stabil erhoben. Bei der „Professionellen Handlungskompetenz“ (PH) und der „Kommunikativen Kompetenz“ (KO) ist in den beiden letzten Jahren ein Abfall unter 0.80 festzustellen, am deutlichsten bei der „Kommunikativen Kompetenz“ (KO) mit einer Reliabilität von 0.73 im Progresstest 2017 (siehe Abbildung 1 [Abb. 1], linke Abbildung).

Bei den Standardmessfehlern (siehe Abbildung 1 [Abb. 1], rechte Abbildung) ist eine deutliche Verringerung mit dem Jahr 2014 sichtbar, die auf die geringere Zahl der Aufgaben gegenüber dem SKPT 2013 zurückzuführen ist. Danach bleiben die Standardmessfehler für alle Kompetenzbereiche seit 2015 jeweils nahezu gleich. Auch hier sind die unterschiedlichen Zahlen von Aufgaben in den Kompetenzbereichen zu berücksichtigen, längere Skalen haben auch einen absolut größeren Standardmessfehler. Diese Reihenfolge bildet sich auch in der Abbildung ab, „Klinisch-praktische Kompetenz“ (KP) und „Klinisch-theoretische Kompetenz“ (KT) sind die längsten Skalen (im Blueprint jeweils 30 Aufgaben), die „Wissenschaftskompetenz“ (WI) ist mit lediglich 18 Aufgaben die kürzeste Skala.

In Tabelle 6 [Tab. 6] sind je Studienjahr und Kompetenzbereich die Mediane der Reliabilitäten in den Teilpopulationen mit gleicher Studiendauer aufgeführt. Zusätzlich zeigt Abbildung 2 [Abb. 2] die Verteilungen dieser jeweils 30 Einzelreliabilitäten getrennt für die Kompetenzbereiche. Während für die Kompetenzbereiche klinisch-praktische, klinisch-theoretische und Wissenschaftskompetenz (KP, KT bzw. WI) die Messzuverlässigkeiten in der Mehrzahl die Reliabilitäten über 0.7 liegen (KP 83%, WI 80%, KT 90%), sind diese Anteile bei der kommunikativen Kompetenz (KO) mit 37% und professionellem Handeln (PH) mit 47% deutlich niedriger. Insbesondere gibt es bei diesen einzelne SKPTs und Studienjahre, für die niedrige Reliabilitäten unter 0.4 zu konstatieren sind (siehe Abbildung 2 [Abb. 2]). Insbesondere scheinen in der Gruppe des 6. Studienjahres gehäuft niedrige Messzuverlässigkeiten aufzutreten (Anteile der Reliabilitäten über 0.7 für die Studienjahre 1-5: KO 44%, KP 84%, WI 84%, PH 56%, KT 96%, siehe Tabelle 6 [Tab. 6]).

In Abbildung 3 [Abb. 3] und Abbildung 4 [Abb. 4] sind als Beispiele für die Progresstests der Jahre 2013 und 2017 die Ergebnisse der Zwei-Klassen-Diskriminanzanalysen eines Kompetenzbereichs jeweils gegenüber allen anderen Kompetenzbereichen dargestellt (die Ergebnisse der Jahre 2014 bis 2016 sind diesen sehr ähnlich). Auf der Ordinate sind die Werte der Diskriminanzfunktion der Einzelaufgaben als Boxplot abgetragen. Deutliche Überlagerungen der Boxplots zweier Kompetenzbereiche weisen auf Konstruktüberlappung bei den Aufgaben hin, bei deutlich separierten Boxen sind die Aufgabengruppen des zugehörigen Kompetenzbereichs von den anderen Aufgaben abzugrenzen.

So bilden die Aufgaben zur „Wissenschaftskompetenz“ (WI) in allen Jahren ein deutlich abgegrenztes Cluster, wer eine Aufgabe aus diesem Kompetenzbereich gelöst hat, hat auch mit höherer Wahrscheinlichkeit andere Aufgaben des Bereichs korrekt beantwortet (siehe Abbildung 3 [Abb. 3], Punkt c und Abbildung 4 [Abb. 4], Punkt c). Hingegen ist bei der „Klinisch-praktischen Kompetenz“ (KP) und „Klinisch-theoretischen Kompetenz“ (KT) eine deutliche Konstruktüberlappung festzustellen (siehe Abbildung 3 [Abb. 3], Punkte b, e und Abbildung 4 [Abb. 4], Punkte b, e).

Zur inferenzstatistischen Testung, ob sich die einzelnen Kompetenzbereiche vom Gesamt aller anderen Bereiche unterscheiden, wurden die einzelnen p-Werte der Jahre 2013–2017 mit dem Gesamttest nach Fisher kombiniert (man beachte, dass die einzelnen p-Werte nicht zu einer Signifikanztestung verwendet werden). Für alle fünf Bereiche ergeben sich signifikante Werte (siehe Tabelle 7 [Tab. 7]).

Exemplarisch für die insgesamt 10 möglichen Paarvergleiche sind in Abbildung 5 [Abb. 5] die Werte der Diskriminanzfunktion der Aufgaben für den Vergleich der „Klinisch-praktischen Kompetenz“ (KP) mit der „Klinisch-theoretischen Kompetenz“ (KT) sowie in Abbildung 6 [Abb. 6] die der „Wissenschaftskompetenz“ (WI) mit der „Klinisch-theoretischen Kompetenz“ (KT) dargestellt.

Die aus den Einzelwerten der verschiedenen Durchgänge des SKPT kombinierten Signifikanzwerte aller Paarvergleiche sind in Tabelle 8 [Tab. 8] aufgeführt. Mit Ausnahme des klinisch-praktischen (KP) und des klinisch-theoretischen Kompetenzbereichs (KT) sind alle Paarvergleiche signifikant.

Die Signifikanzen bleiben auch nach Bonferroni-Holm-Adjustierung der zehn Tests erhalten:Hierzu werden die einzelnen p-Werte der Tests ihrer Größe nach aufsteigend angeordnet (p_[1]≤p_[2]≤,…≤p_[10]). Als signifikant gelten genau die p [k] , bei denen für alle i≤k die Ungleichungen p_[i]≤α/(11 – i) erfüllt sind. Ist nur für ein einziges kleineres p_[i] die Ungleichung nicht erfüllt, kann kein größeres p_[k] noch als signifikant gelten.

Bei acht der Tests ist p<0.001, somit sind diese wegen p_[1]≤0.05/10, p_[2]≤0.05/9, … p_[8]≤0.05/3 signifikant, weiter ist p_[9]=0.002≤0.05/2=0.025 ebenfalls signifikant. Lediglich der dem Vergleich der Kompetenzbereiche KP und KT zugeordnete p-Wert p_[10]=0.091 erfüllt nicht die Bedingung p_[10]=0.05/1.

Die Kompetenzbereiche „Klinisch-praktische Kompetenz“ (KP), „Klinisch-theoretische Kompetenz“ (KT) und „Wissenschaftskompetenz“ (WI) wurden mit den fünf SKPTs über die Jahre hinweg reliabel erfasst (Reliabilität über 0.80) Nicht ganz so zufriedenstellend sind die Aufgaben zu den Bereichen „Kommunikative Kompetenz“ (KO) und „Professionelle Handlungskompetenz“ (PH) mit Reliabilitäten noch über 0.73. Die Aufgaben zu den verschiedenen Kompetenzbereichen repräsentieren auch empirisch unterschiedliche Bereiche. Eine Ausnahme bilden die Aufgabengruppen zum klinisch-praktischen und klinisch-theoretischen Kompetenzbereich, für die keine Abgrenzung voneinander empirisch nachzuweisen ist (p=0.091).

Die Messzuverlässigkeiten innerhalb der Jahrgangskohorten weisen, von wenigen Ausnahmen abgesehen, für die Bereiche klinisch-praktische, klinisch-theoretische und Wissenschaftskompetenz (KP, KT, WI) zufriedenstellende Werte auf. Einschränkungen sind wie oben bei den Bereichen Kommunikation und professionellem Handeln (KO, PH) festzustellen, bei denen die Reliabilitäten doch häufig 0.7 nicht erreicht. Dabei muss jedoch berücksichtigt werden, dass diese Bereiche lediglich mit 22 bzw. 20 Aufgaben abgedeckt werden, was auch bei gut vorbereiteten summativen Fachprüfungen an den Fakultäten im Allgemeinen nicht ausreicht, mit Fragen des Typs A eine hinreichend hohe Reliabilität zu erreichen.

Damit ist gezeigt, dass in kompetenzorientierten Wissenstests die Erstellung von Aufgaben zur Erfassung von handlungsrelevantem Wissen auch bei begrenzter Zahl von Aufgaben möglich ist und – in der Terminologie von Cronbach und Meehl [2] – die im Blueprint intendierten unterschiedlichen Konstrukte für die Kompetenzbereiche abbilden.

Ausnahme hiervon sind der klinisch-praktische und der klinisch-theoretische Kompetenzbereich (KP/KT), die sich zwar signifikant von den anderen Kompetenzbereichen, nicht aber untereinander unterscheiden. Die Tatsache, dass die beiden Bereiche nicht voneinander abzugrenzen sind, kann auf Grund des verwendeten Verfahrens der Diskriminanzanalyse, das explizit ein „construct overlap“ erlaubt, nicht als Erklärung dienen. Grund für die Nichtseparierbarkeit könnte eine zu wenig eindeutige Vorgabe für die Klassierung der Aufgaben in die beiden Bereiche sein. Eine alternative Erklärungsmöglichkeit bestünde darin, dass diese im Sinn einer fachlichen Kompetenz stärker inhaltlich zusammenhängen und dass bei den teilnehmenden Studierenden die Kenntnisse in beiden Bereichen zum großen Teil zeitlich parallel erworben werden. Dies würde dazu führen, dass trotz semantischer Verschiedenheit der beiden Bereiche, kein empirischer Unterschied bei den Lösungsmustern nachweisbar ist: wer bei den Aufgaben eines Bereichs gute Kenntnisse besitzt, besitzt sie auch bei denen des anderen.

Methodisch hat sich die Diskriminanzanalyse der Hauptkomponenten (DAPC) als geeignet erwiesen, die zugrundeliegende Struktur der Achse „Kompetenzbereiche“ des Blueprints empirisch nachzuzeichnen.

Als Konsequenz aus den Ergebnissen sollte für zukünftige Progresstests eine Verbesserung der Messzuverlässigkeit der Kompetenzbereiche „kommunikative“ (KO) und „professionelle Handlungskompetenz“ (PH) angestrebt werden. Dies könnte etwa mit einer Erhöhung der zugehörigen Zahl von Aufgaben erreicht werden. Um den Umfang des SKPT nicht zu vergrößern, wäre eine Verminderung der Aufgabenzahl für den „klinisch-praktischen“ (KP) und „klinisch-theoretischen“ (KT) Bereich denkbar. Die inhaltliche Abgrenzung dieser beiden Bereiche sollte ebenfalls geprüft werden. Lässt sich auch hier keine empirische Trennung erreichen, könnten diese für die Rückmeldung an die teilnehmenden Studierenden auch zusammengefasst werden.

1.

Teile des Inhalts der Studie für die Progresstests 2013 und 2014 wurden auf der Tagung der GMA 2014 in Hamburg und der RIME 2015 in München berichtet [14], [15].

2.

Eine Originalquelle zur Diskriminanzanalyse von Hauptkomponenten ist den Autoren nicht bekannt, die älteste von uns gefundene Erwähnung findet sich in einer Arbeit zur Verteilung großer Säugetiere in einem Nationalpark in Tansania [16].

Die Arbeit entstand im Rahmen des vom Bundesministerium für Bildung und Forschung geförderten Projekts MERLIN II (01PL17011C).

Die Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.