gms | German Medical Science

Prüfungen sind ein wesentlicher Bestandteil des Ausbildungsprozesses in der Medizin. Neben der Erfassung der Kompetenz oder Performance eines Kandidaten haben Prüfungen Einfluss auf den Lehrplan und steuern darüber hinaus das Lernen der Studierenden. Für das Hervorbringen guter Ärzte sollten sich medizinische Prüfungen an der klinischen Praxis orientieren und in der Lage sein, das dafür notwendige Kompetenzspektrum abzudecken [1], [2], [3], [4]. Klassische (schriftliche) Prüfungspraxis konzentriert sich jedoch darauf, das Wissen der Studierenden zu testen, anstatt performancebezogene Fähigkeiten zu bewerten [5]. Dies mag erklären, warum Absolventen oftmals nur unzureichend auf die Arbeit in der Klinik vorbereitet sind [6], [7].

Objective Structured Clinical Examination (OSCE) ist eine performancebasierte Prüfung. Das Format wurde entwickelt, um die klinische Performance von Studierenden zu beurteilen. Ein OSCE umfasst in der Regel eine Reihe von Stationen, an denen die Prüflinge ihr Wissen und ihre Fähigkeiten in simulierten Umgebungen anwenden müssen. An jeder Station wird die Performance der Prüflinge nach vorher festgelegten Kriterien bewertet. Das OSCE-Format hat sich in vielen Ländern als Prüfungsverfahren durchgesetzt [8]. Obgleich OSCE-Prüfungen mittlerweile weit verbreitet sind, spielen die mehr traditionellen Multiple-Choice-Fragen (MC-Fragen) noch immer eine zentrale Rolle in der medizinischen Ausbildung [9], [10].

Alle 36 medizinischen Fakultäten in Deutschland (d. h. Fakultäten, die vor 2012 gegründet wurden) bieten ein sechsjähriges Studium an, das den gesetzlichen Vorgaben der Approbationsordnung für Ärzte (ÄApprO) [https://www.gesetze-im-internet.de/_appro_2002/BJNR240500002.html] entspricht. Das Studium besteht in der Regel aus drei Abschnitten: einem vorklinischen Abschnitt von 2 Jahren, der die medizinischen Grundlagenfächer beinhaltet; einem klinischen Abschnitt von 3 Jahren, in dem den Studierenden die einzelnen klinischen Fächer nähergebracht werden; und abschließend dem Praktischen Jahr (PJ) mit zusammenhängender praktischer Ausbildung in Krankenanstalten [11]. An allen Fakultäten müssen die Studierenden fakultätsinterne Prüfungen ablegen, um sich für die medizinischen Staatsprüfungen anmelden zu können.

In Zusammenhang mit der 2002 durchgeführten Novellierung der ÄApprO [https://www.gesetze-im-internet.de/_appro_2002/BJNR240500002.html] hat die Überprüfung performancebezogener Fähigkeiten zunehmend an Bedeutung gewonnen. An 34 der 36 (94,4%) Fakultäten sind OSCE-Prüfungen inzwischen Bestandteil der fakultätsinternen Prüfungsstrategie [12]. MC-Aufgaben beherrschen jedoch nach wie vor die studentischen Prüfungen an den Fakultäten (eigene Daten).

Das medizinische Staatsexamen in Deutschland ist eine dreiteilige Prüfung. Der erste Teil der Prüfung nach dem 2. Studienjahr umfasst die medizinischen Grundlagenfächer. Bei dem zweiten Teil nach dem 5. Studienjahr handelt es sich um eine schriftliche Prüfung zur Überprüfung des klinischen Wissens der Studierenden. Dieser Teil der Staatsprüfung, der sich über drei Tage erstreckt, besteht aus standardisierten MC-Prüfungsaufgaben, die zentral vom Institut für medizinische und pharmazeutische Prüfungsfragen (IMPP) [https://www.impp.de/] organisiert werden. Der dritte und letzte Teil des Examens nach dem 6. Studienjahr beinhaltet eine nicht standardisierte zweitägige klinisch-praktische Prüfung. Kürzlich wurde gezeigt, dass dieser Teil der staatlichen Prüfung die klinische Kompetenz von Medizinstudierenden nicht zufriedenstellend beurteilt [13]. Im Gegensatz zu anderen Ländern wie der Schweiz, Kanada oder den Vereinigten Staaten [14], [15], [16] wird das OSCE-Format in den deutschen Staatsprüfungen noch nicht eingesetzt. Im Rahmen des „Masterplan Medizinstudium 2020“ [https://www.bmbf.de/de/masterplan-medizinstudium-2020-4024.html] ist jedoch vorgesehen, die OSCE-Methode in die Staatsexamensprüfungen mit aufzunehmen.

Diese Piloterhebung hatte zum Ziel, die Wahrnehmung der Studierenden über den Nutzen von OSCE und MC-Fragen zu untersuchen. Es sollten Daten gewonnen werden, die eine Einbeziehung der OSCE-Prüfungsmethode in das medizinische Staatsexamen der Bundesrepublik Deutschland unterstützen. Wir konzentrierten uns auf OSCE und MC-Fragen, da es sich hierbei um gängige Prüfungsverfahren an den medizinischen Fakultäten in Deutschland handelt. Darüber hinaus sind die beiden Formate auch die Hauptbestandteile anderer nationaler Staatsexamina, wie zum Beispiel des Medical Council of Canada Qualifying Examination (MCCQE) und des United States Medical Licensing Examination (USMLE) [15], [16]. Wir haben uns ausschließlich auf die Ansichten der Studierenden konzentriert. Die Einstellungen der Lehrenden lagen außerhalb des Forschungsrahmens und wurden daher in dieser Erhebung nicht berücksichtigt.

Nach Zahlen des Statistischen Bundesamtes waren 2014/15 mehr als 85.000 Medizinstudierende (87.863) an den deutschen Fakultäten eingeschrieben. Die Mehrheit davon waren weibliche Studierende (53.352; 60,7%) [https://www.destatis.de/DE/ZahlenFakten/Indikatoren/LangeReihen/Bildung/lrbil05.html]. Anhand genauer Informationen zu Kohortengrößen und Prüfungsplänen an den einzelnen Fakultäten errechneten wir die Anzahl der sich zwischen dem 3. und 6. Studienjahr befindenden Studierenden mit OSCE-Erfahrung auf 34.790.

Ein 11-Itemset wurde entwickelt. Der Entwicklungsprozess umfasste zunächst formlose Interviews mit Studierenden der hiesigen medizinischen Fakultät. In den Interviews wurden die Studierenden gebeten, anzugeben, was sie von guten medizinischen Prüfungen im Hinblick auf ihre Berufsvorbereitung erwarten. Die dabei gesammelten Aussagen wurden dann zur Erstellung des Itemsets verwendet. Das Set wurde einem Pretest unterzogen, um sicherzustellen, dass die Items klar und verständlich sind. Das komplette Itemset wurde auf gesonderten Seiten sowohl für OSCE als auch für MC-Fragen innerhalb eines größeren Fragebogens¹ präsentiert und hatte jeweils die Überschrift „Was bringt/nützt Dir … [das Format]?”. Sämtliche Items wurden auf einer 5-Punkt-Likert-Skala (1=trifft überhaupt nicht zu, 2=trifft kaum zu, 3=weder noch, 4=trifft überwiegend zu, 5=trifft vollkommen zu) abgefragt.

Die Items lauteten im Einzelnen:

• A „gibt mir ein Verständnis medizinischen Vorgehens“
• B „veranschaulicht mir medizinische Behandlungstechniken und Prinzipien“
• C „gibt mir eine Rückmeldung meines Leistungsstandes“
• D „offenbart meine Stärken in ärztlichem Handeln“
• E „offenbart meine Schwächen in ärztlichem Handeln“
• F „zeigt mir Lücken in meiner Ausbildung auf“
• G „stärkt meine Problemlösungs- und Handlungskompetenzen“
• H „fördert mein theoretisches Wissen“
• J „spiegelt die Anforderungen des Arztberufes wider“
• K „erlaubt mir eine Beurteilung meiner ärztlichen Berufsfähigkeit“
• L „hilft mir bei der Wahl meiner späteren Fachrichtung“

Am Ende des Fragebogens wurden noch demografische Angaben zu Geschlecht, Alter, Studienjahr und Fakultätszugehörigkeit erhoben.

Die Umfrage wurde zwischen Februar und April 2015 durchgeführt. Alle 34 medizinischen Fakultäten, an denen das OSCE-Format eingesetzt wird, wurden gebeten, ihren Studierenden im 3. bis 6. Studienjahr ein Anschreiben mit dem Link zum Fragebogen zukommen zu lassen. Die Teilnahme an der Befragung war freiwillig und anonym. Es wurden keine materiellen Anreize für die Bearbeitung des Fragebogens geboten. Eine formale Zustimmung der zuständigen Ethikkommission war nicht erforderlich.

Um sicherzustellen, dass die Umfrageteilnehmer über persönliche Erfahrungen mit dem OSCE-Format verfügten, haben wir jeden eingegangenen Datensatz mit dem Prüfungsplan der jeweiligen Fakultät abgeglichen. Anschließend wurden die Daten deskriptiv analysiert. Um zugrunde liegende Komponenten in den Ratings der Studierenden zu identifizieren, haben wir die Daten in eine explorative Faktorenanalyse mit schräger Rotation für jede der beiden Prüfungsmethoden eingegeben. Wir haben die Antworten auf alle Items mit jeweils hoher Ladung auf einen Faktor aufsummiert und die Ergebnisse durch die Anzahl der Items geteilt, um Mittelwertindizes zu bilden.

Insgesamt haben 1.189 Teilnehmer den Fragebogen ausgefüllt. Es wurden 107 Teilnehmer gefunden, die noch keine Erfahrung mit dem OSCE-Format hatten, alle Items des Sets gleich einstuften oder keine Angaben zu ihrem Studienjahr oder ihrer Fakultätszugehörigkeit machten (notwendig für den Abgleich). Die Daten dieser Teilnehmer wurden von der weiteren Analyse ausgeschlossen. Daten von 1.082 Befragten, was 3,1% der Zielpopulation entspricht, von 32 der 34 medizinischen Fakultäten (von zwei Fakultäten gab es überhaupt keine Teilnehmer) wurden analysiert. Davon waren 747 (69,0%) weibliche Studierende. Das Alter der Teilnehmer lag zwischen 19 und 45 Jahren, mit einem Mittelwert von 25,3 Jahren und einem Median von 25 Jahren, und deckte damit die gesamte Altersspanne von Medizinstudierenden in Deutschland ab. Die Anteile von Studierenden im 4., 5. und 6. Studienjahr waren in etwa gleich hoch (28,0%, 29,8% bzw. 27,0%), wohingegen der Anteil von Studierenden im 3. Studienjahr aufgrund der geringeren Erfahrung mit dem OSCE-Format niedriger war (15,2%).

Tabelle 1 [Tab. 1] zeigt die Ratings in dem 11-Itemset für OSCE und MC-Fragen. Der OSCE bekam positive (Mittelwerte über 3,50) oder schwach positive Ratings (Mittelwerte zwischen 3,25 und 3,50) für die Items B (3,81), A (3,75), F (3,53), E (3,36), D (3,31) und C (3,28). Das MC-Frageformat erhielt dagegen positive oder schwach positive Ratings für die Items H (4,21), C (3,34) und F (3,32).

In Tabelle 2 [Tab. 2] sind die Itemratings in Abhängigkeit von den demografischen Merkmalen der Studierenden aufgeführt. Die Ratings der Items unterschieden sich nicht wesentlich in Hinblick auf Geschlecht, Alter oder Ausbildungsstand (Studienjahr) der Teilnehmer.

Tabelle 3 [Tab. 3] beinhaltet die Ergebnisse der Faktorenanalyse einschließlich der rotierten Faktorkoeffizienten. Das Kaiser-Meyer-Olkin Maß für die Angemessenheit der Stichprobe lag bei 0,90 für den OSCE bzw. 0,87 für MC-Fragen und zeigte damit, dass die Daten für die Durchführung einer Faktorenanalyse geeignet waren. Es wurden zwei Faktoren bzw. Komponenten mit Eigenwerten >1 für beide Prüfungsformate gefunden. Für den OSCE luden die Items E, D, F und C hoch auf Faktor 1 (Koeffizienten >0,60). Die Items wiesen Ladungen von 0,95, 0,84, 0,83 bzw. 0,68 auf. Der Mittelwertindex aus den vier Items betrug 3,37. Nach einer inhaltlichen Analyse der Items haben wir die Komponente „Bildungswirkung“ benannt. Die Items B und A, als auch Item H (Mittelwert 3,10) hatten hohe Ladungen auf Faktor 2 (Faktorladungen von 0,80, 0,74 bzw. 0,77). Der Mittelwertindex der Items lag bei 3,55. Ausgehend vom Inhalt der Items haben wir diese Komponente „Entwicklung klinischer Kompetenz“ benannt. Beim MC-Frageformat zeigten die Items D, E, K, J und G (Mittelwerte jeweils unter 2,00) hohe Ladungen auf Faktor 1 (Faktorkoeffizienten von 0,92, 0,89, 0,78, 0,73 bzw. 0,62), während die Items H, C und F hoch auf Faktor 2 luden (Koeffizienten von 0,85, 0,79 bzw. 0,70). Die Mittelwertindizes für die beiden Komponenten betrugen 1,85 und 3,62. Die Komponenten wurden „empfundene Schwächen von MC-Fragen“ und „empfundene Stärken von MC-Fragen“ benannt.

Diese Pilotstudie untersuchte den studentisch wahrgenommenen Nutzen von OSCE und MC-Frageformaten. Nachfolgend werden die Befragungsergebnisse nach Themen geordnet diskutiert.

Bildungswirkung („educational impact“) wird als eine wichtige Eigenschaft von Prüfungen gesehen [17], [18]. Eine Prüfung – selbst wenn sie zu summativen Zwecken verwendet wird – sollte sich positiv auf das weitere Lernen der Studierenden auswirken, indem sie den Lernenden Feedback über deren Stärken und Schwächen gibt. Zugleich sollten Prüfungen Schwachstellen in den Lehrmethoden oder dem Curriculum aufzeigen, sodass die Lehrenden entsprechende Anpassungen vornehmen können. Die Studierenden in unserer Studie bewerteten die Items C bis F (Items, die zur Komponente „Bildungswirkung“ beitragen) positiv oder schwach positiv für den OSCE. Das deutet darauf hin, dass das OSCE-Format als ein Hilfsmittel zur Verbesserung des studentischen Lernens und des Lehrplans dienen kann, was in Einklang mit früheren Arbeiten steht [19], [20]. Es sollte jedoch darauf hingewiesen werden, dass die Gabe von detailliertem Feedback in einem Staatsexamen-OSCE nur schwer zu bewerkstelligen ist. Nichtsdestotrotz können die in der Prüfung gemachten Erfahrungen sowie die erreichten Noten von den Studierenden genutzt werden, um ihr weiteres Lernen zu optimieren [21].

Ein praktizierender Arzt sollte in Bezug auf medizinisches Wissen, klinische Fähigkeiten (z. B. Anamneseerhebung oder Durchführung einer körperlichen Untersuchung), praktische Tätigkeiten (z. B. Schaffung eines intravenösen Zugangs), Patientenmanagement, Kommunikation, sowie professionelles Verhalten kompetent sein [22], [23]. Den Studierenden dabei zu helfen, Kompetenzen in den entsprechenden Bereichen zu entwickeln, ist eine Kernaufgabe der medizinischen Ausbildung. Die Itemratings weisen darauf hin, dass das OSCE-Format von den Studierenden als nützlich für die Entwicklung von Kompetenzen in den Bereichen außerhalb von medizinischem Wissen empfunden wird. Die Folgerung ergibt sich aus positiven Ratings für die Items A und B; und einem nur mittelmäßigen Rating für Item H (alles Items, die der Komponente „Entwicklung klinischer Kompetenz“ zugeordnet wurden). Vor dem Hintergrund, dass es sich bei dem OSCE um eine Performanceprüfung zur Beurteilung von Fähigkeiten und Verhaltensweisen handelt, die am klinischen Arbeitsplatz benötigt werden [8], stimmen die vorliegenden Ergebnisse mit der beabsichtigten Schwerpunktsetzung des OSCE-Formats überein.

Die größte von den Studierenden empfundene Stärke der MC-Fragen scheint in der Förderung des Wissenserwerbs zu liegen, was durch ein stark positives Rating für das Item „fördert mein theoretisches Wissen“ untermauert wird. Unsere Ergebnisse zeigen jedoch, dass die Studierenden das MC-Frageformat lediglich für geeignet halten, kognitive Fähigkeiten niederer Ordnung (z. B. Faktenwissen) zu erfassen. Dies wirft die Frage auf, ob die medizinischen Fakultäten in Deutschland zu häufig auf kontextfreie MC-Fragen zurückgreifen. Diese Form der MC-Prüfung besteht typischerweise aus eigenständigen Fragen, die darauf ausgelegt sind, Faktenwissen abzuprüfen. Wenn dem so ist, und um kognitive Fähigkeiten höherer Ordnung (z. B. Prozesse der Problemlösung oder Entscheidungsfindung) mit einzuschließen, wäre es für die Fakultäten angebracht, den Einsatz kontextreicher MC-Fragen auszuweiten. Bei solchen MC-Aufgaben werden die Fragen nicht isoliert gestellt, sondern beziehen sich unmittelbar auf eine klinische Falldarstellung [24], [25].

Ähnlich wie bei dem OSCE scheint das MC-Frageformat es den Studierenden zu ermöglichen, sowohl ihre eigenen Leistungen als auch die Unterrichtsinhalte bewerten zu können, was beides höchstwahrscheinlich durch die Prüfungsergebnisse induziert wird. Schwach positive Ratings für die Items „gibt mir eine Rückmeldung meines Leistungsstandes“ und „zeigt mir Lücken in meiner Ausbildung auf“; gegenüber niedrigen Ratings unter „offenbart meine Stärken in ärztlichem Handeln“ oder „offenbart meine Schwächen in ärztlichem Handeln“ legen diesen Schluss nahe.

Diese Studie hat mehrere Einschränkungen. Zum einen ist die Studie auf eine relativ kleine Stichprobe von weniger als 5% der Zielpopulation beschränkt. Dies liegt vermutlich daran, dass die meisten Fakultäten ihre Studierenden nicht per E-Mail benachrichtigt haben, sondern das Anschreiben mit dem Link zum Fragebogen lediglich auf ihre Webseiten gestellt haben. Viele Studierenden waren deshalb wohl nicht über die Umfrage informiert. Zum anderen handelte es sich bei der Studie um eine Piloterhebung. Das vorgestellte Itemset erhebt keinen Anspruch auf Vollständigkeit und gibt nur einen Überblick. Trotz aller Einschränkungen glauben wir, dass diese Erhebung, die als erste die Wahrnehmung der Studierenden in ganz Deutschland untersuchte, einen Einblick bietet, inwieweit OSCE und MC-Fragen sinnvolle Prüfungen darstellen. Darüber hinaus war unsere Stichprobe in Bezug auf Geschlecht und Alter repräsentativ und wir hatten eine große Vielfalt hinsichtlich des Ausbildungsstandes und der Fakultätszugehörigkeit der Teilnehmer. Das macht es wahrscheinlich, dass unsere Ergebnisse auf die Gesamtpopulation der Medizinstudierenden in Deutschland übertragen werden können.

Die Ergebnisse dieser Piloterhebung zeigen, dass die Studierenden beide Prüfungsformate, OSCE und MC-Fragen, als wertvolle Hilfsmittel betrachten. Zusammenfassend lässt sich sagen, der OSCE hat Auswirkungen auf den Lernprozess und unterstützt die Entwicklung der für die klinische Praxis erforderlichen Fähigkeiten und Verhaltensweisen, während das MC-Frageformat den Wissenserwerb fördert. Auch wenn der Einsatz von Prüfungsprogrammen mit einer Reihe verschiedener Tests wohl die beste Strategie zur Erstellung einer Gesamtbeurteilung der Kenntnisse und Fähigkeiten eines Kandidaten ist [2], [3], [26], stellt die Verwendung von OSCE und MC-Fragen eine geeignete Prüfungsstrategie dar. Die OSCE-Methode sollte daher zusätzlich zu den bereits bestehenden MC-Prüfungsaufgaben in das medizinische Staatsexamen der Bundesrepublik Deutschland aufgenommen werden.

¹Der Fragebogen enthielt Items zu verschiedenen Themenstellungen. Ein weiteres Manuskript zum Lernverhalten der Studierenden in Vorbereitung auf OSCE und MC-Fragen wurde andernorts eingereicht.

Die Autoren bedanken sich bei den Studiendekanaten der Fakultäten, allen teilnehmenden Studierenden, sowie bei Prof. Dr. Thomas Kessler und Prof. Dr. Rolf Steyer, beide am Institut für Psychologie an der Universität Jena, für die Unterstützung bei der Durchführung dieser Forschungsarbeit.

Die Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.