gms | German Medical Science

GMS Zeitschrift für Medizinische Ausbildung

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 1860-3572

Fünf Jahre Prüfungen im Reformstudiengang Medizin an der Charité - Universitätsmedizin Berlin

Five years examinations in the Reformed Medical Curriculum at Charité - Universitätsmedizin Berlin

Projekt Humanmedizin

  • corresponding author Waltraud Georg - Charité - Universitätsmedizin Berlin, Arbeitsgruppe Reformstudiengang Medizin, Berlin, Deutschland
  • author Sebastian Schubert - Charité - Universitätsmedizin Berlin, Arbeitsgruppe Reformstudiengang Medizin, Berlin, Deutschland
  • author Dieter Scheffner - Charité - Universitätsmedizin Berlin, Arbeitsgruppe Reformstudiengang Medizin, Berlin, Deutschland
  • author Walter Burger - Charité - Universitätsmedizin Berlin, Arbeitsgruppe Reformstudiengang Medizin, Berlin, Deutschland

GMS Z Med Ausbild 2006;23(3):Doc48

The electronic version of this article is the complete one and can be found online at: http://www.egms.de/en/journals/zma/2006-23/zma000267.shtml

Received: June 29, 2005
Published: August 15, 2006

© 2006 Georg et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Zusammenfassung

Die Vergabe benoteter Leistungsnachweise ist für alle deutschen medizinischen Fakultäten eine neue Herausforderung. Der Reformstudiengang Medizin (RSM) der Berliner Charité führt bereits seit 1999 regelmäßig benotete Prüfungen durch. Ziel dieses Beitrags ist es, deren Entwicklung und wesentliche Ergebnisse darzustellen. Im Mittelpunkt steht dabei die Darstellung der zentralen Prüfungsorganisation, der MC- und OSCE-Prüfungen.

Schlüsselwörter: Reformstudiengang Medizin, Prüfungen, MCQ, OSCE, benotete Leistungsnachweise

Abstract

German Medical Schools face a new challenge in the need to accomplish graded subject exams. In the Reformed Medical Curriculum at the Charité in Berlin graded exams are in place on a regularly basis since 1999. The aim of this paper is to report on their development and important results, focusing on a description of the organisational assessment structure and MCQ and OSCE.

Keywords: Reformed medical curriculum, assessment, MCQ, OSCE, graded exams


Einleitung

Mit dem Beginn des Reformstudiengangs Medizin (RSM) an der Charité in Berlin im Wintersemester 1999 stand die Fakultät vor einer ähnlichen Aufgabe, wie sie die deutschen Fakultäten derzeit erfahren: nach der jetzt gültigen Approbationsordnung für Ärzte muss jede Fakultät für die 22 Fächer, 12 Querschnittsfächer und 5 Blockpraktika im klinischen Studienabschnitt benotete Leistungsnachweise ausgegeben. Als Basis für die Vergabe der Leistungsnachweise werden jetzt in der Regel schriftliche, mündliche oder praktische Prüfungen in den Lehrveranstaltungen durchgeführt. Dies ist im RSM seit seinem Beginn gängige Praxis, da eine zentrale Voraussetzung für das Berliner Modell die Ausnahmegenehmigung bezüglich der Anzahl und des Zeitpunktes der gesetzlich vorgeschriebenen Staatsexamina war. Anstelle der Ärztlichen Vorprüfung und des 1. Abschnitts der Ärztlichen Prüfung (bisheriges Recht) müssen die Studierenden des RSM am Semesterende jeweils eine Semesterabschlussprüfung absolvieren, deren Noten, ähnlich wie die Noten der neuen Leistungsnachweise, in einem Beiblatt zum abschließenden Staatsexamenszeugnis einzeln aufgeführt werden.

Wegweisend für die Gestaltung der Prüfungen im RSM war die bekannte Tatsache, dass Prüfungen das Lernverhalten der Studierenden ganz wesentlich bestimmen. Da Studierende vor allem das lernen, was geprüft wird, muss eine umfassende Curriculumsreform neben veränderten Inhalten und Lernformen immer auch grundsätzliche Veränderungen und Anpassungen des Prüfungssystems vorsehen. Im Unterschied zu den bisherigen Prüfungen, bei denen Fächer nach einer Unterrichtseinheit meistens abschließend geprüft wurden, sollen die regelmäßigen Leistungstests im RSM den Lehrenden und Lernenden kontinuierliche Rückmeldung über den Lehr- und Lernerfolg geben. Ihre inhaltliche Ausrichtung entspricht der fächerübergreifenden Struktur der Lerninhalte, das heißt es findet keine isolierte Prüfung einzelner Fächer statt und die bisherige Dominanz der schriftlichen MC-Prüfungen, unter Vernachlässigung der praktischen Fertigkeiten, wird aufgehoben.

Der RSM kann mittlerweile auf 5 Jahre Erfahrungen mit der Durchführung fakultätseigener studienbegleitender Prüfungen zurückblicken und somit Erfahrungen und mögliche Anpassungswege hinsichtlich deren Planung und Durchführung aufzeigen. Im Folgenden werden zunächst die strukturellen Rahmenbedingungen für die Gestaltung der Prüfungen und anschließend Details zu den eingesetzten Prüfungsformaten dargestellt.


Strukturelle Rahmenbedingungen

1. Das Curriculum im RSM

Seit dem Wintersemester 1999/2000 beginnen jährlich 63 Studierende ihr Studium im Reformstudiengang an der Charité, der parallel zum Regelstudiengang durchgeführt wird. Sie stellen 10% der jährlich immatrikulierten Studierenden für Humanmedizin in Berlin dar. Das Curriculum ist in zwei Studienabschnitte gegliedert, die in mehrwöchige Blöcke unterteilt sind. Sie orientieren sich im ersten Abschnitt an Organsystemen und im zweiten Abschnitt an Lebensaltersabschnitten und werden mit dem 2. Abschnitt der Ärztlichen Prüfung (bisheriges Recht) abgeschlossen. Darauf folgt das Praktische Jahr und abschließend der 3. Abschnitt der Ärztlichen Prüfung. Eine detaillierte Beschreibung des Curriculums (siehe Abbildung 1 [Abb. 1]) erfolgte andernorts [1].

Die Themenblöcke werden grundsätzlich interdisziplinär geplant und durchgeführt. Für jeden Themenblock werden von einer Blockplanungsgruppe Lernziele formuliert, die für die Studierenden und Lehrenden den inhaltlichen Rahmen bilden und nicht zuletzt maßgeblich für die Gestaltung der Prüfungen sind. Um der Komplexität ärztlicher Tätigkeit gerecht zu werden, werden im RSM drei Kategorien von Lernzielen unterschieden, "kognitive", "anwendungsbezogene" und "emotionale" Lernziele.

Die Curriculumsplanung und Durchführung wird durch eine zentrale Arbeitsgruppe (AG RSM) koordiniert, in der wissenschaftliche Mitarbeiter die inhaltlichen Schwerpunkte wie beispielsweise das Problemorientierte Lernen (POL), die Übung "Interaktion", die Bereiche Simulationspatienten, Prüfungen und Evaluation fachlich betreuen. Die inhaltliche Verantwortung liegt bei einem von der Fakultät eingesetztem Studienausschuss. Die Studien- und Prüfungsordnung [2] für den RSM enthält Details zum Studienverlauf und den Prüfungen.

2. Prüfungsordnung und Verfahrensregelungen

In der Prüfungsordnung sind optional vier Prüfungsformate mit entsprechenden Durchführungsbestimmungen vorgesehen: mündliche, praktische, schriftliche und kombinierte OSCE-Prüfungen. Diese können im zweiwöchigen Prüfungszeitraum am Semesterende summativ, d.h. bestehensrelevant, eingesetzt werden. Basierend auf den curricularen Inhalten entscheidet der Prüfungsausschuss, welche Formate im jeweiligen Fachsemester summativ eingesetzt werden. Besteht eine Semesterabschlussprüfung aus mehreren Teilen, so muss jeder Prüfungsteil einzeln bestanden und benotet werden. Ausgleichsmöglichkeiten gibt es nicht, weil unterschiedlich Kompetenzen geprüft werden. Jeder Prüfungsteil kann zweimal wiederholt werden, bei dreimaligem Misserfolg müssen die Studierenden aus dem Reformstudiengang ausscheiden. Nach jedem Prüfungsteil haben die Studierenden das Recht, begründete Einsprüche gegen Prüfungsinhalte zu formulieren und der Prüfungsausschuss entscheidet abschließend über die Wertung/Nicht-Wertung dieser Prüfungsinhalte.

Basierend auf der Prüfungsordnung haben sich die nachfolgenden Planungsstrukturen etabliert.

3. Planungsstrukturen für die Prüfungen

Im RSM liegt die Verantwortung für die Gestaltung und Durchführung der Semesterabschlussprüfungen bis einschließlich zum 10. Fachsemester bei der Fakultät. Die Ärztliche Vorprüfung und der 1. Abschnitt der Ärztlichen Prüfung (bisheriges Recht) werden durch diese Prüfungen ersetzt. Einem von der Fakultät eingesetzten Prüfungsausschuss obliegt die Kontrolle über ihre Durchführung. Die Ausschussmitglieder mussten aufgrund der neuen Curriculumsstruktur zunächst Erfahrungen mit neuen Prüfungsformaten sammeln. Wichtig für ihre Arbeit war ein großes Interesse an innovativen Methoden und die tatsächliche Übernahme der Verantwortung für die Prüfungen durch die Ausschussmitglieder. Unterstützt wurden sie dabei von den Mitarbeitern des RSM, die sich bereits in der Planungsphase intensiv mit den vielfältigen internationalen Entwicklungen und Forschungsergebnissen im Bereich "Prüfungen in der medizinischen Ausbildung" auseinandergesetzt hatten [3], [4]. Aufgrund dieser Expertise der RSM Mitarbeiter konnten die Sitzungen so vorbereitet werden, dass Entscheidungen im Prüfungsausschuss auf wissenschaftlich fundierter Basis unter Berücksichtigung ihrer Umsetzbarkeit an der Fakultät getroffen wurden. Für die Umsetzung der Beschlüsse sind die Mitarbeiter des Prüfungsbereichs der AG RSM in ihrer koordinierenden Funktion verantwortlich.

Basierend auf den bisher gemachten Erfahrungen wurde im Jahr 2003 im Prüfungsausschuss schließlich ein Leitbild erarbeitet, das "Ziele und Durchführung der Bewertung und Einschätzung der Studierenden und des Curriculums im Reformstudiengang Medizin der Charité" formuliert (verfügbar unter: http://www.reformstudiengang-medizin.de/Pruefungen/Leitbild.html [20.03.2005]). Entsprechend diesem Leitbild werden die Prüfungen unter folgenden Gesichtspunkten vorbereitet und durchgeführt:

- summative Prüfung aller Blöcke gemeinsam am Ende des Semesters

- eindeutiger Bezug der Prüfungsinhalte auf die formulierten Lernziele des Semesters

- fächerübergreifende Überprüfung der Lernziele

- Einsatz verschiedener Formate zur Erfassung der unterschiedlicher Dimensionen ärztlicher Tätigkeit

- Etablierung eines Verfahrens zur Einspruchnahme gegen Prüfungsteile für Studierende

- Engmaschige Rückmeldung der Ergebnisse an Studierende und Lehrende.


Auswahl und Umsetzung der Prüfungsformate

Im Prüfungsausschuss wurde die Entscheidung getroffen, sich zunächst vornehmlich auf die beiden summativen Formate "Multiple-Choice-Questions" (MCQ) und "Objective Structured Clinical Examination" (OSCE) zu konzentrieren und diese bestmöglich umzusetzen und weiterzuentwickeln. Diese Entscheidung basierte auf der Einschätzung, dass qualitativ hochwertige Prüfungen, die den wesentlichen Testgütekriterien wie Validität, Reliabiltät und Objektivität genügen, einen erheblichen Entwicklungsaufwand erfordern, der in Aufbauprozess des RSM nur begrenzt leistbar war. Neben den summativen setzt sich der Prüfungsausschuss auch mit formativen Prüfungen auseinander. Formativ, dass heißt nicht bestehensrelevant, wurden bisher im Verlauf des Modellversuchs vereinzelt mündliche Prüfungen, schriftliche fallbasierte Prüfungen im MEQ-Format sowie computerbasierte Prüfungen eingesetzt und evaluiert. Hier lag die Zielsetzung in einem zeitlich eng an den jeweiligen Block geknüpften Feedback.


Summative Prüfungsteile

1. Multiple-Choice-Prüfungen

Der Prüfungsausschuss hat zu Beginn des RSM nach ausführlicher Diskussion und Berücksichtigung der Literatur [5], [6] beschlossen, die kognitiven Lernziele nach jedem Semester mit dem Multiple-Choice-(MC)-Verfahren zu überprüfen.

Trotz des schlechten Rufs dieses Prüfungsformats bei vielen Studierenden und Lehrenden überwiegen dessen Vorteile gegenüber anderen schriftlichen Prüfungsformaten: MC-Prüfungen sind objektiv, auch für große Studierendenzahlen kostengünstig durchzuführen und auszuwerten, sie sind fast allen Studierenden und Lehrenden bekannt und sie sind sehr gut erforscht [7]. Pro Stunde Prüfungszeit kann mit sorgfältig erstellten MC-Fragen eine höhere Reliabilität erreicht werden als mit den meisten anderen Prüfungsformaten [8]. Viele Kritikpunkte, zum Beispiel das ausschließliche oder überwiegende Prüfen von isoliertem Detailwissen, sind nicht formatbedingt und lassen sich durch die sorgfältige Gestaltung der Fragen vermeiden. Ein weiterer Grund für den Einsatz von MC-Prüfungen im RSM war der Wunsch eine methodische Vergleichbarkeit mit den Prüfungen im Regelstudiengang zu schaffen.

Die MC-Fragen werden nicht veröffentlicht. Als Fragenformate werden nur "Einfachauswahlfragen" und "erweiterte Zuordnungsaufgaben" verwendet [6], [7]. Alle Fragen werden in der eigenen Fakultät erstellt und es werden möglichst nur Fragen mit klinischen Fallvignetten verwendet. Die Anzahl der MC-Fragen je Block in der Semesterabschlussprüfung ist genau festgelegt und richtet sich nach der Länge des Blocks. Folgendes Vorgehen bei der Erstellung einer MC-Semesterabschlussprüfung hat sich im RSM bewährt:

Grundlage der MC-Prüfungen sind die Lernziele der Themenblöcke, ein vierwöchiger Block hat zwischen 25 und 40 Lernziele. Um den Prüfungsinhalt transparent zu machen, wird nur geprüft, was in den Lernzielen steht. Die Blockplanungsgruppe legt die Gewichtung der Lernziele (MC-Fragen pro Lernziel) als "Blueprint" schriftlich fest. Es wird angestrebt, jedes Lernziel mit mindestens einer MC-Frage zu prüfen. Die Erstellung und Gewichtung der Lernziele durch die interdisziplinäre Blockplanungsgruppe ist ein wichtiges Instrument zur Sicherung der Validität der MC-Prüfung [9].

Im zweiten Schritt wird auf der Basis der Schwierigkeitsindices und Trennschärfen aus vorangegangenen Prüfungen entschieden, welche schon einmal eingesetzten MC-Fragen wieder verwendet werden sollen. Dabei gibt es keine festgelegten Grenzwerte zum Ausschluss von Fragen auf Grund von für Schwierigkeit und Trennschärfe aber alle Fragen, deren Schwierigkeit außerhalb p= 0,4-0,85 oder Trennschärfe rit< 0,2 liegen werden einer besonders sorgfältigen Prüfung unterzogen [10]. Eine schwere (z.B. p= 0,3) Frage kann im Test wieder eingesetzt werden wenn sie inhaltlich korrekt und sinnvoll ist. Daraus resultierend sollte eher versucht werden, das Fragenthema stärker in der Lehre zu berücksichtigen. Ebenso kann eine sehr leichte Frage mit entsprechend geringer Trennschärfe ebenfalls im Test verbleiben, wenn nachgewiesen werden soll, dass (fast) alle Studierenden über das in der Frage geprüfte Wissen verfügen.

Da gelegentlich neue Lernziele hinzukommen, problematische MC-Fragen aussortiert werden, sich die Gewichtung der Lernziele ändert und in jeder Prüfung ein Anteil von mindestens 20% Neufragen anstrebt wird, müssen jedes Semester neue MC-Fragen geschrieben werden. Die Blockplanungsgruppe benennt mögliche Fragenautorinnen und -autoren. Die Erstellung guter MC-Fragen ist eine anspruchsvolle Aufgabe, die dadurch honoriert wird, dass der Zeitaufwand dafür auf die Lehrleistung angerechnet wird. Die Fragenautorinnen und -autoren sind fast immer auch als Dozentinnen und Dozenten an den Unterrichtsveranstaltungen der Blöcke beteiligt.

Alle MC-Fragen werden zentral in einer webbasierten Datenbank mit zurzeit ca. 4000 Fragen verwaltet. Alle neu erstellten Fragen durchlaufen einen Peer-Review-Prozess. Dabei wir die Übereinstimmung zwischen MC-Frage und Lernziel, die Einhaltung des vorgegebenen MC-Fragenformats, die Relevanz und die Angemessenheit für den jeweiligen Ausbildungsstand der Studierenden begutachtet. In der Regel werden 70-80% der MC-Fragen von den Autoren mit Änderungsvorschlägen des Review-Komitees modifiziert.

Die endgültige Auswahl der MC-Fragen für die jeweilige Prüfung erfolgt durch den Blockverantwortlichen, der damit auch die inhaltliche Verantwortung für die Prüfung trägt. Die Vorbereitung der Prüfungsunterlagen, die Organisation, Durchführung und Auswertung der Prüfung und die Ergebnismitteilung an die Studierenden erfolgt durch die Mitarbeiter der AG RSM.

Für die MC-Prüfungen liegt die Bestehensgrenze bei 60% der möglichen Punkte. Sollte der Mittelwert minus eine Standardabweichung unter 60% liegen, gilt dieser Wert als Bestehensgrenze ("Gleitklausel"). Da die Prüfungsfragen nicht veröffentlicht werden, haben die Studierenden nach jeder Prüfung die Möglichkeit, die Prüfungsfragen einzusehen, um Einsprüche gegen einzelne Fragen zu formulieren. Im Durchschnitt werden vier bis fünf Fragen pro Semester nach Einsprüchen der Studierenden vom Prüfungsausschuss aus der Wertung genommen.

Die Ergebnisse werden an die Fragenautoren und die Blockplanungsgruppen rückgemeldet. In der Regel stellt ein Mitarbeiter der AG RSM die Prüfungsergebnisse auf einer Blockplanungssitzung vor. In der Tabelle 1 [Tab. 1] sind die Anzahl der gestellten und gewerteten Fragen, der Mittelwert und die Standardabweichung der richtig beantworteten Fragen, die Bestehensquote und die interne Konsistenz [11] der MC-Prüfungen im Wintersemester 2003/2004 und im Sommersemester 2004 dargestellt. Für das erste bis fünfte Semester ist die interne Konsistenz, als Maß für die Reliabilität der Prüfungen mit Werten über 0,8 gut. Für das sechste bis achte Semester sind die Werte akzeptabel. Nur für das neunte Semester ist die interne Konsistenz mit 0,59 zu niedrig [12]. Es handelt sich hier um die erstmalige Durchführung dieser Prüfung, neben der Fragenanzahl und -qualität könnten die inhaltlich sehr dicht beieinander liegenden Lernziele einen Erklärungsansatz für die geringere interne Konsistenz liefern. Der Unterschied der internen Konsistenz zwischen den Prüfungen des 1. und 2. Studienabschnittes konnte bisher nicht zufrieden stellend erklärt werden und bedarf weiterer Untersuchungen.

Unter Hinzurechnung der zwei Wiederholungsprüfungen, die jeweils ca. 50 % neue Fragen gegenüber der Hauptklausur enthalten, werden pro Semester ca. 1000-1500 MC-Fragen eingesetzt.

Die Studierenden erhalten als Rückmeldung über ihre Prüfungsleistung mit ihrem Zeugnis eine blockbezogene Auswertung ihres eigenen Ergebnisses im Verhältnis zum Mittelwert und der Standardabweichung aller Testteilnehmer.

Die Autoren erhalten als Rückmeldung über das Antwortverhalten der Studierenden auf ihre Fragen eine fragenbezogene Auswertung, wie in der Abbildung 2 [Abb. 2] dargestellt. Sie zeigt, wie häufig jede Antwortalternative von den Studierenden gewählt wurde. Um zu sehen, ob eine Frage gut zwischen den leistungsstarken und den leistungsschwächeren Studierenden unterscheidet, enthält die Autorenrückmeldung auch das Antwortverhalten der 25% Testbesten und 25% Testschlechtesten. Die Rückmeldung an die Autoren ist ein wichtiges Instrument zur Curriculumsevaluation und -optimierung. Da fast alle Fragenautoren auch Dozenten im RSM sind, können sie der Autorenrückmeldung entnehmen, wie "erfolgreich" ihre Lehrveranstaltung war. Durch die Rückkopplung der Prüfungsergebnisse an die Blockplanung, können die Lernziele immer wieder auf Sinnhaftigkeit und Realisierbarkeit überprüft werden.

Der alleinige Einsatz von Einfachauswahl- und Zuordnungsaufgaben zur Prüfung des kognitiven Wissens ist sicher nicht ausreichend und sollte um andere MC-Formate und Formate mit offenen Antworten ergänzt werden. Das war im RSM bisher auf Grund des hohen Entwicklungsaufwands für hochwertige MC-Prüfungen nur punktuell möglich. Mit der zunehmenden Routine in der Durchführung der MC-Prüfungen werden jedoch jetzt Kapazitäten frei, neue Formate zu erproben bzw. weiterzuentwickeln.

2. Objective Structured Clinical Examination (OSCE)

Das Prüfungsformat Objective Structured Clinical Examination (OSCE) ermöglicht die strukturierte Erfassung der klinisch- praktischen Fertigkeiten der Studierenden [13], [14]. Da im RSM ein Schwerpunkt auf der Vermittlung der praktischen Fertigkeiten liegt, müssen demzufolge diese Fertigkeiten in den Semesterabschlussprüfungen summativ erfasst werden. In Pilotprojekten wurde bereits vor Beginn des RSM die Umsetzbarkeit von OSCE Prüfungen erprobt, weil diese Methode in der Fakultät bislang unbekannt war. Das Verfahren ist international etabliert und wird unter anderem in den Staatsprüfungen in Kanada und den USA [15] eingesetzt und auch an vielen deutschsprachigen Fakultäten (z.B. Münster, Hamburg Heidelberg, München, Bern, Wien) werden OSCEs im Rahmen der fakultätsinternen Leistungsüberprüfungen durchgeführt.

Ein OSCE ist in der Regel fester Bestandteil der Semesterabschlussprüfungen und bezieht sich auf alle Blöcke des abgelaufenen Semesters. In einem Prüfungsparcours werden Stationen mit unterschiedlichen Aufgabenstellungen aufgebaut, die alle Studierenden nacheinander durchlaufen müssen. Maßgeblich für die Gestaltung der Stationen sind die anwendungsbezogenen Lernziele der verschiedenen Blöcke. Aus diesen werden von der Blockplanungsgruppe je zwei bis vier ausgewählt und dazu passende Aufgabenstellungen und Checklisten entwickelt. Die Im Unterschied zum MC-Fragen Review werden die Checklisten im kleinen Kreis von Fachexperten entwickelt, begutachtet und teilweise im Rahmen der Prüferschulungen erprobt.

In jeder Prüfungsstation wird die Leistung der Studierenden von einem Prüfer mit Hilfe einer detaillierten Checkliste erfasst und dokumentiert. Sie erhalten vorbereitende Informationsunterlagen und ein kurzes Training, um eine möglichst konstante Bewertung zu gewährleisten. Es gibt Anamnese- und Untersuchungsstationen sowie Stationen in denen praktische Fertigkeiten, wie beispielsweise eine Venenpunktion am Modell, demonstriert werden müssen. Kombinierte Anamnese- und Untersuchungsaufgaben in einer Station sind ebenso möglich. Im ersten und zweiten Fachsemester ist die Prüfungszeit je Station mit 5 Minuten bemessen, in den höheren Fachsemestern erhöht sich die Zeit bis auf 10 Minuten je Station, weil die Aufgabenstellungen komplexer werden. Ein OSCE besteht derzeit aus maximal 10 Stationen. In ca. 70% davon werden Simulationspatienten eingesetzt und damit die Möglichkeit gegeben, die Arzt-Patienten-Kommunikation zu beobachten. Der Erwerb kommunikativer Kompetenzen ist ein wichtiger Ausbildungsschwerpunkt im RSM und im Rahmen des OSCE ist es möglich, diese zu beurteilen. Auf der Basis von umfangreichen Studien zur Validierung eines Bewertungsinstrumentes werden in Kürze die kommunikativen Kompetenzen der Studierenden mit einem Global-Rating-Instrument in die Bewertung mit einbezogen [16].

Der OSCE ist bestanden, wenn der Mittelwert der erreichten Punktzahlen an den Stationen mindestens 60 % beträgt. Alle Stationen gehen mit dem gleichen Gewicht in die Auswertung ein. Die Studierenden erhalten einen Auswertungsbogen, der ihre individuelle Leistung an jeder Station im Vergleich zum Mittelwert der Gesamtgruppe aufführt. Neben der Auswertung für die Studierenden werden die einzelnen Items der Checklisten der Stationen ausgewertet, um Hinweise auf Mängel im Stationsdesign zu erhalten, aber auch um eine Rückmeldung für die Veranstaltungsplanung des folgenden Jahrgangs zu gewinnen. Die Mitarbeiter des RSM unterstützten die Fakultätsmitglieder bei der Gestaltung der Stationen und tragen die Verantwortung für den organisatorischen Ablauf.

Tabelle 2 [Tab. 2] zeigt, dass die Studierenden im Verlauf ihres Studiums ca. 8 Stunden Prüfungszeit durchlaufen. Diese Vielzahl an OSCE's kann nur mit Hilfe des Simulationspatientenprogramms und den räumlichen Gegebenheiten des "Trainingszentrums für ärztliche Fertigkeiten" (TÄF) realisiert werden. In allen Anamnese-, Aufklärungs-/Beratungsstationen und den meisten Untersuchungsstationen werden Simulationspatienten bzw. Modelle eingesetzt. Die Durchführung ist auch mit einem hohen personellen Aufwand für die Fakultät verbunden, da alle Stationen mit Prüfern besetzt werden. Im Wintersemester 2003/04 waren 78 Fakultätsmitglieder als Prüfer tätig. Ein positiver Effekt dieser Aktivitäten bei den Prüfern ist die Reflektion über Anspruch und Wirklichkeit im Hinblick auf die praktischen klinischen Fertigkeiten. Aufgrund der OSCE Ergebnisse wurden bereits Unterrichtskonzepte für die praktische Übungen überarbeitet und ein "Leitfaden zu klinischen Untersuchungen und praktischen Fertigkeiten" [17] veröffentlicht.

Der interdisziplinäre Prozess der Stationsentwicklung und Prüfungsdurchführung zu einem Themenblock kann als eine Besonderheit des RSM angesehen werden, in der Literatur werden überwiegend fachspezifische OSCEs beschrieben [18], [19]. An der Planung und Umsetzung des OSCE für das 3. Semester sind beispielsweise acht verschiedene Fächer beteiligt, die sich im Planungsprozess mit den Anforderungen der anderen Fachgebiete auseinandersetzen müssen. Gleichzeitig muss kritisch angemerkt werden, dass aufgrund dieser Struktur ein wesentlicher Aspekt der Testkonstruktion des OSCE, die "Fallspezifität (case specificity)" nicht ausreichend gewürdigt wird ([12]. Die verschiedenen Blöcke eines Semesters müssten mit einer deutlich höheren Anzahl von Stationen geprüft werden, um zuverlässige Aussagen über die praktischen Fertigkeiten der Prüflinge zu erhalten, dies ist aber aufgrund der Vorgaben der Prüfungsordnung und der zur Verfügung stehenden Ressourcen nicht realisierbar.

Deutlich sichtbar wird der enorme lernsteuernde Effekt dieser Prüfungsmethode im TÄF, wenn die Studierenden vor den Prüfungen intensiv die umfangreichen Übungsmöglichkeiten nutzen, um sich auf die OSCEs aber auch auf den späteren klinischen Alltag vorzubereiten. Ebenso wird der Tatsache Rechnung getragen, dass kommunikative Kompetenzen eine Voraussetzung für später erfolgreiche Arzt-Patientenkontakte sind und im Rahmen des Studiums unterrichtet und geprüft werden müssen.


Formative Prüfungsangebote

In Ergänzung zu den summativen Prüfungsteilen, wurden den Studierenden einzelner Jahrgänge auch formative Prüfungen wie beispielsweise "strukturierte mündliche Prüfungen", "Modified Essay Questions (MEQ)" und "computerbasierte Prüfungen" angeboten. Auf diese Weise konnten neue oder veränderte Prüfungsformate hinsichtlich ihrer Umsetzbarkeit und Anwendungsmöglichkeiten erprobt werden. Insgesamt wurden diese Projekte von den Studierenden positiv aufgenommen und auch einige Lehrende zeigten sich sehr engagiert. Die Erfahrungen und gesammelten Daten werden in weitere Pilotprojekte einfließen, um auch bisher noch nicht geprüfte Fertigkeiten und Fähigkeiten der Studierenden zu erfassen und zeitnahe Feedbackmechanismen zu etablieren. Leider ist die regelmäßige Durchführung formativer Prüfungen in allen Semestern auf Grund begrenzter personeller Ressourcen bisher nicht möglich.


Erste Ergebnisse der Staatsprüfungen

Im Herbst 2004 haben sich die ersten Studierenden des Reformstudiengangs Medizin in Berlin zum 2. Teil der Ärztlichen Prüfung (bisheriges Recht) angemeldet. Tabelle 3 [Tab. 3] zeigt die Notenverteilung des schriftlichen und mündlichen Teils im Vergleich zu allen Berliner Teilnehmern. Weitere statistische Untersuchungen zum Unterschied der beiden Gruppen sind aufgrund der geringen Fallzahlen in der RSM-Gruppe noch nicht möglich. Im Herbst 2004 haben 28,5% der Studierenden des Reformstudiengangs Medizin diese Prüfung innerhalb der Regelstudienzeit erfolgreich abgelegt. Dies entspricht der prozentualen Verteilung der Prüfungserstteilnehmer und erfolgreichen Studierenden des Regelstudiengangs der Charité in Berlin.

Die praktischen Fertigkeiten der Absolventen werden mit den jetzigen Staatsprüfungen nicht oder nur ungenügend erfasst. Es ist derzeit deshalb leider nicht möglich, mit Hilfe eines externen Evaluationsinstrumentes mögliche signifikante Unterschiede hinsichtlich dieser Kompetenzen aufzuzeigen. Ergebnisse aus der Absolventenforschung werden zukünftig hier weitere Anhaltspunkte liefern können.


Zusammenfassung und Ausblick

Am Beginn des RSM stand die Vorstellung, baldmöglichst viele innovative Prüfungsmethoden einzuführen, um der Lehr- und Lernvielfalt eine entsprechende Prüfungsvielfalt gegenüberzustellen. Die Synchronisation von Curriculums- und Prüfungsplanung ist Voraussetzung für eine erfolgreiche Curriculumsreform. Die Realität zeigt aber, dass die Planung der Inhalte und Lehrveranstaltungen häufig im Vordergrund steht und die Planung der Prüfungen zuletzt stattfindet, gleichzeitig werden Mängel an den Prüfungen von den Studierenden viel deutlicher und vehementer kritisiert, als Anlaufschwierigkeiten in der Lehre. Aufgrund ähnlicher Probleme im RSM wurde deutlich mehr Zeit und Arbeit als ursprünglich vorgesehen, in die inhaltliche Feinabstimmung zwischen den Lernzielen und Prüfungsinhalten investiert. Dieser Prozess hat eine hohe Transparenz und auch Akzeptanz der Prüfungen des RSM zur Folge, die auch daran erkennbar wird, dass es bisher keine Klagen vor dem Verwaltungsgericht gegen Prüfungsinhalte bzw. -teile gegeben hat. Sechs Studierende sind bislang aufgrund ihres Misserfolges in den Semesterabschlussprüfungen zu einem recht frühen Studienzeitpunkte aus dem RSM ausgeschieden und haben ihr Studium im Regelstudiengang fortgeführt.

Der Übergang von der bekannten Fächerstruktur zu den fächerübergreifenden Themenblöcken ist immer noch eine der großen Herausforderungen im Curriculums des RSM. Die damit verbundenen organisatorischen Aspekte haben zur Implementierung zentraler Organisationsstrukturen für die Lehre und die Prüfungen geführt. Auf diese Weise können die Rahmenbedingungen und die inhaltlichen Fragestellungen koordiniert sowie Qualitätsstandards für Lehre und Prüfungen etabliert werden. Gerade die interdisziplinäre Begutachtung von Prüfungsinhalten führt zu einem Austausch von Fachwissen und der kritischen Auseinandersetzung mit den eigenen Ausbildungszielen. Ähnliche Strukturen sind für die Organisation der fächerübergreifenden Leistungsnachweise notwendig , daher wurden im RSM erprobte und inzwischen etablierte Prozesse bei der Prüfungserstellung und Durchführung auch für den Regelstudiengang an der Charité übernommen. Mittlerweile gibt es den Assessment-Bereich, in dem alle prüfungsbezogenen Aufgaben, unabhängig vom RSM oder Regelstudiengang, bearbeitet werden.

Der Entwicklungsaufwand der einzelnen Prüfungsmethoden und die Notwendigkeit, neue Strukturen zu etablieren, wurden insgesamt unterschätzt und erst jetzt, nachdem für MCQ und OSCE effiziente Abläufe und Ressourcen vorhanden sind, rücken andere Formate ins Blickfeld. Perspektivisch werden eine größere Formatvielfalt sowie zusätzliche formative Angebote für Studierende angestrebt. Es gilt insbesondere die Aspekte des Curriculums wie beispielsweise "klinische Entscheidungsfähigkeit" oder die Fähigkeit zur Selbsteinschätzung, die noch gar nicht mit Prüfungen erfasst werden, durch die Einführung angepasster Methoden aufzuwerten, denn gelernt wird was geprüft wird.


Anmerkung

Der "Reformstudiengang Medizin" wird durch die Bund-Länder-Kommission für Bildungsplanung und Forschungsförderung gefördert und im Rahmen von wissenschaftlichen Projekten durch eine Reihe von Institutionen und Förderern unterstützt (unter anderem: Robert Bosch Stiftung, VolkswagenStiftung, Carl Gustav Carus Stiftung, Deutsche Ärzte Finanz)


Danksagung

Wir danken folgenden ehemaligen und noch aktiven Mitarbeitern des Reformstudienganges für ihre Mitarbeit bei der Entwicklung, Durchführung und Auswertung der Prüfungen: Heiko Brandes, Claudia Hahn, Mark Helle, Michel Knigge, Simone Scheffer und Andreas Stein. Wir danken allen Kolleginnen und Kollegen, die an den Prüfungen beteiligt sind und den Studierenden des RSM für ihre konstruktive Mitarbeit.


Literatur

1.
Burger W, Froemmel C. Der Berliner Reformstudiengang Medizin, Zielsetzung und erste Erfahrungen. Bundesgesundheitsbl. 2002;(45):152-158.
2.
Humboldt-Universität zu Berlin. Amtliches Mitteilungsblatt vom 26.07.1999. Studienordnung und Prüfungsordnung für den Reformstudiengang Medizin. Berlin: Humboldt-Universität; 1999:16.
3.
Lowry S. Medical education: Assessment of students. BMJ. 1993;(306):51-54.
4.
Des Marchais JE, Vu NV. Developing and evaluating the student assessment system in the preclinical problem-based curriculum at Sherbrooke. Acad Med. 1996 ;71(3):274-283.
5.
Case SM, Swanson DB. Constructing written test questions for the basic and clinical sciences. 2nd ed. Philadelphia: NBME; 1998.
6.
Haladyna TH. Developing and validating Multiple-Choice test items. 2nd ed. Mahwah, New Jersey: Lawrence Erlbaum Ass; 1999.
7.
Schuwirth LW, van der Vleuten CP. ABC of learning and teaching in medicine: Written assessment. BMJ. 2003;326(7390):643-645.
8.
Newble DI, Swanson DB. Psychometric characteristics of the objective structured clinical examination. Med Educ. 1988;22:325-334.
9.
Downing SM. Validity: on the meaningful interpretation of assessment data. Med Educ. 2003;37(9):830-837.
10.
Krebs R. Anleitung zur Erstellung von MC-Fragen und MC-Prüfungen für die Ärztliche Ausbildung. Bern: IML/AAE; 2004.
11.
Kuder GF, Richardson MW. The theory of the estimation of test reliability. Psychometrika. 1937;2:151-160.
12.
Downing S. Reliability: on the reproducibility of assessment data. Med Educ. 2004; 38(9):1006-1012.
13.
Harden RM, Gleeson FA. Assessment of medical competence using an objective structured clinical examination (OSCE). Med Educ. 1979;13(1):41-54.
14.
Newble D. Techniques for measuring clinical competence: objective structured clinical examinations. Med Educ. 2004;38(2):199-203.
15.
Papadakis MA. The Step 2 clinical-skills examination. N Engl J Med. 2004; 350(17):1703-1705.
16.
Scheffer S, Muehlinghaus I, Froemmel A, Ortwein H, Georg W, Burger W. Assessing Students' Communication Skills: Results of the validation of a Global Rating. Edingburgh: AMEE; 2004. Zugänglich unter: http://www.amee.org/conf2004/AMEE2004_Abstracts.pdf .
17.
Dashti H, Küchenmeister J, Georg W, Schnabel K. Leitfaden zu klinischen Untersuchungen und praktischen Fertigkeiten. Reformstudiengang Medizin. Berlin: Charité-Universitätsmedizin Berlin; 2002.
18.
Hodges B, Hanson M, McNaughton N, Regehr G; University of Toronto Psychiatric Skills Assessment Project. Creating, monitoring, and improving psychiatry OSCE: a guide for faculty. Acad Psychiatry. 2002;26(3):134-161.
19.
Carraccio C, Englander R. The objective structured clinical examination: a step in the direction of competency-based evaluation. Arch Pediatr Adolesc Med. 2000;154(7):736-741.