gms | German Medical Science

Am 9. und 10. Februar 2015 fand an der Universitätsmedizin Göttingen das 8. Partnertreffen des medizinischen Prüfungsverbundes Umbrella Consortium for Assessment Networks (UCAN) statt. Bei UCAN sind über 60 Institutionen aus 7 Ländern organisiert, um sich gegenseitig bei der Erstellung und dem Austausch von Prüfungsinhalten, der Qualitätssicherung sowie der Weiterentwicklung ihrer Prüfungen zu unterstützen. Das diesjährige Treffen stand unter dem Motto „Zukunftsperspektiven für kompetenzorientiertes und qualitätsgesichertes Prüfen im Verbund“. Über 80 Teilnehmer aus den Partnerfakultäten sowie Gäste aus weiteren Institutionen tauschten sich in 12 Workshops intensiv über kompetenzorientierte Prüfungskonzeption, Qualitätssicherung für medizinische Prüfungen sowie über die gemeinsam genutzten Softwaretools aus. In Zukunft soll die gemeinsame Prüfungsforschung durch die Gründung eines Beirates für die konzeptionelle Zusammenarbeit weiter verstärkt werden, um so die aktuellen Herausforderungen im Bereich medizinischer Prüfungen (Umsetzung des Nationalen Kompetenzbasierten Lernzielkatalogs in der Medizin, Empfehlungen des Wissenschaftsrates) effektiv zu bewältigen.

„Non scholae, sed vitae discimus“ – nicht für die Schule, sondern für das Leben lernen wir. Mit diesem Leitsatz erinnerte der Göttinger Studiendekan Prof. Dr. Gerhard Burckhardt zu Beginn des 8. UCAN Partnertreffens die Teilnehmer daran, dass Prüfungen kein Selbstzweck sein sollten. Mit seinem Plädoyer für mehr Praxisorientierung in Prüfung und Lehre unterstrich er das Hauptaugenmerk des Treffens, das in diesem Jahr auf praxisnahen, kompetenzorientierten und qualitätsgesicherten Prüfungen lag (siehe Abbildung 1 [Abb. 1]).

Dieses Thema hat aktuell einen hohen Stellenwert: In der Medizin ist seit einigen Jahren ein Wandel in der Prüfungskultur weg von reinem Faktenwissen hin zu beruflich benötigten Kompetenzen zu verzeichnen. Dieser wird nun erneut durch den 2015 verabschiedeten Nationalen Kompetenzbasierten Lernzielkatalog Medizin (NKLM) und die aktuellen Empfehlungen des Wissenschaftsrates untermauert, was jedoch auch eine große Herausforderung für die (bundesdeutschen) Fakultäten darstellt. Die übergeordnete Frage für die Präsentationen und Workshops des Partnertreffens lautete daher: Wie kann dieser Wandel in der Prüfungskultur unter Berücksichtigung begrenzter Ressourcen bei Einhaltung der gebotenen Qualität produktiv gestaltet werden?

Viele Workshops und Präsentationen waren entsprechend darauf ausgerichtet, im Rahmen des Verbunds gemeinsam Antworten für diese Herausforderungen zu entwickeln.

Im Workshop „Konzeption gemeinsamer OSCE-Stationen“ unter der Leitung von Dr. Iris Schleicher (Gießen) und Jasmina Sterz (Frankfurt) wurden von den Partnern erste Standards für die Erstellung und interfakultäre Nutzung gemeinsamer OSCE-Stationen erstellt. Außerdem wurde damit begonnen, in Kleingruppen anhand der entwickelten Standards exemplarisch je eine OSCE-Station zum Thema „Appendizitis“ und „Kniegelenk“ zu entwickeln. Während des Workshops wurden außerdem einige Problemfelder benannt, in denen noch weiterer Klärungsbedarf besteht. Diese betrafen zum Beispiel die unterschiedliche Stationsdauer oder das Benutzen verschiedener Checklisten.

Im Workshop „Entwicklung eines kompetenzorientierten Prüfungsprogramms in der Palliativmedizin“ unter der Leitung von Dr. Bernd Alt-Epping (Göttingen), Benjamin Ilse (Göttingen), Prof. Dr. Jana Jünger (UCAN) und Stephanie Seidemann (Heidelberg), wurde ein kompetenzorientiertes Gesamtprüfungskonzept für den Querschnittsbereich 13 erarbeitet, welches den Konsens von allen Teilnehmenden gefunden hat. Für dessen Implementierung erscheint eine interfakultäre Kooperation unerlässlich, um derzeit noch existierende Hürden zu überwinden (wie zum Beispiel die geringe Stundenkapazität in der Lehre oder kaum etablierte Lehr- und Prüfungsformate für die Vermittlung einer palliativmedizinischen Haltung). In einem Folgeworkshop wurde dann in Arbeitsgruppen an konkreten Formaten zur Überprüfung kommunikativer Kompetenzen in der Palliativmedizin gearbeitet.

Um die gemeinsame konzeptionelle Arbeit im Verbund in Zukunft noch weiter zu intensivieren, wurde auf der Konferenz außerdem ein Beirat für die konzeptionelle Zusammenarbeit ins Leben gerufen, der aus den Prüfungskoordinatoren und Personen mit der Qualifikation eines „Master of Medical Education“ an den Partnerfakultäten bestehen soll (siehe Abbildung 2 [Abb. 2]).

Im Workshop „Qualitätssicherung durch Prüfungsbericht und Standardisierung der Auswertung“ unter der Leitung von Dr. Andreas Möltner (UCAN) und Dr. Irmgard Streitlein-Böhme (Freiburg) diskutierten die Teilnehmer, wie die gemeinsam genutzte Softwareplattform ItemManagementSystem (IMS) die Qualitätssicherung bei der Prüfungsauswertung und die Fakultätsberichte noch besser unterstützen könnte. Neben Vorschlägen für die bessere Darstellung der Teststatistik soll die Validität der Prüfungen mehr ins Zentrum rücken und in Zukunft ein longitudinaler Kohortenvergleich anhand einer grafischen Darstellung möglich sein.

Um die Qualität der über 200.000 Prüfungsfragen im Fragenpool zukünftig weiter zu verbessern, wurde im Prüfertraining von Dr. Tobias Raupach (Göttingen) unter dem Titel „Gute MC-Fragen mit IMS-Review und Blueprint“ trainiert, wie gute MC-Fragen formuliert werden können und wie die Reliabilität und Validität von Prüfungen mit Hilfe des Review-Systems im IMS erhöht werden kann.

Ein weiterer Slot im Bereich kooperative Qualitätssicherung wurde als offener Austausch für die in UCAN organisierten Ärztekammern genutzt. Hier wurde unter anderem darüber diskutiert, wie es gelingen kann, dass die teilnehmenden Ärztekammern aus Qualitätssicherungsgründen das im IMS integrierte Review-System vermehrt nützen.

Im Workshop „studentischer kompetenzorientierter Progresstest“ unter der Leitung von Stefan Wagener (Heidelberg) und Felicitas Eckrich (UCAN) konnten Studierende Rückmeldung zum letzten Progresstest geben und Vorschläge erarbeiten, wie das Feedback nach dem Test weiter verbessert werden könnte. Beim studentischen kompetenzorientierten Progresstest handelt es sich um einen Test, bei dem die Prüfungsfragen von dafür qualifizierten Studierenden selbst erstellt und gereviewt werden. Zur Erstellung der Fragen wurden „Fächergruppen“ (basierend auf der Approbationsordnung für Ärzte ÄAppO) und „Kompetenzbereiche“ (basierend auf dem Nationalen Kompetenzbasierten Lernzielkatalog Medizin, NKLM) zu einem zweidimensionalen Blueprint kombiniert.

In verschiedenen Workshops aus dem Bereich „Technik“ wurden außerdem die neuen Features der gemeinsamen Softwareplattform und der weiteren UCAN Tools vorgestellt. So wurden die Teilnehmer in den Neuerungen beim Prüfungsauswertungstool Examinator und bei der Scannersoftware Klaus geschult und lernten, Fragen mit Hilfe des neuen Item-Editors in das IMS einzugeben. Dabei konnte das Entwicklerteam konstruktive Vorschläge für die weitere Verbesserung der Softwaretools mitnehmen. Anhand einer exemplarischen elektronisch durchgeführten Prüfung (e-Prüfung) präsentierte Dr. Manfred Herrmann außerdem, wie an der Universitätsmedizin Göttingen desktopbasierte e-Prüfungen durchgeführt werden.

Eine der am besten besuchten Veranstaltungen im Technikbereich war ein Workshop unter der Leitung von Jörn Heid (UCAN), in dem die UCAN Tools zur Durchführung von Prüfungen auf Tablets vorgestellt und diskutiert wurden. Neben den Weiterentwicklungen bei der seit 2 Jahren produktiv eingesetzten App „tOSCE“ für tabletbasierte OSCE Prüfungen wurde auch die neu entwickelte App „tEXAM“ vorgestellt. Mit dieser App können mit dem IMS konzipierte schriftliche Prüfungen auf Tablets durchgeführt werden. Einzelne Partner berichteten von ihren Erfahrungen beim Einsatz der neuen App.

Neben den 15 Fakultäten, die tOSCE bereits einsetzen, möchten in Zukunft noch mehr Fakultäten ihre OSCEs mithilfe von tabletbasierten Checklisten durchführen (siehe Abbildung 3 [Abb. 3]).

Auf der Konferenz wurden außerdem die Partner vorgestellt, die 2014 dem Verbund beigetreten sind:

1.

Die medizinische Fakultät der Uni Halle ist nun fester Vertragspartner und setzt das IMS für verschiedene medizinische Klausuren ein.

2.

Mit der Karl-Landsteiner-Privatuniversität für Gesundheitswissenschaften aus Krems (Österreich) ist nun die zweite österreichische Universität Mitglied im Verbund.

3.

Die Fachgesellschaft Foederatio Chirurgicorum Helvetica (fmch) ist seit 2014 Mitglied und verwendet das IMS für das Basisexamen Chirurgie.

4.

Die schweizerische Fachgesellschaft Oto-Rhino-Laryngology (ORL) ist ebenfalls letztes Jahr zu UCAN gestoßen und führt zunächst MC-Prüfungen mit dem IMS durch.

5.

Die Schweizerische Gesellschaft für Intensivmedizin (SGI) führt ihr gemeinsames Examen mit der European Society for Intensive Care Medicine (ESICM) mithilfe von UCAN Tools durch. Für die Prüfung, die gleichzeitig an mehreren Orten innerhalb Europas durchgeführt wird, werden das IMS, tOSCE und der Examinator eingesetzt.

6.

Mit dem Touchtstone Institute aus Toronto (Kanada) begrüßt UCAN außerdem den ersten Partner aus Nordamerika. Das größte Medical Assessment Center Kanadas prüft für den Bundesstaat Ontario die „internationally educated health professionals (IEHPs)“, z.B. Ärzte und medizinisches Pflegepersonal mit einem Abschluss außerhalb Kanadas.

Das Treffen endete mit einem gemeinsamen Abschlussplenum, in dem noch einmal die wesentlichen Ergebnisse der Konferenz zusammengefasst wurden. Auf Anfrage können Informationen zu den behandelten Themen auch externen Interessenten zugängig gemacht werden.

Im nächsten Jahr wird das UCAN Treffen wieder in Heidelberg stattfinden und ganz im Zeichen des zehnjährigen Verbundjubiläums stehen. Weitere Informationen zu dem Treffen sowie zum Prüfungsverbund finden Sie unter www.ucan-assess.org.

Die Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.