Artikel
„Bestanden, nicht bestanden“ – über den Einsatz von Standardsetzungsverfahren im Kontext praktischer Prüfungen an Medizinischen Fakultäten der D/A/CH-Länder
Suche in Medline nach
Autoren
-
Daniel Bauer
- Klinikum der Universität München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Deutschland; Universität Bern, Institut für Medizinische Lehre, Bern, Schweiz; Gesellschaft für Medizinische Ausbildung e.V., Ausschuss Prüfungen, Erlangen, Deutschland
-
Sören Huwendiek
- Universität Bern, Institut für Medizinische Lehre, Bern, Schweiz; Gesellschaft für Medizinische Ausbildung e.V., Ausschuss Prüfungen, Erlangen, Deutschland
-
Maren März
- Charité Universitätsmedizin Berlin, Referat für Studienangelegenheiten, Berlin, Deutschland; Gesellschaft für Medizinische Ausbildung e.V., Ausschuss Prüfungen, Erlangen, Deutschland
| Eingereicht: | 7. Dezember 2015 |
|---|---|
| Überarbeitet: | 29. Juni 2016 |
| Angenommen: | 29. Juni 2016 |
| Veröffentlicht: | 15. August 2016 |
Gliederung
Kurzbeitrag
Die Mitglieder des GMA-Ausschusses „Prüfungen“ verfolgen das gemeinsame Ziel, die Prüfungen in Aus-, Weiter- und Fortbildung der Gesundheitsberufe in den D/A/CH-Ländern möglichst sinnvoll zu gestalten. Hierzu treten sie in den Diskurs miteinander und berücksichtigen wissenschaftliche Forschungsergebnisse wie regionale und lokale Kontexte. Gerne wagt der Ausschuss anlässlich des vorliegenden Themenheftes einen Blick auf praktische Fertigkeiten aus Perspektive der Prüfungen.
Die Vermittlung praktischer Fertigkeiten hat inzwischen einen festen Platz in den Ausbildungscurricula im D/A/CH-Raum. Dies spiegelt sich auch in den entsprechenden nationalen Lernzielkatalogen wider: dem Swiss Catalogue of Learning Objectives for Undergraduate Medical Training (SCLO) [1], dem Österreichischen Kompetenzlevelkatalog für Ärztliche Fertigkeiten (ÖKAF) [2] sowie dem deutschen Nationalen Kompetenzbasierte Lernzielkatalog Medizin (NKLM) [3].
Auch die Prüfung praktischer Fertigkeiten ist weitestgehend implementiert. So führten bereits 2007 über 70% der humanmedizinischen Studiengänge in Deutschland praktische Prüfungen in ihrem Prüfungsportfolio, davon zum großen Teil im OSCE-Format [4], und seit 2011 ergänzt ein OSCE die Schweizer Eidgenössische Prüfung und muss unabhängig von der MC-Prüfung bestanden werden [5]. Neben OSCE ist die mündlich-praktische Prüfung [6] ein häufiges Format, aber auch OSPE (Objective Structured Practical/Preclinical Exam) kommen zum Einsatz [7]. Damit sind praktische Prüfungen in der medizinischen Ausbildung zwar vielfältig und weit verbreitet, aber wie steht es um deren Qualität?
Yudkowsky nennt verschiedene Kriterien, die die Konstruktvalidität - also die sinnhafte Interpretierbarkeit der in einer Prüfung gewonnenen Daten – gefährden [8]. Wie auch bei Prüfungen anderer Formate gilt es bei praktischen Prüfungen wie beispielsweise dem OSCE, durch ausreichende, repräsentative Prüfungsinhalte der Konstrukt-Unterrepräsentierung vorzubeugen sowie Konstrukt-irrelevante Varianz zu minimieren - also solche Information bei der Bewertung einer Prüfungsleistung zu ignorieren, die nicht den Prüfungsgegenstand repräsentiert. Qualitätssichernde Maßnahmen wie das Blueprinting (Auswahl ausreichender, repräsentativer Prüfungsinhalte), der Review (z.B. bzgl. der Formulierungen der Aufgaben und Checklisten, antizipierte Schwierigkeit der Aufgabenstellungen) und die Schulung von Prüfenden und ggf. von Simulationspersonen werden an vielen Standorten durchgeführt.
Aber es scheint, als ob ein Aspekt der Qualitätssicherung bisher wenig Beachtung erfahren hat, nämlich die bewusste Festlegung von Bestehens- und Notengrenzen. Im einem gerade veröffentlichten Kommentar plädieren Tekian & Norcini dafür, die historische, ubiquitäre 60%-Bestehensgrenze zu hinterfragen und am Prüfungsinhalt orientierte Verfahren anzuwenden, um Bestehens- und Notengrenzen festzulegen, denn nur so könne die Vergleichbarkeit zwischen Prüfungskohorten hergestellt werden [9]. Die Herausforderung ist also, diese allgemeinen Anforderungen konkret im Kontext der praktischen Prüfungen zu operationalisieren (sog. Standardsetzungsverfahren) [10], [11].
Bisher gibt es kaum Daten zum Einsatz dieser kriteriumsorientierten Standardsetzungsverfahren bei praktischen Prüfungen an den Medizinischen Fakultäten der D/A/CH-Länder. Dementsprechend analysierten wir exemplarisch 20 Studien- und/oder Prüfungsordnungen oder vergleichbare im Internet verfügbare Dokumente zu humanmedizinischen Studiengängen in Deutschland inkl. aller Modellstudiengänge. Es zeigte sich, dass, soweit die Ordnungen hierzu überhaupt Stellung nehmen, an der überwiegenden Zahl der Standorte die 60%-Bestehensgrenze auch auf praktische Prüfungen angewandt wird [12], [13], [14], oder Bestehen und Noten bei praktischen Prüfungen jenseits allgemeiner Hinweise (ggf. auf §13(2) ÄAppO) nicht konkret thematisiert wird [15], [16], [17], [18], [19].
Nun erlaubt diese weiterverbreitete 60%-Regel ja dennoch kriteriumsorientierte Standardsetzungsansätze. Tekian & Norcini erwähnen explizit Verfahren, nach denen eine kriteriumsorientiert definierte Bestehensgrenze auf 60% umskaliert werden kann, sodass falls notwendig an den historischen 60% festgehalten werden kann. Tatsächlich sieht die Medizinische Hochschule Hannover ein solches Verfahren vor, demzufolge eine Prüfungskommission basierend auf [antizipierter] Schwierigkeit und Umfang der Aufgabenstellungen die maximal erreichbaren Punkte festlegt, von diesen dann zum Bestehen 60% erreicht werden müssen [20].
Einige Ordnungen nehmen die Prüfenden [21], [22], [23], [24] selbst, ggf. mit Hinweis auf „sachgerechte Methoden“ [25] in die Pflicht, oder sehen die Einberufung eines Prüfungsausschusses [26], [27], [28] zur Definition von Bestehens- und Notenkriterien vor. Eine Fakultät erlaubt ausdrücklich kriteriumsorientierte Verfahren zur Festlegung der Bestehensgrenzen [29], andere fordern nur, dass die Bestehenskriterien zu Semesterbeginn offenzulegen sind, ohne diese weiter zu spezifizieren [30], [31].
An den Medizinischen Universitäten Wien [32] und Graz [33] gelten normorientierte Grenzen, während Innsbruck die Bestehensgrenzen „schwierigkeitsadaptiert“ [34]. Die Bestehensgrenze für den Clinical Skills-Teil der Eidgenössische Prüfung [35] in der Schweiz wird mit der Borderline-Regression-Methode ermittelt, ebenso wie z.B. bei fakulären OSCE in Basel [36].
Zusammenfassend sind die Regelungen zu Bestehen und Notenfindung in den untersuchten Dokumenten heterogen. An manchen Standorten sind detaillierte Regelungen ausformuliert, viele Standorte regeln jedoch Bestehen/Noten in den Ordnungen eher oberflächlich, was natürlich nicht heißt, dass Entscheidungen über Bestehen/Noten in der lokal gelebten Realität nicht sehr bewusst getroffen werden. Die Interpretation der Studien- und/oder Prüfungsordnungen fiel nicht immer leicht und es mögen auch Textstellen fehlinterpretiert worden sein. Genauso könnten durch die Auswahl der untersuchten Fakultäten interessante Ansätze untergegangen sein. So wurden z.B. zahnmedizinische und veterinärmedizinische Ordnungen für diese Arbeit nicht analysiert. Gleichzeitig decken sich unsere Ergebnisse gut mit denen von Härtl et al., die mit einer Umfrage die Prüfung kommunikativer Kompetenzen an deutschsprachigen medizinischen Fakultäten untersuchten. Von 31 OSCE mit Kommunikation als Prüfgegenstand wurde die Bestehensgrenze 21-mal an einer festen Punktzahl oder einem festen Prozentsatz festgemacht, 5-mal die Borderline Regression-Methode angewandt, zweimal nach Angoff und sechsmal war die Methode unbekannt (einige Mehrfachnennungen) [37].
Vonseiten des Ausschusses regen wir an, die lokalen Bestimmungen zur Findung von Bestehens- und Bewertungskriterien für praktische Prüfungen kritisch zu hinterfragen, den Diskurs zu suchen und Erfahrungen mit der wissenschaftlichen Gemeinschaft zu teilen und zu diskutieren. Verfahren, die das Bestehen einer Prüfung bzw. die Bewertung einer Prüfungsleistung festlegen, sollten sich an den Prüfungsinhalten orientieren. Dies würde die Validität der Entscheidungen bzgl. des Bestehens praktischer Prüfungen erhöhen und die Fairness gegenüber den Studierenden besser gewährleisten. Die Mitglieder des Ausschusses „Prüfungen“ der Gesellschaft für Medizinische Ausbildung stehen für diesen Diskurs gerne als Diskussionspartner zur Verfügung.
Interessenkonflikt
Die Autoren erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben.
Literatur
- 1.
- Bloch R, Bürgi H. The Swiss catalogue of learning objectives. Med Teach. 2002;24(2):144-150. DOI: 10.1080/01421590220120759
- 2.
- Schnabel K, Boldt P, Breuer G, Fichtner A, Karsten G, Kujumdshiev S, Schmidts M, Stosch C. Konsensusstatement "Praktische Fertigkeiten im Medizinstudium" - ein Positionspapier des GMA-Ausschusses für praktische Fertigkeiten. GMS Z Med Ausbild. 2011;28(4):Doc58. DOI: 10.3205/zma000770
- 3.
- MFT Medizinischer Fakultätentag der Bundesrepublik Deutschland e. V. Nationaler Kompetenzbasierter Lernzielkatalog Medizin (NKLM). Berlin: MFT Medizinischer Fakultätentag der Bundesrepublik Deutschland e. V; 2015.
- 4.
- Möltner A, Duelli R, Resch F, Schultz J, Jünger J. Fakultätsinterne Prüfungen an den deutschen medizinischen Fakultäten. GMS Z Med Ausbild. 2010;27(3):Doc44. DOI: 10.3205/zma000681
- 5.
- Guttormsen S, Beyeler C, Bonvin R, Feller S, Schirlo C, Schnabel K, Schurten T, Berendonk C. The new licensing examination for human medicine: from concept to implementation. Swiss Med Wkly. 2013;143:w13897.
- 6.
- Schickler A, Brüstle P, Biller S. Mündlich-praktischer Teil des Zweiten Abschnitts der Ärztlichen Prüfung in Freiburg 2012 - Analyse der Notenvergabe zur Überprüfung von Qualitätssicherungsmaßnahmen. GMS Z Med Ausbild. 2015;32(4):Doc39. DOI: 10.3205/zma000981
- 7.
- Boeckers A, Fassnacht U, Feneberg A, Boeckers T. Modifizierte objective structured practical examination (OSPE) als Leistungskontrolle im Kurs der Mikroskopischen Anatomie an der Universität Ulm. GMS Z Med Ausbild. 2006;23(4):Doc71. Zugänglich unter/available from: http://www.egms.de/static/de/journals/zma/2006-23/zma000290.shtml
- 8.
- Yudkowsky R. Performance Tests. In: Downing S, Yudkowsky R (Hrsg). Assessment in Health Professions Education. New York: Routledge; 2009.
- 9.
- Tekian A, Norcini J. Overcome the 60% passing score and improve the quality of assessment. GMS Z Med Ausbild. 2015;32(4):Doc43. DOI: 10.3205/zma000985
- 10.
- Friedman Ben-David M. AMEE Guide No. 18: Standard setting in student assessment. Med Teach. 2000;22(2):120-130. DOI: 10.1080/01421590078526
- 11.
- Boursicot K, Roberts T, Pell G. Standard setting for clinical competence at graduation from medical school: a comparison of passing scores across five medical schools. Adv Health Sc Educ. 2006;11(2):173-183. DOI: 10.1007/s10459-005-5291-8
- 12.
- Prüfungsordnung des Modellstudiengang Medizin der Charité-Universitätsmedizin Berlin in der Fassung vom 13.04.2015 [Internet]. Berlin: Charité-Universitätsmedizin. http://www.charite.de/fileadmin/user_upload/portal/charite/presse/publikationen/amtl-mitteilungsblatt/2015/AMB150417-144.pdf
- 13.
- Studien- und Prüfungsordnung für den Modellstudiengang Medizin der Rheinisch-Westfälischen Technischen Hochschule Aachen mit dem Abschluss "Ärztliche Prüfung" vom 05.11.2008 in der Fassung der Dritten Ordnung zur Änderung der Studien- und Prüfungsordnung vom 25.10.2013 veröffentlicht als Gesamtfassung [Internet]. Rheinisch-Westfälisch Technische Hochschule Aachen. http://www.rwth-aachen.de/global/show_document.asp?id=aaaaaaaaaagdhjq
- 14.
- Studienordnung für den Studiengang Humanmedizin an der Ernst Moritz Arndt Universität Greifswald vom 26. August 2004 [Internet]. Ernst Moritz Arndt Universität Greifswald. http://www.uni-greifswald.de/fileadmin/mp/e_dez4/zpa/PO/Staatsexamen/Humanmedizin/Studienordnung_Humanmedizin_Lesefassung-13-AEndS.pdf
- 15.
- Studienordnung für das Medizinstudium an der Medizinischen Fakultät Heidelberg der Universität Heidelberg für das 3., 4. und 5. Studienjahr vom 22. 07.2010 [Internet. Medizinische Fakultät Heidelberg. http://www.uni-heidelberg.de/md/studium/download/03-02-7a-05.pdf
- 16.
- Studienordnung für den Studiengang Medizin an der Universität Leipzig vom 8. Mai 2012 [Internet]. Universität Leipzig. db.uni-leipzig.de/bekanntmachung/dokudownload.php?dok_id=3170
- 17.
- Studienordnung für den Studiengang Humanmedizin an der Medizinischen Fakultät Mannheim der Universität Heidelberg vom 16. Mai 2013 [Internet]. Medizinische Fakultät Mannheim der Universität Heidelberg. http://www.umm.uni-heidelberg.de/studium/studienordnung.pdf
- 18.
- Prüfungsordnung des Modellstudiengangs Medizin an der Medizinischen Fakultät der Universität Hamburg vom 20.06.2012 [Internet]. Medizinische Fakultät der Universität Hamburg. https://www.uni-hamburg.de/campuscenter/studienorganisation/ordnungen-satzungen/pruefungs-studienordnungen/medizin/up-po-u-fak-u-med-u-modellstud-u-medizin-u-20150715.pdf
- 19.
- Studienordnung für den Studiengang Medizin an der Universität des Saarlandes vom 20. Februar 2003 [Internet]. Universität des Saarlandes. http://www.uni-saarland.de/fileadmin/user_upload/Campus/Service/Recht_und_Datenschutz/Recht_der_Universitaet/Ausbildungs-_Pruefungs-_Studienordnungen/DB03-106.pdf
- 20.
- Prüfungsordnung für den Studiengang Medizin an der Medizinischen Hochschule Hannover in der Fassung vom 15.07.2015 [Internet]. Medizinische Hochschule Hannover. https://www.mh-hannover.de/fileadmin/mhh/download/studium_ausbildung/Medizin/Ordnungen/2015_07_15_SudOPruefO_Medizin_MHH.pdf
- 21.
- Technische Universität Dresden Medizinische Fakultät Carl Gustav Carus, Studienordnung für den Studiengang Medizin vom 26.05.2010 [Internet]. Technische Universität Dresden. http://www.verw.tu-dresden.de/AmtBek/PDF-Dateien/2011-05/25ZsoSE08.09.2011.pdf
- 22.
- Nichtamtliche Lesefassung der Studienordnung für das Studium der Humanmedizin an der Universität Rostock unter Berücksichtigung der 1., 2. und 3. Satzung zur Änderung der Studienordnung vom Februar 2009 [Internet]. Universität Rostock. http://www.med.uni-rostock.de/fileadmin/Verwaltung/studiendekanat/humanmedizin/downloads/Lesefassung_Sto_Humanmedizin_2009.pdf
- 23.
- Studienordnung (StO) für den Modellstudiengang Humanmedizin an der Medizinischen Fakultät der Universität zu Köln mit dem Abschluss "Ärztliche Prüfung" vom 06. Januar 2014 [Internet]. Universität zu Köln. http://am.uni-koeln.de/e10890/am_mitteilungen/@1/AM_02_2014.pdf
- 24.
- Studienordnung für den Studiengang Humanmedizin mit dem Abschluss "Ärztliche Prüfung" am Fachbereich Medizin der Justus-Liebig-Universität Gießen vom 03. Juli 2006 [Internet]. Justus-Liebig-Universität Gießen. https://www.uni-giessen.de/mug/6/pdf/6_60_11_2_neu.pdf
- 25.
- Studienordnung für den Studiengang Medizin an der Martin-Luther-Universität Halle-Wittenberg vom 21.04.2009 [Internet]. Martin-Luther-Universität Halle-Wittenberg. http://www.verwaltung.uni-halle.de/KANZLER/ZGST/ABL/2009/09_08_01.pdf
- 26.
- Prüfungsordnung für den Modellstudiengang Humanmedizin an der Carl von Ossietzky Universität Oldenburg vom 24.02.2012 [Internet]. Carl von Ossietzky Universität Oldenburg. https://www.uni-oldenburg.de/uni/amtliche_mitteilungen/dateien/AM2013-03_09-Neufassung_EMS_PO_FKVI.pdf
- 27.
- Prüfungsordnung für den Brandenburger Modellstudiengang Medizin an der Medizinischen Hochschule Brandenburg Theodor Fontane [Internet]. Medizinische Hochschule Brandenburg Theodor Fontane. http://www.mhb-fontane.de/files/Dateien/Studiengang%20Humanmedizin/Pruefungsordnung_BMM_2015.pdf
- 28.
- Prüfungsordnung der Ruhr-Universität Bochum für den Modellstudiengang Medizin vom 20. April 2005 [Internet]. Ruhr-Universität Bochum. http://medizinstudium.ruhr-uni-bochum.de/medidek/infoszumstudium/amtliches/pruefungsordnungordnung_MSM_2005-04-20.pdf
- 29.
- Prüfungs- und Studienordnung für den Studiengang Medizin an der Ludwig-Maximilians-Universität München in der Fassung vom 24.09.2009 [Internet]. Ludwig-Maximilians-Universität München. http://www.mecum-online.de/downloads/studienrecht/ordnungen/so_medizin24_11_09.pdf
- 30.
- Studien- und Prüfungsordnung für den Modellstudiengang Humanmedizin an der Heinrich-Heine-Universität Düsseldorf vom 7.10.2013 [Internet]. Heinrich-Heine-Universität Düsseldorf. http://www.medizin.hhu.de/fileadmin/redaktion/Fakultaeten/Medizinische_Fakultaet/Studiendekanat/Dokumente/Medizin_Studium/131007_Studien-_und_Pruefungsordnung.pdf
- 31.
- Studienordnung für den Studiengang Humanmedizin mit dem Abschluss "Ärztliche Prüfung" an der Philipps-Universität Marburg vom 23.09.2015 [Internet]. Philipps-Universität Marburg. https://www.uni-marburg.de/administration/amtlich/60_2015.pdf
- 32.
- Information zur Bestehensgrenze und zur Notengebung bei den Gesamtprüfungen (SIP) für Humanmediziner (N202) und Zahnmediziner (N203, 1. u. 2. Studienjahr [Internet]. Medizinische Universität Wien. https://www.meduniwien.ac.at/homepage/fileadmin/HP-Relaunch/pdfstudien/HumanmedizinN202/allg-info-bestehensgrenzen-20101001.pdf
- 33.
- Beurteilungskriterien des OSCE [Internet]. Medizinische Universität Graz. https://www.medunigraz.at/themen-studieren/humanmedizin/osce-objective-structured-clinical-examination/beurteilungskriterien-des-osce/
- 34.
- Information Famulatur OSCE [Internet]. Medizinische Universität Innsbruck. https://www.i-med.ac.at/studium/studierende/docs/Information-OSCE_13-14-fin.pdf
- 35.
- Berendonk C, Schirlo C, Balestra G, Bonvin R, Feller S, Huber P, Jünger E, Monti M, Schnabel K, Beyeler C, Guttormsen S, Huwendiek S. The new final Clinical Skills examination in human medicine in Switzerland: Essential steps of exam development, implementation and evaluation, and central insights from the perspective of the national Working Group. GMS Z Med Ausbild. 2015;32(4):Doc40. DOI: 10.3205/zma000982
- 36.
- Prüfungen [Internet]. Universität Basel. https://medizinstudium.unibas.ch/allgemeine-infos/pruefungen.html
- 37.
- Härtl A, Bachmann C, Blum K, Höfer S, Peters T, Preusche I, Raski B, Rüttermann S, Wagner-Menghin M, Wünsch A, Kiessling C. Wunsch und Wirklichkeit - eine Umfrage im deutschsprachigen Raum zum Lehren und Prüfen kommunikativer Kompetenzen im Medizinstudium. GMS Z Med Ausbild. 2015;32(5):Doc56. DOI: 10.3205/zma000998
