gms | German Medical Science

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)

23.09. - 25.09.2010, Bochum

Schottisch prüfen - kann man mit einem sequentiellen OSCE und einem schriftlichen Zusatztest valide und verteidigbare Prüfungsergebnisse erreichen?

Vortrag

Suche in Medline nach

  • corresponding author presenting/speaker Michael Schmidts - Medizinische Universität Wien, Department für med. Aus- und Weiterbildung, Wien, Österreich
  • Ingrid Preusche - Medizinische Universität Wien, Department für med. Aus- und Weiterbildung, Wien, Österreich
  • Michaela Wagner-Menghin - Medizinische Universität Wien, Department für med. Aus- und Weiterbildung, Wien, Österreich

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Bochum, 23.-25.09.2010. Düsseldorf: German Medical Science GMS Publishing House; 2010. Doc10gma62

DOI: 10.3205/10gma062, URN: urn:nbn:de:0183-10gma0621

Veröffentlicht: 5. August 2010

© 2010 Schmidts et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielfältigt, verbreitet und öffentlich zugänglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Gliederung

Text

Fragestellung: Jede summative Lizenzprüfung kommt - streng genommen - zu mindestens 3 möglichen Ergebnissen: "bestanden", "nicht bestanden" und "nicht entscheidbar" (dies tritt bei Studierenden auf, deren Prüfungsergebnis so nahe an der Bestehensgrenze liegt, dass aufgrund des Messfehlers der Prüfung keine vertretbar sichere Entscheidung gefällt werden kann). Je höher die Reliabilität einer Prüfung, desto kleiner ist der Messfehler und desto geringer ist die Zahl der KandidatInnen, die "nicht entscheidbar" sind.

Der OSCE (als Goldstandard unter den praktischen Prüfungen) ist sehr aufwändig, wenn er reliabel messen soll. Da unsere Studierendenzahlen hoch und unsere Ressourcen begrenzt sind, wir aber nicht auf eine summative praktische Prüfung verzichten wollen, geht diese Studie der Frage nach, ob ein sequentieller OSCE [1] (screening aller Studierenden an 6 Stationen, weitere Stationen nur für Studierende, die im Grenzbereich liegen), kombiniert mit einem schriftlichen Test [2], eine gangbare Alternative ist.

Methodik: Wir addierten bei 205 KandidatInnen die Ergebnisse von 2 "virtuellen" Stationen (generiert aus einem schriftlichen Test mit 2 x 20 Fragen, der ausschließlich prozedurales Wissen prüft) zu unseren 6 OSCE Stationen. Wir berechneten die Korrelationen zwischen den beiden schriftlichen Stationen mit den OSCE Stationen, sowie die Reliabilität der Prüfung. Studierende, deren Prüfungsergebnis innerhalb des 95-prozentigen Konfidenzintervalls um die Bestehensgrenze herum lag, definierten wir als "nicht entscheidbar".

Ergebnisse: Die virtuellen Stationen des schriftlichen Tests und alle OSCE Stationen korrelierten mit- und untereinander positiv (zwischen 0.05 und 0.45), was einen Hinweis auf die Konstruktvalidität des Tests gibt. Die Prüfung erreicht eine Reliabilität von 0.62 (Cronbach α) und ein daraus resultierendes Konfidenzintervall um die Bestehensgrenze von ±23% der Maximalpunkteanzahl. 25% unserer Studierenden waren somit "nicht entscheidbar".

Schlussfolgerung: Diese Studie zeigt erneut, dass OSCEs gut mit schriftlichen Prüfungen korrelieren [3]. Die beiden schriftlichen Stationen erhöhen auch die Inhaltsvalidität. Trotz einer Reliabilität unterhalb der international geforderten 0.8, können wir mit der Kombination aus 6 OSCE Stationen und einem schriftlichen Test für 75% unserer Studierenden bereits ausreichend abgesicherte Aussagen über Ihr "bestehen" oder "nicht bestehen" treffen. Die verbleibenden 25%, die noch "nicht entschieden" werden können, sind in einer 2. Runde durch weitere Stationen zu schleusen, um den Messfehler in dieser Gruppe auf ein akzeptables Niveau zu senken. Dieser Ansatz ist sehr ressourcensparend. Es gilt in Folgestudien abzuklären, ob der praktische Teil der Prüfung für das screening noch weiter reduziert, der schriftliche Test noch weiter ausgebaut werden kann, ohne die Validität und Lernsteuerung der Prüfung zu gefährden.


Literatur

1.
Petrusa ER. Clinical Performance Assessments. In NormanGR, van der Vleuten CP, Newble DI (Hrsg). International Handbook of Research in Medical Education. Dordrecht: Kluwer; 2002. S.673-709.
2.
Kramer AW, Jansen JJ, Zuithoff P, Düsman H, Tan LH, Grol RP, van der Vleuten CP. Predictive validity of a written knowledge test of skills for an OSCE in postgraduate training for general practice. Med Educ. 2002;36(9):812-819. DOI: 10.1046/j.1365-2923.2002.01297.x Externer Link
3.
Remmen R, Scherpbier AJ, Denekens J, Derese A, Hermann I, Hoogenboom R, van der Vleuten C, van Royen P, Bossaert L. Correlation of a written test of skills and a performance based test: a study in two traditional schools. Med Teach. 2001;23(1):29-32. DOI: 10.1080/0142159002005541 Externer Link