gms | German Medical Science

Joint congress of the Gesellschaft für Medizinische Ausbildung (GMA) and the Arbeitskreis zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ)

20.09. - 23.09.2017, Münster

Sind interne Konsistenz und Generalisierbarkeitskoeffizienten im Kontext von OSCEs relevant?

Meeting Abstract

Search Medline for

  • corresponding author presenting/speaker Michael A. Paulitsch - Johann Wolfgang Goethe-Universität Frankfurt am Main, Medizin, Frankfurt am Main, Germany
  • Monika Sennekamp - Johann Wolfgang Goethe-Universität Frankfurt am Main, Medizin, Frankfurt am Main, Germany
  • Klingebiel Thomas - Johann Wolfgang Goethe-Universität Frankfurt am Main, Medizin, Frankfurt am Main, Germany

Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) und des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ). Münster, 20.-23.09.2017. Düsseldorf: German Medical Science GMS Publishing House; 2017. Doc025

doi: 10.3205/17gma025, urn:nbn:de:0183-17gma0255

Published: November 24, 2017

© 2017 Paulitsch et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. See license information at http://creativecommons.org/licenses/by/4.0/.


Outline

Text

OSCEs sind ein Maß für die Überprüfung praktischer Berufsfertigkeiten von Medizinstudierenden. Das Bestehen dieser Prüfung ist für das Fortschreiten im Studium relevant, die Note wird im Zeugnis dokumentiert.

Daher ist ein Validitätsnachweis dieser Prüfungsform notwendig. Als Validitätskriterien werden u. a. häufig eine ausreichend hohe Messfehlerfreiheit anhand interner Konsistenzen und die Generalisierbarkeit der einzelnen Prüfungsleistung der Studierenden über verschiedene Stationen und Prüfer hinweg diskutiert [1].

Der Einsatz dieser Maße kann praktische Konsequenzen haben: Sind Koeffizienten wie Cronbach alpha oder der der Generalisierbarkeit zu niedrig, können anhand der Spearman-Brown-Formel oder einer D-Studie die Anzahl der Stationen erhöht werden und zu einer als angemessen angesehenen Höhe der Koeffizienten führen.

Doch sind diese Koeffizienten im Kontext von OSCEs in jeder Hinsicht angemessen?

Auf Basis der Hintergründe der Klassischen Testtheorie und der Generalisierbarkeitstheorie beschreiben wir, wie genannte Koeffizienten bei der Analyse von OSCE-Daten zu interpretieren sind.

Das Maß der Messefehlerfreiheit in Form interner Konsistenzen geht von Itemhomogenität aus. Diese ist allerdings nur selten bei OSCE-Prüfungen gegeben und nicht beabsichtigt.

Generalisierbarkeitskoeffizienten geben an, inwieweit die Variation einer Variable unabhängig von anderen systematischen Einflüssen ist. Die Varianzquelle der Beurteiler wäre ein unerwünschter Einfluss, die Variation der Stationen wäre hingegen erwünscht. Dies ist bei der Planung einer Analyse zu berücksichtigen, denn die unterschiedlichen Stationen würden ebenfalls die Höhe des Koeffizienten beeinflussen.

Interne Konsistenzen als auch Generalisierbarkeitskoeffizienten sind im Kontext von OSCEs nur selten als Validitätskriterium nützlich. Sie haben eher eine deskriptive Aussage. Die Repräsentativität der Testinhalte oder ihre Vorhersagefähigkeit wären unserer Auffassung nach eher in den Fokus zu rücken.


Literatur

1.
Nikendei C, Jünger J. OSCE-praktische Tipps zur Implementierung einer klinisch- praktischen Prüfung. GMS Z Med Ausbild. 2006;23(3):Doc47. Zugänglich unter/available from: http://www.egms.de/static/de/journals/zma/2006-23/zma000266.shtml External link