Artikel
Die Reliabilität zusammengesetzter Prüfungen
Suche in Medline nach
Autoren
Veröffentlicht: | 2. September 2009 |
---|
Gliederung
Text
Summative Leistungsbeurteilungen in der medizinischen Ausbildung sollten sich aus verschiedenen Teilleistungsnachweisen zusammensetzen, die die unterschiedlichen Anforderungen an die ärztliche Tätigkeit abbilden und kombinieren [1], wie z. B. MC-Klausuren, praktische Prüfungen, Patientenberichte u. ä. Für jeden einzelnen Bestandteil des Leistungsnachweises ist es nicht zwingend erforderlich, dass dieser für sich allein eine hohe Reliabilität aufweist, notwendig ist hingegen eine hinreichend hohe Messzuverlässigkeit der Gesamtbewertung [2].
Sind die Reliabilitäten der einzelnen Prüfungsbestandteile bekannt, so lässt sich die Messzuverlässigkeit einer Gesamtbeurteilung, die sich aus einem (gewichteten) Mittelwert der einzelnen Teile errechnet, mittels bekannter Formeln bestimmen. Ist dies nicht der Fall, so kann z. B. mit Cronbachs Alpha eine Abschätzung der Gesamtreliabilität vorgenommen werden, die aber bei unterschiedlichen abgeprüften Leistungsdimensionen (theoretisches Wissen, praktische Fertigkeiten, kommunikative Fähigkeiten) zu einer merklichen Unterschätzung der Zuverlässigkeit führen kann [3].
Am Beispiel des fächerübergreifenden Leistungsnachweises Allgemeinmedizin, Innere Medizin, Klinische Chemie an der medizinischen Fakultät Heidelberg, der sich aus zwei Klausuren, einem OSCE, zwei Patientenberichten und einer klinisch-praktischen Prüfung am Krankenbett (Mini-CEX) zusammensetzt, wird gezeigt, wie mit Hilfe frei verfügbarer Programme (z. B. CSDP [4]) aus den Varianzen und Korrelationen der einzelnen Prüfungsbestandteile und – wo verfügbar – den Einzelreliabilitäten eine optimale Abschätzung der Gesamtmesszuverlässigkeit („greatest lower bound to reliability“ [5]) bestimmt werden kann.
Dabei wird auch dargestellt, wie für Bestandteile des Leistungsnachweises, für die keine eigene Reliabilitätsbestimmung vorliegt (hier die Patientenberichte), aus den anderen Teilen eine grobe Abschätzung ihrer Messzuverlässigkeit gewonnen werden kann.
Literatur
- 1.
- Schuwirth LW, van der Vleuten CP. Challenges for educationalists. BMJ. 2006;333(7567):544–546. DOI: 10.1136/bmj.38952.701875.94.
- 2.
- Gesellschaft für Medizinische Ausbildung Ausschuss Prüfungen, Kompetenzzentrum Prüfungen Baden-Württemberg, Fischer MR. Leitlinie für Fakultäts-interne Leistungsnachweise während des Medizinstudiums. GMS Z Med Ausbild. 2008;25(1):Doc74. Zugänglich unter: http://www.egms.de/en/journals/zma/2008-25/zma000558.shtml.
- 3.
- Möltner A, Schellberg D, Jünger J. Grundlegende quantitative Analysen medizinischer Prüfungen GMS Z Med Ausbild. 2006;23(3):Doc53. Zugänglich unter: http://www.egms.de/en/journals/zma/2006-23/zma000272.shtml.
- 4.
- Borchers B. CSDP, A C Library for Semidefinite Programming . Optimization Methods Software. 1999;11(1):613–623. DOI: 10.1080/10556789908805765.
- 5.
- ten Berge JMF Socan G. The greatest lower bound to reliability of a test and the hypothesis of unidimensionality. Psychometrika. 2004;69:613–625. DOI: 10.1007/BF02289858.