gms | German Medical Science

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)

08.10. - 10.10.2009, Freiburg

Die Reliabilität zusammengesetzter Prüfungen

Vortrag

  • corresponding author Andreas Möltner - Universität Heidelberg, Kompetenzzentrum Prüfungen in der Medizin, Heidelberg, Deutschland
  • author Christoph Nikendei - Universität Heidelberg, Medizinische Universitätsklinik, Heidelberg, Deutschland
  • author Jobst-Hendrik Schultz - Universität Heidelberg, Kompetenzzentrum Prüfungen in der Medizin, Heidelberg, Deutschland
  • author Jana Jünger - Universität Heidelberg, Medizinische Universitätsklinik, Innere Medizin, Heidelberg, Deutschland

Jahrestagung der Gesellschaft für Medizinische Ausbildung - GMA. Freiburg im Breisgau, 08.-10.10.2009. Düsseldorf: German Medical Science GMS Publishing House; 2009. Doc09gmaT5V088

doi: 10.3205/09gma088, urn:nbn:de:0183-09gma0889

Veröffentlicht: 2. September 2009

© 2009 Möltner et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielfältigt, verbreitet und öffentlich zugänglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Gliederung

Text

Summative Leistungsbeurteilungen in der medizinischen Ausbildung sollten sich aus verschiedenen Teilleistungsnachweisen zusammensetzen, die die unterschiedlichen Anforderungen an die ärztliche Tätigkeit abbilden und kombinieren [1], wie z. B. MC-Klausuren, praktische Prüfungen, Patientenberichte u. ä. Für jeden einzelnen Bestandteil des Leistungsnachweises ist es nicht zwingend erforderlich, dass dieser für sich allein eine hohe Reliabilität aufweist, notwendig ist hingegen eine hinreichend hohe Messzuverlässigkeit der Gesamtbewertung [2].

Sind die Reliabilitäten der einzelnen Prüfungsbestandteile bekannt, so lässt sich die Messzuverlässigkeit einer Gesamtbeurteilung, die sich aus einem (gewichteten) Mittelwert der einzelnen Teile errechnet, mittels bekannter Formeln bestimmen. Ist dies nicht der Fall, so kann z. B. mit Cronbachs Alpha eine Abschätzung der Gesamtreliabilität vorgenommen werden, die aber bei unterschiedlichen abgeprüften Leistungsdimensionen (theoretisches Wissen, praktische Fertigkeiten, kommunikative Fähigkeiten) zu einer merklichen Unterschätzung der Zuverlässigkeit führen kann [3].

Am Beispiel des fächerübergreifenden Leistungsnachweises Allgemeinmedizin, Innere Medizin, Klinische Chemie an der medizinischen Fakultät Heidelberg, der sich aus zwei Klausuren, einem OSCE, zwei Patientenberichten und einer klinisch-praktischen Prüfung am Krankenbett (Mini-CEX) zusammensetzt, wird gezeigt, wie mit Hilfe frei verfügbarer Programme (z. B. CSDP [4]) aus den Varianzen und Korrelationen der einzelnen Prüfungsbestandteile und – wo verfügbar – den Einzelreliabilitäten eine optimale Abschätzung der Gesamtmesszuverlässigkeit („greatest lower bound to reliability“ [5]) bestimmt werden kann.

Dabei wird auch dargestellt, wie für Bestandteile des Leistungsnachweises, für die keine eigene Reliabilitätsbestimmung vorliegt (hier die Patientenberichte), aus den anderen Teilen eine grobe Abschätzung ihrer Messzuverlässigkeit gewonnen werden kann.


Literatur

1.
Schuwirth LW, van der Vleuten CP. Challenges for educationalists. BMJ. 2006;333(7567):544–546. DOI: 10.1136/bmj.38952.701875.94. Externer Link
2.
Gesellschaft für Medizinische Ausbildung Ausschuss Prüfungen, Kompetenzzentrum Prüfungen Baden-Württemberg, Fischer MR. Leitlinie für Fakultäts-interne Leistungsnachweise während des Medizinstudiums. GMS Z Med Ausbild. 2008;25(1):Doc74. Zugänglich unter: http://www.egms.de/en/journals/zma/2008-25/zma000558.shtml. Externer Link
3.
Möltner A, Schellberg D, Jünger J. Grundlegende quantitative Analysen medizinischer Prüfungen GMS Z Med Ausbild. 2006;23(3):Doc53. Zugänglich unter: http://www.egms.de/en/journals/zma/2006-23/zma000272.shtml. Externer Link
4.
Borchers B. CSDP, A C Library for Semidefinite Programming . Optimization Methods Software. 1999;11(1):613–623. DOI: 10.1080/10556789908805765. Externer Link
5.
ten Berge JMF Socan G. The greatest lower bound to reliability of a test and the hypothesis of unidimensionality. Psychometrika. 2004;69:613–625. DOI: 10.1007/BF02289858. Externer Link