gms | German Medical Science

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)

25.09. - 27.09.2014, Hamburg

Empirische Struktur des kompetenzbasierten studentischen Progresstests: Reliabilität und diskriminante Validität von Kompetenzbereichen

Vortrag

Search Medline for

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Hamburg, 25.-27.09.2014. Düsseldorf: German Medical Science GMS Publishing House; 2014. DocV443

doi: 10.3205/14gma308, urn:nbn:de:0183-14gma3086

Published: September 11, 2014

© 2014 Möltner et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Outline

Text

Fragestellung/Einleitung: 2013 wurde im Rahmen des BMBF-Projekts „Kompetenzorientiert lernen, lehren und prüfen in der Medizin“ ein formativer kompetenzbasierter Progresstest entwickelt. Die Fragen des Tests waren nach zwei Achsen klassiert: Achse 1 bestand aus acht Gruppen inhaltlich zusammengefasster Fächer, Achse 2 aus den fünf Kompetenzbereichen „Kommunikative“ (KO), „Klinisch-theoretische“ (KT), „Klinisch-praktische“ (KP), „Wissenschafts-“ (WI) und „professionelle Handlungskompetenz“ (PH). Für jede Kombination der beiden Achsen war die Zahl der Fragen durch einen zweidimensionalen „Blueprint“ festgelegt. An der ersten Durchführung des Tests Ende 2013 nahmen 469 Medizinstudierende aller Studiensemester aus acht deutschen Fakultäten teil [1].

Ziel der Studie war die empirische Analyse der für eine sinnvolle Rückmeldung an Studierende und Fakultäten erforderlichen Reliabilität und diskriminante Validität der einzelnen Kompetenzbereiche.

Methoden: Die Reliabilitäten wurden durch den Koeffizienten „glb“ abgeschätzt [2]. Zur Bestimmung der diskriminanten Validität wurden die Ergebnisse zunächst einer Hauptachsenanalyse unterzogen, die Faktorenanzahl mit einer Parallelanalyse bestimmt [3]. Die Faktorladungen der Fragen der Kompetenzbereiche wurden mittels linearer Diskriminanzanalysen analysiert (Gesamt und „one against all others“) [4].

Ergebnisse: Sämtliche Bereiche wiesen eine hohe Reliabilität auf. Die diskriminante Validität des Bereichs WI war hoch. KT und KP waren als Gruppen nicht voneinander zu separieren, unterschieden sich gemeinsam aber signifikant von den anderen Bereichen. KO zeigt eine mäßige Eigenständigkeit, PH war hingegen als Gruppe wenig prägnant.

Diskussion/Schlussfolgerung: In den Ergebnissen bildet sich die übliche curriculare Vermittlung ärztlicher Kompetenzen ab: Wissenschaftliche und klinische Kompetenzen werden systematisch gelehrt, bei kommunikativen Kompetenzen bildet sich eine konsequente Ausbildung erst noch heraus und professionelle Handlungskompetenzen sind nur unsystematisch Thema der Lehre.


Literatur

1.
Wagener S, Gornostayeva M, Möltner A, Schultz JH, Brüstle P, Mohr D, Vander Beken A, Better J, Fries M, Gottschalk M, Günther J, Herrmann L, Kreisel C, Moczko T, Illg C, Jassowicz A, Müller A, Niesert M, Strübing F, Jünger J. Entwicklung eines formativen kompetenzbasierten Progresstests mit MC-Fragen von Studierenden - Piloteinsatz und Weiterentwicklung. Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Hamburg, 25.-27.09.2014. Düsseldorf: German Medical Science GMS Publishing House; 2014. DocP476 doi: 10.3205/14gma191 External link
2.
Jackson P, Agunwamba C. Lower bounds for the reliability of the total score on a test composed of non-homogeneous items: I: Algebraic lower bounds. Psychometr. 1977;42(4):567-578.
3.
Green SB, Levy R, Thompson MS, Lu M, Lo WJ. A proposed solution to the problem with using completely random data to assess the number of factors with parallel analysis. Educ Psychol Measure. 2012;72(3):357-374.
4.
Jombart T, Devillard S, Balloux F. Discriminant analysis of principal components: a new method for the analysis of genetically structured populations. BMC Genetics. 2010;11:94. DOI: 10.1186/1471-2156-11-94 External link