gms | German Medical Science

Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) und des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ)

30.09. - 03.10.2015, Leipzig

Die empirischen Struktur des kompetenzbasierten studentischen Progresstests – eine erweiterte Validierung unter Einbezug von Situational-Judgement-Aufgaben

Meeting Abstract

  • corresponding author presenting/speaker Steffen Wild - Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin Baden-Württemberg, Heidelberg, Deutschland
  • author Andreas Möltner - Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin Baden-Württemberg, Heidelberg, Deutschland
  • author Stefan Wagener - Medizinische Fakultät Heidelberg, Heidelberg, Deutschland
  • author Felicitas Eckrich - Medizinische Fakultät Heidelberg, Heidelberg, Deutschland
  • author Jana Jünger - Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin Baden-Württemberg, Heidelberg, Deutschland

Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) und des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ). Leipzig, 30.09.-03.10.2015. Düsseldorf: German Medical Science GMS Publishing House; 2015. DocV146

doi: 10.3205/15gma024, urn:nbn:de:0183-15gma0244

Veröffentlicht: 31. August 2015

© 2015 Wild et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen. Er darf vervielfältigt, verbreitet und öffentlich zugänglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden. Lizenz-Angaben siehe http://creativecommons.org/licenses/by-nc-nd/3.0/.


Gliederung

Text

Fragestellung/Einleitung: Der Progresstest ist ein anerkanntes Instrument zur Darstellung studentischer Lernprozesse [1]. Dies basiert darauf, dass diese Tests einerseits den Studierenden kontinuierliche Rückmeldungen zu ihrem Wissenstand geben können und auch die Chance bietet, das Curriculum weiterzuentwickeln [2]. In diesem Kontext entwickelten geschulte Studierende einen Progresstest auf der Basis eines zweidimensionalen „Blueprints“ (Fächer und Kompetenzbereiche) für den deutschsprachigen Raum, der im Jahr 2013 zum ersten Mal eingesetzt wurde [3]. Dabei wurden die fünf Kompetenzbereiche „Kommunikative“ (KO), „Klinisch-theoretische“ (KT), „Klinisch-praktische“ (KP), „Wissenschafts-“ (WI) und „professionelle Handlungskompetenz“ (PH) abgebildet. Für den zweiten Durchgang im Jahr 2014 wurden zehn Situational-Judgement-Aufgaben (SJT) in den Test integriert. Der Fokus dieser Fragen liegt auf professionellem Verhalten und Entscheiden. Hierbei wird in der Regel ein möglichst realistisches Szenario beschrieben, das professionelle Verhaltensweisen erfordert. Die Antwortmöglichkeiten beschreiben Handlungsalternativen, die in der Situation gewählt werden können, aber unterschiedlich – im Sinne eines professionellen Verhaltens – passend sind.

In der vorliegenden Studie wurde untersucht, inwieweit die beim Test des Jahres 2013 gefundene empirische Struktur der Aufgaben bzgl. Reliabilität und diskriminanter Validität der Kompetenzbereiche repliziert werden kann [4] und welche Stellung die SJT-Aufgaben in dieser Struktur einnehmen.

Methoden: Zur Abschätzung der Reliabilitäten wurden die interne Konsistenz (Cronbachs α) und die „greatest lower bound to reliability“ verwendet. Die interne Struktur der 10 SJT-Aufgaben wurde durch eine Faktorenanalyse untersucht. Zur Prüfung der diskriminanten Validität der Kompetenzbereiche und der SJT-Aufgaben wurde wie bei den Daten des Jahres 2013 eine Diskriminanzanalyse der Hauptkomponenten der Datenmatrix durchgeführt. Der Zusammenhang von SJT-Aufgaben und Kompetenzbereichen wurde mittels Korrelationsanalysen untersucht.

Ergebnisse: Sämtliche Bereiche wiesen eine hohe Reliabilität auf und im Verlauf der Studienjahre stieg der Anteil korrekt beantworteter Aufgaben stetig an. Die diskriminante Validität des Bereichs WI und der SJT-Aufgaben war hoch, KO und PH waren ebenso wie KP und KT jeweils nicht eindeutig voneinander zu trennen, bildeten aber als Gruppen signifikant separierbare Cluster. Die SJT-Aufgaben bildeten ebenfalls eine eigenständige Gruppe, die sich signifikant von den erwähnten drei Gruppen von Kompetenzbereichen unterscheiden.

Diskussion/Schlussfolgerung: Die Ergebnisse zum Progresstest 2013 hinsichtlich Reliabilität und diskriminanter Validität [4] konnten mit den Daten des Progresstests von 2014 voll repliziert werden. Zusätzlich bildeten die Situational-Judgment-Aufgaben ein separierbares Konstrukt, welches darauf hinweist, dass im Studienverlauf Kenntnisse zum Verhalten bei ethischen und interpersonalen Konflikten im medizinischen Kontext zunehmen und sich eigenständig entwickeln.


Literatur

1.
Van der Vleuten CP, Verwijnen GM, Wijnen WH. Fifteen years of experience with progress testing in a problem-based learning curriculum. Med Teach. 1996;18:103-110. DOI: 10.3109/01421599609034142 Externer Link
2.
Wrigley W, van der Vleuten CP, Freeman A, Muijtjens A. A systemic framework for the progress test: strengths, constraints and issues: AMEE Guide No. 71. Med Teach. 2012;34(9):683–697. DOI: 10.3109/0142159X.2012.704437 Externer Link
3.
Wagener S, Möltner A, Timbil S, Gornostayeva M, Schultz JH, Brüstle P, Mohr D, Beken AV, Better J, Fries M, Gottschalk M, Günther J, Herrmann L, Kreisel C, Moczko T, Illg C, Jassowicz A, Müller A, Niesert M, Strübing F, Jünger J. Entwicklung eines formativen kompetenzbasierten Progresstests mit MC-Fragen von Studierenden – Ergebnisse einer multifakultären Pilotstudie. GMS Z Med Ausbild. In Review.
4.
Möltner A, Wagener S, Jünger J. Empirische Struktur des kompetenzbasierten studentischen Progresstests: Reliabilität und diskriminante Validität von Kompetenzbereichen. Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Hamburg, 25.-27.09.2014. Düsseldorf: German Medical Science GMS Publishing House; 2014. DocV443. DOI: 10.3205/14gma308 Externer Link