gms | German Medical Science

Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA), des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ) und der Chirurgischen Arbeitsgemeinschaft Lehre (CAL)

25.09. - 28.09.2019, Frankfurt am Main

Wo stehen wir? – Feedback für Fakultäten des studentischen kompetenzorientierten Progresstest

Meeting Abstract

  • presenting/speaker Stefan Wagener - Medizinische Fakultät Heidelberg, Kompetenzzentrum Prüfungen in der Medizin Baden-Württemberg, Heidelberg, Deutschland
  • Andreas Möltner - Medizinische Fakultät Heidelberg, Kompetenzzentrum Prüfungen in der Medizin Baden-Württemberg, Heidelberg, Deutschland
  • Andreas Fleig - Medizinische Fakultät Heidelberg, Kompetenzzentrum Prüfungen in der Medizin Baden-Württemberg, Heidelberg, Deutschland
  • Jörn Heid - Institut für Kommunikations- und Prüfungsforschung gGmbH, Umbrella consortium for assessment networks (UCAN), Deutschland
  • Lars Feistner - Institut für Kommunikations- und Prüfungsforschung gGmbH, Umbrella consortium for assessment networks (UCAN), Deutschland
  • Konstantin Brass - Institut für Kommunikations- und Prüfungsforschung gGmbH, Umbrella consortium for assessment networks (UCAN), Deutschland
  • Mirka Burkert - Medizinische Fakultät Heidelberg, Kompetenzzentrum Prüfungen in der Medizin Baden-Württemberg, Heidelberg, Deutschland

Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA), des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ) und der Chirurgischen Arbeitsgemeinschaft Lehre (CAL). Frankfurt am Main, 25.-28.09.2019. Düsseldorf: German Medical Science GMS Publishing House; 2019. DocV1-07

doi: 10.3205/19gma007, urn:nbn:de:0183-19gma0074

Published: September 20, 2019

© 2019 Wagener et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. See license information at http://creativecommons.org/licenses/by/4.0/.


Outline

Text

Einleitung: Über die Teilnahme am studentischen kompetenzorientierten Progresstest (SKPT) erhalten Studierende ein Feedback über ihren Leistungsstand im Studium [http://www.komp-pt.de], [1]. Ebenso erfolgt eine Rückmeldung an die Fakultäten, welche sich an der Testdurchführung beteiligt haben, über die aggregierten Ergebnisse der teilnehmenden Studierenden der eigenen Fakultät sowie auch Vergleiche zu den Gesamtergebnissen der teilnehmenden Studierenden aller anderen beteiligten Fakultäten. Das summarische Feedback wird dabei sowohl nach Studienjahren als auch nach Kompetenzbereichen und Fächergruppen differenziert. Aufgrund der resultierenden Vielzahl von zurückgemeldeten Kennwerten ist eine kontinuierliche Weiterentwicklung sowohl der Darstellungsform als auch inhaltlichen Komponenten des Feedbacks unter den Gesichtspunkt der Interpretierbarkeit geboten, ohne jedoch die Funktionalität der umfangreichen Aufbereitung zu stark zu reduzieren.

Material und Methoden: Bei der Auswertung der summarischen Ergebnisse ist zu berücksichtigen, dass – aufgrund des formativen Charakters des SKPT – die teilnehmenden Studierenden nicht als gesichert repräsentativ für die jeweilige Fakultät anzusehen sind. Zudem schwanken die Beteiligungszahlen im Zeitverlauf pro Fakultät erheblich. Um diesen Aspekten Rechnung zu tragen bieten varianzanalytische Ansätze sowie auf z-transformierten Werten basierende Verfahren angemessene Möglichkeiten der Auswertung, da sie eine Berücksichtigung des Aspekts multipler Testung ermöglichen.

Ergebnisse: Den SKPT im Jahr 2018 haben 1019 Studierende aus 16 Fakultäten vollständig abschlossen, wovon 699 Studierende, die diesen freiwillig absolviert haben, die Referenzgruppe für Auswertung der Ergebnisse der Fakultäten bilden. Bei der Auswertung der Fakultätsergebnisse für korrekte, „Weiß nicht“ und falsche Antworten zeigte sich, dass systematische Abweichungen über alle sechs ausgewerteten Studienjahre hinweg als statistische Unterschiede dargestellt werden können.

Schlussfolgerung: Das Feedback des SKPT bietet für Fakultäten die Möglichkeit, aus umfangreichen Auswertungsergebnissen Hinweise auf mögliche Differenzen zu anderen Fakultäten zu erhalten.


Literatur

1.
Wagener S, Gornostayeva M, Möltner A, Schultz JH, Brüstle P, Mohr D, Vander Beken A, Better J, Fries M, Gottschalk M, Günther J, Herrmann L, Kreisel C, Moczko T, Illg C, Jassowicz A, Müller A, Niesert M, Strübing F, Jünger J. Development of a competency-based formative progress test with student-generated MCQs: Results from a multi-centre pilot study. GMS Z Med Ausbild. 2015;32(4):Doc46. DOI: 10.3205/zma000988 External link