gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

Warum bedarf es einer Validierung von Lehrkompetenzmodellen?

Artikel Lehrkompetenzen

Suche in Medline nach

  • author Niclas Schaper - Universität Paderborn, Fakultät für Kulturwissenschaften, Institut für Humanwissenschaften, Lehrstuhl für Arbeits- und Organisationspsychologie, Paderborn, Deutschland

GMS J Med Educ 2017;34(4):Doc47

doi: 10.3205/zma001124, urn:nbn:de:0183-zma0011248

Dieses ist die deutsche Version des Artikels.
Die englische Version finden Sie unter: http://www.egms.de/en/journals/zma/2017-34/zma001124.shtml

Eingereicht: 21. September 2017
Überarbeitet: 21. September 2017
Angenommen: 21. September 2017
Veröffentlicht: 16. Oktober 2017

© 2017 Schaper.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Kurzbeitrag

Kompetenzmodelle werden in den letzten Jahren in vielfältiger Form in der curricularen Gestaltung, Qualitätssicherung und Bildungsforschung eingesetzt. Dieser Trend wurde auch im Bereich der Hochschulbildung insbesondere unter den Rahmenbedingungen der Bologna Reform (im Sinne einer Kompetenzorientierung der Lehre) aufgegriffen und umgesetzt. Kompetenzmodelle spielen mittlerweile auch bei der Fundierung und Ausbildung der Lehrkräfte an Hochschulen eine Rolle. Sie beantworten die Frage, welche Kompetenzen Lehrende in unterschiedlichen Fächern benötigen, um Studierende wirkungsvoll auf berufliche Tätigkeiten in der Wissenschaft und in weiteren akademischen Tätigkeitsfeldern vorzubereiten. Hierzu wurden bereits verschiedene Ansätze und Modelle zur systematischen, kompetenzorientierten Beschreibung von Anforderungen an das professionelle didaktische und pädagogische Handeln hochschulischer Lehrkräfte erarbeitet. Entsprechende Kompetenzmodelle für Lehrkräfte werden für unterschiedliche Zwecke bzw. Funktionen gebraucht. So werden solche Modelle u.a. benötigt (vgl. [1]), um

  • Lehrende systematisch und zielgerichtet aus- bzw. weiterzubilden,
  • konzeptionsgestützte Ausrichtungen der Lehre, wie z.B. problemorientiertes Lernen, systematisch zu planen und zu vermitteln,
  • Qualitätssicherung und -management in der Lehre zielgerichtet durchzuführen,
  • Ausbildungsziele und -anforderungen für angehende Lehrkräfte und andere Beteiligte an diesem Ausbildungsprozess transparent zu machen.

Es existieren mittlerweile eine Reihe von Ansätzen zur Beschreibung von Lehrkompetenzen, die hilfreich sind, Elemente und Dimensionen der Qualifizierung deutlich zu machen, Orientierung in der Ausbildung zu vermitteln und eine systematische, strategische Ausrichtung und ein entsprechendes Qualitätsmanagement in der Ausbildung zu gewährleisten [1]. Die wissenschaftliche Qualität solcher Modelle ist aber sehr unterschiedlich. Die Modelle beziehen sich auf unterschiedliche Auffassungen des Kompetenzkonstrukts (z.B. die berufspädagogische Aufteilung in Fach-, Methoden-, Sozial- und Personalkompetenz oder die Kompetenzdefinition nach Weinert, 2001; vgl. [7]) oder sie weisen unterschiedliche Grade der Ausdifferenzierung und Beschreibung von Kompetenzelementen sowie unterschiedliche Konstruktionszugänge (z.B. deduktiv vs. induktiv; vgl. [6]) auf. Zentrale Schwäche aller gängigen Modelle ist vor allem die mangelnde Überprüfung der Validität der Modelle im Hinblick auf ihre theoretische und inhaltliche Gültigkeit und im Hinblick auf ihre jeweiligen Anwendungszwecke.

Die Frage, die sich zunächst grundsätzlich in diesem Zusammenhang stellt, ist: Warum sollten Kompetenzmodelle hinsichtlich ihrer Validität überprüft werden, insbesondere wenn ihre Ableitungsbasis in vielerlei Hinsicht normativ begründet ist? Hierbei ist vor allem darauf hinzuweisen, dass auch Kompetenzmodelle als (psychologische) Konstrukte einerseits einer schlüssigen theoretisch-konzeptionellen Fundierung, andererseits aber auch – wie andere (psychologische) Konstrukte – einer Evidenzbasierung bedürfen. Hierzu können entsprechende Ansätze und Strategien der Validierung (die nicht nur für die Fundierung von Testinstrumenten relevant sind), verwendet werden [2], [8]. Zur Validierung solcher Modelle sind m.E. vor allem folgende Kriterien zu beachten: Erstens sollten sie auf bewährten und evidenzbasierten Annahmen zur Struktur und Stufung von Kompetenzen in einem Anwendungsfeld beruhen (inklusive der zugrunde gelegten Kompetenzauffassung). Zweitens sollten sie hinsichtlich ihrer Beschreibung von Kompetenzen für ein bestimmtes Professionsgebiet konsistent, nicht widersprüchlich und verallgemeinerbar sein. Drittens sollten sie hinsichtlich ihrer Schlussfolgerungen in Bezug auf die praktische Nutzung auf theoretisch und empirisch abgesicherten Evidenzen bzw. Argumenten beruhen. Viertens sollten die Kompetenzmodelle auch so aufgebaut und formuliert sein, dass Sie von der Zielgruppe einerseits verstanden und andererseits auf deren Vorverständnis und Bedarfe Bezug nehmen, um eine hinreichende Akzeptanz in der Zielgruppe zu gewährleisten. Nur wenn diese Kriterien in angemessenem Maße erfüllt werden, kann davon ausgegangen werden, dass entsprechende Kompetenzmodelle auch tatsächlich einen Erkenntnisgewinn darstellen und für die angestrebten Anwendungszwecke begründet genutzt werden können. Erst unter diesen Voraussetzungen sind solche Modelle auch tatsächlich geeignet, Qualität in der Lehre oder anderen pädagogischen Kontexten zu steigern.

Validität in diesem Sinne erfordert ein erweitertes Verständnis, was Validität ausmacht, als das im Rahmen der klassischen Testtheorie bestimmt wird. Es geht somit nicht nur um die Bestimmung statistischer Kennwerte hinsichtlich der Konstrukt- und Kriteriumsvalidität, sondern ein moderneres Verständnis von Validität im Sinne des argumentativ basierten Validierungsansatzes nach Messick [5] und Kane [4]. Die beiden Autoren schlagen unter dieser Perspektive sechs verschiedene Kriterien bzw. Gesichtspunkte der Validierung vor:

1.
inhaltliche Validität, d.h. die curriculare und/oder theoretische Fundierung des modellierten Bereichs,
2.
kognitive Validität, d.h. die Passung der kognitiven Prozesse bei der Kompetenzerfassung zum postulierten theoretischen Kompetenzmodell,
3.
strukturelle Validität, d.h. die Passung von theoretischem Kompetenzmodell und gewähltem psychometrischem Messmodell,
4.
Verallgemeinerbarkeit, d.h. die Angemessenheit einer über die Aufgaben- und Personengruppe hinausgehenden Interpretation der Modellannahmen,
5.
externe Validität, d.h. die Angemessenheit mit Blick auf konvergente, diskriminante und prädiktive Zusammenhänge mit anderen Konstrukten,
6.
konsequentielle Validität, d.h. die Angemessenheit der Ergebnisinterpretation und der daraus abgeleiteten Konsequenzen.

Im Hinblick auf die Erarbeitung und Nutzung von (Lehr-)Kompetenzmodellen für Qualifizierungszwecke sind insbesondere die inhaltliche und konsequentielle Validität von Bedeutung, in zweiter Linie aber auch die kognitive Validität, die externe Validität und das Validitätskriterium der Verallgemeinerbarkeit. Entsprechende Begründungen, warum gerade diese Aspekte bei der Validierung von Kompetenzmodellen berücksichtigt werden sollten und was dabei zu beachten ist, wird im Folgenden eingehender erläutert:

Die inhaltliche Validität ist bei Kompetenzmodellen von besonderer Bedeutung, da unter dieser Validierungsperspektive die Frage geklärt wird, ob ein Modell den interessierenden Merkmals- oder Verhaltensbereich einer Kompetenzdomäne aus theoretischer und inhaltlich praktischer Sicht möglichst gut repräsentiert. Zur Überprüfung der inhaltlichen Validität von (Lehr-) Kompetenzmodellen werden zum einen der wissenschaftliche Forschungsstand zum Konstrukt eingehend analysiert und in Bezug zu den begrifflichen Bestimmungen und der Strukturierung des Modells gesetzt (z.B. ob das konzipierte Modell auf bereits vorhandene und geprüfte Konstrukt-Strukturierungen Bezug nimmt). Zum anderen werden bei der inhaltlichen Validierung Experten befragt (z.B. Ausbilder von Lehrkräften), die Relevanz und Angemessenheit der im Modell beschriebenen Kompetenzaspekte und -dimensionen zu bewerten. Darüber hinaus kann in diesem Zusammenhang auch durch entsprechende Expertenbefragungen geklärt werden, ob die fachspezifischen Besonderheiten und Anforderungen einer Kompetenzdomäne ausreichend berücksichtigt werden?

Bei der kognitiven Validierung eines Kompetenzmodells steht das im Kompetenzmodell beschriebene Handeln und Denken, das in der Domäne zur Ausübung kompetenten Handelns gefordert wird, im Vordergrund. Es geht somit in Erweiterung der inhaltlichen Validität nicht nur um die Struktur und Inhalte der relevanten Kompetenzen, sondern ob das Modell auch die Prozesse z.B. der Wissensanwendung angemessen beschreibt. Hierzu können z.B. Unterrichtsbeobachtungen und Befragungen von Lehrenden zur Planung und Reflexion ihres Lehrhandelns durchgeführt werden. Dabei ist kritisch zu prüfen, ob die im Modell beschriebenen Wissens- und Fähigkeits-aspekte relevant für die Planung, Durchführung und Kontrolle bzw. Reflexion der Lehre sind.

Die Überprüfung der externalen Validität ist mit einer weiteren zentralen Frage zur Effektivität des Kompetenzmodells verbunden. Hierbei gilt es zu prüfen, ob das Modell in hinreichendem Maße die erfolgsrelevanten Kompetenzen für die Gestaltung wirkungsvoller Lehre benennt und hinreichend beschreibt. Hierzu werden in der Regel die im Modell beschriebenen Lehrkompetenzen mithilfe von Tests oder Fremd- und Selbstbeurteilungen erfasst und mit Outcomevariablen wie z.B. Lernerfolg der Studierenden oder Beurteilung der Lehrqualität in Beziehung gesetzt (vgl. z.B. [8]). Entsprechende Studien oder Analysen zur externalen Validität erlauben somit Schlussfolgerungen bzw. evidenzbasierte Aussagen über die Wirksamkeit bzw. die Vorhersage von Wirkungen der beschriebenen (Lehr-) Kompetenzen.

Bei der Überprüfung der konsequentiellen Validität von Kompetenzmodellen gilt es die Passung des Kompetenzmodells und der mit ihm möglichen Aussagen zu den intendierten Nutzungsweisen zu überprüfen. Im Zusammenhang mit Lehrkompetenzmodellen gilt es dabei zu klären, ob erstens die Schlussfolgerungen und Ableitungen im Hinblick auf Lernziele und Umsetzungsmaßnahmen zur Aus- bzw. Weiterbildung der Lehrenden hinreichend konzeptionell-theoretisch begründet sind (z.B. auf entsprechende lerntheoretisch fundierte Trainingsansätze Bezug nehmen), und zweitens, ob die entsprechenden Schlussfolgerungen darüber hinaus auf der Basis von empirischen Evidenzen abgeleitet bzw. begründet werden können (wenn z.B. anhand von Evaluationsstudien auch die Wirksamkeit der Trainingsmaßnahmen gezeigt werden konnte). Dies kann beispielsweise durch eine eingehende konzeptionelle Analyse oder durch die Befragung von Experten aus der (fachbezogenen) hochschuldidaktischen Ausbildung und der fachlichen Lehre erfolgen. Letztere sollen dabei beurteilen, inwieweit die praxisbezogenen Ableitungen und Schlussfolgerungen aus ihrer Sicht realitätsgerecht sind und praxisbezogene Bedarfe hinreichend aufgreifen und berücksichtigen.

Der Aspekt der Verallgemeiner- bzw. Generalisierbarkeit von Kompetenzmodellen bezieht sich auf die Frage, inwieweit die Kompetenzbeschreibungen über verschiedene Kontexte und Zielgruppen hinweg verallgemeinerbar sind. Zur Überprüfung dieses Validitäts-Kriteriums bei Lehrkompetenzmodellen gilt es daher zu klären, inwieweit ein Kompetenzmodell mit seinen verschiedenen Facetten auf weitere oder benachbarte Kontexte der Hochschullehre übertragen werden kann (z.B. ob das Lehrkompetenzmodell der Medizin auf unterschiedliche Kontexte der medizinischen Lehre angewandt bzw. übertragen werden kann). Dies wäre beispielsweise durch die Anwendung des Modells auf unterschiedliche Zielgruppen, Lehrformate oder Teilfächer zu prüfen. Dabei wäre zu analysieren und zu bewerten, inwieweit die Modellkategorien die unterschiedlichen Kompetenzanforderungen in den jeweiligen Anwendungskontexten hinreichend und angemessen wiedergeben und sich auch über unterschiedliche Kontexte hinweg die Struktur des Modells nicht signifikant verändert.

Abschließend möchte ich kurz skizzieren, wie die vorgestellten Validitätskonzepte auf das im Rahmen des Positionspapier des Ausschusses Personal- und Organisationsentwicklung in der Lehre der GMA beschriebene Kompetenzmodell zur medizinischen Lehre (KLM; [3]) angewandt werden können:

1.
In Bezug auf die inhaltliche Validität des KLM-Modells wurde bereits überprüft, inwieweit das Modell Übereinstimmungen und Unterschiede zu anderen fachbezogenen Lehrkompetenzmodellen der medizinischen Lehre aufweist (vgl. [3]). In weiterführenden Validierungsschritten wäre m.E. zu empfehlen, im Rahmen einer theoretisch-konzeptionell ausgerichteten Analyse zu prüfen, inwieweit das KLM auch allgemeineren Lehrkompetenzmodellen aus der Hochschuldidaktik entspricht, bei welchen Dimensionen Übereinstimmungen vorliegen, welche nicht berücksichtigt werden und ob darüber hinaus auch weitere Strukturelemente (z.B. Niveaustufen der Kompetenz) berücksichtigt werden. Daraus lassen sich Schlussfolgerungen für die inhaltliche und konzeptionelle Weiterentwicklung des Modells ableiten.
2.
In Bezug auf die kognitive Validität wäre m.E. zu empfehlen, dass durch Unterrichtsbeobachtungen in unterschiedlichen, aber typischen Kontexten medizinischer Lehre geklärt wird, inwieweit das KLM zentrale Aspekte eines kompetenten Unterrichtshandelns bzw. der Wahrnehmung und Bewertung von Unterrichtssituationen durch Medizinlehrende angemessen und ausreichend differenziert beschrieben werden. Hierdurch ließe sich der Handlungsbezug der Kompetenzbeschreibungen verbessern und präzisieren.
3.
Im Hinblick auf eine externale Validierung des KLM wäre m.E. zu empfehlen, das Modell im Hinblick auf seine Effekte zur Vorhersage guter Lehrleistungen und Lehrerfolge zu untersuchen. Hierzu wäre zunächst ein Instrument zur Erfassung zentraler Kompetenzfelder des KLM zu entwickeln (z.B. in Form von Selbst- oder Fremdbeurteilungsskalen). Anschließend könnten entsprechende Beurteilungen der verschiedenen Kompetenzfelder und deren Teilfacetten zur Vorhersage von Bewertungen der Lehrqualität (durch Studierende oder geschulte Beobachter) und von Lehrerfolgen (z.B. beim Kompetenzerwerb der Studierenden) verwendet werden. Dies kann dazu dienen, den Vorhersagebeitrag z.B. der einzelnen Kompetenzfelder bei den Kriterien der Lehrqualität und des Lehrerfolgs zu analysieren und zu vergleichen, um auf dieser Grundlage Hinweise zur Gewichtung der erfassten Kompetenzen zu erhalten.
4.
Um die konsequentielle Validität des KLM zu überprüfen, wäre zu empfehlen, mithilfe einer Expertenbefragung (Personen mit fachlicher und medizindidaktischer Expertise) die aus dem KLM abgeleiteten individuellen Entwicklungsbedarfe und -maßnahmen hinsichtlich ihrer Relevanz und Angemessenheit zu bewerten. Auf dieser Grundlage ließe sich die praktische Verwendung des Modells und der daraus abgeleiteten Aussagen und Instrumente verbessern.
5.
Bezüglich der Verallgemeinerbarkeit des Modells sollten Erhebungen und Vergleiche bei unterschiedlichen Lehraufgaben und -anforderungen bzw. Positionen (z.B. differenziert nach Phasen oder Teilfächern der medizinischen Ausbildung) vorgenommen werden. Auf dieser Grundlage ließe sich analysieren, inwieweit das KLM Modell die Lehranforderungen und erfolgsrelevanten Kompetenzen in unterschiedlichen Anwendungskontexten angemessen erfasst und wiedergibt.

Abschließend sei betont, dass die Umsetzung von Ansprüchen an die Validitätsüberprüfung von Kompetenzmodellen natürlich nicht nur in der medizinischen Lehre von Bedeutung ist, sondern auch im Kontext anderer hochschulischer Lehrkontexte, wo es ebenfalls ein Forschungs- und Entwicklungsdesiderat darstellt. Letztlich sind die vorgestellten Validierungsansätze als Chance zu verstehen, hierdurch Erkenntnisfortschritte bezüglich der konzeptionellen und inhaltlichen Ausrichtung sowie in Bezug auf die Gestaltung und Qualitätssicherung der hochschulischen Ausbildung von Lehrkräften zu erzielen und voranzubringen.


Interessenkonflikt

Der Autor erklärt, dass er keine Interessenkonflikte im Zusammenhang mit diesem Artikel hat.


Literatur

1.
Al-Kabbani D, Trautwein C, Schaper N. Modelle hochschuldidaktischer Lehrkompetenz – Stand der For-schung. In: Szczyrba B, Gotzen S (Hrsg). Das Lehrportfolio – Darstellung, Entwicklung und Nachweis von Lehrkompe-tenz an Hochschulen. Münster: LIT-Verlag; 2012.
2.
Bender E. Modellierung und Dimensionierung der professionellen Überzeugungen und motivationalen Orientierungen als Aspekte professioneller Kompetenz von Informatiklehrkräften. Dissertationsschrift (Manteltext). Paderborn: Universität Paderborn, Fakultät für Kulturwissenschaft; 2016. Zugänglich unter/available from: http://digital.ub.uni-paderborn.de/hsx/content/titleinfo/2188446 Externer Link
3.
Görlitz A, Ebert T, Bauer D, Grasl M, Hofer M, Lammerding-Köppel M, Fabry G, GMA Ausschuss Personal- und Organisationsentwicklung in der Lehre. Kernkompetenzen für Lehrende in der Medizin (KLM) – Positionspapier des GMA Ausschusses für Personal- und Organisationsentwicklung in der Lehre. GMS Z Med Ausbild. 2015;32(2):Doc23. DOI: 10.3205/zma000965 Externer Link
4.
Kane MT. Validation as a Pragmatic, Scientific Activity. J Educ Measurement. 2013;50(1):115-122. DOI: 10.1111/jedm.12007 Externer Link
5.
Messick S. Validity of psychological assessment: Validation of inferences from persons' responses and performances as scientific inquiry into score meaning. Am Psychol. 1995;50:741-749. DOI: 10.1037/0003-066X.50.9.741 Externer Link
6.
Schaper N. Aufgabenfelder und Perspektiven bei der Kompetenzmodellierung und messung in der Lehrerbildung. Lehrerbild Prüfstand. 2009;2(1):166-199.
7.
Schaper N. Fachgutachten zur Kompetenzorientierung in Studium und Lehre. Bonn: Hochschulrektorenkonferenz – nexus; 2012.
8.
Schaper N, Horvath E, Mann J. eLearning und Kompetenzentwicklung – ein bisschen mehr als nur Softwareschulung. In: Hauenschild W, Meister DM, Schäfer W (Hrsg). Hochschulentwicklung innovativ gestalten. Das Projekt Locomotion an der Universität Paderborn. Münster: Waxmann; 2010. S.34-56.