gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

Entwicklung eines Diagnoseinstruments zur Erfassung von Lehrkompetenzen in der Medizin (FKM_L): Erste Ergebnisse der teststatistischen Überprüfung

Artikel Lehrkompetenzen

  • corresponding author Marianne Giesler - Freiburg, Deutschland
  • Maria Lammerding-Köppel - Tübingen, Deutschland
  • author Jan Griewatz - Kompetenzzentrum für Hochschuldidaktik in Medizin Baden-Württemberg, Tübingen, Deutschland

GMS J Med Educ 2022;39(5):Doc53

doi: 10.3205/zma001574, urn:nbn:de:0183-zma0015747

Dieses ist die deutsche Version des Artikels.
Die englische Version finden Sie unter: http://www.egms.de/en/journals/zma/2022-39/zma001574.shtml

Eingereicht: 5. Januar 2022
Überarbeitet: 28. Juli 2022
Angenommen: 4. August 2022
Veröffentlicht: 15. November 2022

© 2022 Giesler et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Zusammenfassung

Einführung: In diesem Projektbericht wird die Entwicklung und teststatistische Überprüfung des Fragebogens zur Erfassung von Lehrkompetenzen in der Medizin (FKM_L) beschrieben. Die Basis für die Konzeption des FKM_L bildete das Modell Kernkompetenzen für Lehrende in der Medizin (KLM) des GMA Ausschusses Personal-/Organisationsentwicklung in der Lehre.

Methodik: Für die Teilkompetenzen der sechs Kernkompetenzen des KLM-Modells wurden jeweils Globalfragen und vertiefende Items formuliert. Je Kernkompetenz gibt es in Abhängigkeit von der Zahl der Teilkompetenzen 3-4 Subskalen, die 69 Items umfassen. Alle Skalen wurden itemanalytisch überprüft. Analysiert wurden Daten von 90 Teilnehmerinnen und Teilnehmern medizindidaktischer Kurse.

Ergebnisse: Die inneren Konsistenzen (Cronbachs Alpha: CR-α) der 22 Subskalen liegen zwischen CR-α=.70 und CR-α=.93, die Schwierigkeitsindices der Items der Subskalen zwischen 18% und 89%. Bei 2 Subskalen wiesen einige Items einen Schwierigkeitsindex von über 80% auf, bei 3 Subskalen betrug der Schwierigkeitsindex einiger Items weniger als 25%.

Schlussfolgerung: Der FKM_L wurde zur Erfassung von individuellen und gruppenbezogenen Kompetenzprofilen von Lehrenden in der Medizin entwickelt. Die Ergebnisse dieser ersten teststatistischen Analyse sind vielversprechend: Mit Hilfe des FKM_L können Lehrende im Rahmen medizindidaktischer Kurse Aspekte ihrer Lehrkompetenzen kennenlernen und reflektieren. Anhand ihrer FKM_L-Profile können sie entscheiden, ob sie ihre Kompetenzausprägungen punktuell optimieren möchten. Für Anbieter eignet sich der FKM_L als Screening-Instrument, um u.a. Lücken im Ausbildungsangebot festzustellen. Weitere Analysen sind notwendig, um festgestellte Einschränkungen bei einigen Skalen zu überprüfen und einzelne Items anzupassen. Darüber hinaus ist eine Überprüfung der Konstrukt- und der kriterienbezogenen Validität des Instruments erforderlich.

Schlüsselwörter: Lehr-Kompetenzen in der Medizin, Selbsteinschätzungen, Selbstreflexion, Kompetenzdiagnostik


Einleitung

Allgemeiner Hintergrund

Studien zeigen, dass die fachliche Expertise einer Lehrperson alleine keine hinreichende Voraussetzung für den Lernerfolg von Personen ist, die unterrichtet werden [1]. Weitere fachunabhängige Merkmale und Kompetenzen können erheblichen Einfluss auf die Lernentwicklung haben [2]. Es existieren für den schulischen und universitären Bereich Ansätze, die Kompetenzen von Lehrkräften beschreiben, über die diese verfügen sollten, um die vielen und vielschichtigen Aufgaben und Herausforderungen gut bewältigen zu können [3]. Für den Bereich Medizin wurde vom GMA Ausschuss für Personal- und Organisationsentwicklung in der Lehre auf der Basis der Six Core Teaching Competencies for Medical Educators von Srinivasan et al. [4] ein Modell abgeleitet, das Kernkompetenzen für Lehrende in der Medizin (KLM) beschreibt [2]. Dieses Modell stellt einen Orientierungsrahmen für medizindidaktische Kompetenzen zur Verfügung und zeigt auf, wie ein Qualifikationsprofil für Lehrende aussehen könnte. Für Anbieter von medizindidaktischen Qualifikationsangeboten kann das KLM-Modell sehr hilfreich sein, um ihre Weiter- und Fortbildungen inhaltlich auszurichten.

Mit dem KLM-Modell selbst kann jedoch noch keine Standortbestimmung vorgenommen werden, um festzustellen, inwieweit einzelne Lehrkräfte über die beschriebenen Kompetenzen verfügen und/oder die medizindidaktischen Kursangebote diese Kompetenzen adressieren. Dazu sind die Kernkompetenzen nicht differenziert genug beschrieben. Sie bieten jedoch eine gute Grundlage für die Entwicklung eines entsprechenden Diagnoseinstruments.

Diagnostik von Kompetenzausprägungen

Zur Diagnose von Kompetenzausprägungen oder zur Feststellung des Ausmaßes der individuellen Handlungsfähigkeit in komplexen (authentischen) Situationen kommen Fremd- und Selbsteinschätzungen in Betracht, die mittels Beobachtungen z.B. anhand von Checklisten oder durch den Einsatz von psychometrischen Verfahren sowohl formativ wie summativ erfolgen können [5], [6], [7], [8], [9], [10], [11]. Beide Methoden sind mit unsystematischen und systematischen Fehlern behaftet, d.h. die Messergebnisse können nicht perfekt reliabel und valide sein [8]. Vor allem den Selbsteinschätzungen haftet der Ruf an, eingeschränkt reliabel und dementsprechend auch begrenzt valide zu sein [12], [13]: Meist finden sich Belege dafür, dass die, die sich am wenigsten kompetent erweisen, auch diejenigen sind, die sich weniger genau einschätzen können [14], [15]. Es gibt zudem Belege dafür, dass sehr kompetente Personen dazu neigen können, ihre Leistungen zu unterschätzen [16]. Auch Frauen tendieren dazu, ihre Leistungen zu unterschätzen [17]. Darüber hinaus können sich die Selbsteinschätzungen von Frauen und Männer in Abhängigkeit von der jeweiligen Kompetenzdomäne unterscheiden [18]. Es gibt zudem Hinweise, dass praktische Fertigkeiten besser eingeschätzt werden als wissensbasierte Aktivitäten [14]. Selbsteinschätzungen können jedoch durch Feedback verbessert werden [14], [19]. Dies lässt sich dadurch erreichen, dass Rückmeldungen über die zu erreichenden Standards zur Verfügung gestellt und Vergleichsmöglichkeiten (individuelle und soziale) angeboten werden [12], [14], [20]. Wenn zur Bereitstellung passender Qualifikationsangebote Standortbestimmungen bzw. Bedarfsanalysen benötigt werden, kann die Aggregation von Selbsteinschätzungsdaten durchaus reliable Diagnosen ermöglichen [13].

Zielsetzung

Für die medizinische Hochschullehre steht bislang kein geeignetes Instrument zur Erfassung von Lehrkompetenzen zur Verfügung, um individuelle und generelle Ansatzpunkte zur Weiterentwicklung der Kompetenzen zu identifizieren. Es wurde daher ausgehend von dem oben beschriebenen KLM-Modell ein Diagnoseinstrument zur Erfassung von Lehrkompetenzen in der Medizin (FKM_L) entwickelt. Dieser Projektbericht beschreibt die Entwicklung dieses Instruments und stellt erste teststatistische Ergebnisse dar.


Methodik

Entwicklung des Fragebogens

Als Basis für die Entwicklung des Fragebogens zur Erfassung von Lehrkompetenzen in der Medizin (FKM_L) diente das Kernkompetenzmodell für Lehrende in der Medizin (KLM). In diesem Modell werden ausgehend von sechs Kompetenzfeldern jeweils Teilkompetenzen abgeleitet, für die ebenfalls jeweils Lernziele und Anwendungsbeispiele beschrieben werden. Der FKM_L ist ähnlich aufgebaut. In einem ersten Schritt wurden für die einzelnen Teilkompetenzen der sechs Kompetenzfelder sogenannte Globalitems formuliert. In einem zweiten Schritt wurden für diese Globalitems unter Berücksichtigung der jeweiligen Lernziele und Anwendungsbeispiele sowie der Expertise und den Erfahrungen der Fragebogenentwicklerinnen und -entwickler vertiefende Items entwickelt (siehe Tabelle 1 [Tab. 1] und Tabelle 2 [Tab. 2]), die anschließend zu Subskalen zusammengefasst wurden. Bei der Formulierung der Items wurde auf inhaltliche Schlüssigkeit und Verständlichkeit [21] geachtet. Zudem wurden die Teilnehmerinnen und Teilnehmer unmittelbar nach Beantwortung des FKM_L um Rückmeldung zum Nutzen seines Einsatzes gebeten. Diese Angaben wurden in den Weiterentwicklungsprozess des Instrumentes einbezogen.

Der FKM_L besteht aus 22 Globalitems und 69 vertiefenden Items, die jeweils anhand 5-stufiger Skalen zu beantworten sind („1“ gar nicht gegeben bis „5“ in sehr hohem Maße gegeben). Nur die Endkategorien der Skalen sind semantisch verankert.

Für die Erstellung der ersten Version dieses Fragebogens fanden im Zeitraum von 2018 bis 2019 mehrere Arbeitstreffen der beiden Autorinnen und des Autors statt. Die weiteren Überarbeitungen erfolgten im Umlaufverfahren. Seit Mitte 2019 wird der FKM_L im Rahmen von medizindidaktischen Angeboten des Kompetenzzentrums für Hochschuldidaktik in der Medizin Baden-Württemberg in Tübingen erprobt.

Stichprobe

Den Analysen lagen die Daten von zwei Gruppen von Teilnehmerinnen und Teilnehmern medizindidaktischer Kurse des Kompetenzzentrums für Hochschuldidaktik in der Medizin Baden- Württemberg zugrunde. Diese kompetenzorientiert gestalteten Kurse [22] wurden an verschiedenen baden-württembergischen Fakultäten (Freiburg, Mannheim, Tübingen) unter Einbezug von Teilnehmerinnen und Teilnehmern v.a. aus baden-württembergischen Fakultäten durchgeführt. Im Wintersemester 2019/2020 haben 29 Teilnehmerinnen und Teilnehmer der Kurse Medizindidaktische Qualifikation I (MQ I, Basisqualifikation) und 12 der Kurse Medizindidaktische Qualifikation II (MQ II, Aufbauqualifikation) den FKM_L freiwillig ausgefüllt. Im Wintersemester 2020/2021 und Sommersemester waren es 49 Personen, die den FKM_L im Rahmen ihrer Teilnahme an den Medizindidaktischen Qualifikationskursen I bearbeitet haben.

Wegen der kleinen Kursgrößen haben wir aus Datenschutzgründen zunächst auf eine systematische Erfassung der Angaben zu Alter und Geschlecht verzichtet. Bei späteren Erhebungen wurden diese Informationen auf freiwilliger Basis zusammen mit den Einverständniserklärungen eingeholt. Es liegen daher von nur 50 Personen nähere Angaben zu Geschlecht und Alter vor. Zum Zeitpunkt der Befragung waren diese im Mittel 37 Jahre (SD=5.95, Md=35, Mo=33) alt, 41% waren Frauen.

Der FKM_L wird unmittelbar zu Beginn der Kurse (v.a. MQ I) als didaktisches Mittel mit dem Ziel der Einführung in die Thematik Kompetenzen und zur Reflexion der Ausprägungen der eigenen Lehrkompetenzen eingesetzt. Zu späteren Zeitpunkten im Kurs oder in der anschließenden Aufbaustufe werden weitere Standortbestimmungen durchgeführt. Um individuelle Entwicklungen im Zeitverlauf erfassen zu können, können reproduzierbare anonyme Codes für die Befragten verwendet werden.

Statistische Analysen

Im Rahmen von Itemanalysen nach dem Konzept der sog. Klassischen Testtheorie wurden für jedes Item Trennschärfe und Schwierigkeit berechnet. Als Maß der inneren Konsistenz wurde für jede Kompetenz-Skala zudem Cronbach's α (CR-α) ermittelt.

Das Konzept der Schwierigkeit von Items wurde ursprünglich im Zusammenhang der Konstruktion von Leistungstests eingeführt. Die Itemschwierigkeit wird dabei mit Hilfe des sog. Schwierigkeitsindex geschätzt. Dieser ist definiert als der Prozentsatz der Getesteten, der eine Testaufgabe bzw. ein Testitem löst [23]. Hierbei ist zu beachten, dass ein numerisch hoher Wert des Schwierigkeitsindex anzeigt, dass die betreffende Aufgabe bzw. das betreffende Item „leicht“ ist, da ein hoher Prozentsatz der Befragten sie lösen konnte. Entsprechend zeigt ein numerischer niedriger Schwierigkeitsindex das Vorliegen eines „schwierigen“ Items an, insofern dieses nur von einem geringen Prozentsatz der Getesteten gelöst werden konnte. Um die Schwierigkeit von Items aus Selbsteinschätzungsfragebögen mit mehrfach abgestuften Antwortmöglichkeiten wie im hier vorliegenden Fall bestimmen zu können, kann in Anlehnung an Döring und Bortz [24] zur Berechnung des Schwierigkeitsindex die folgende Formel herangezogen werden: (Mi – 1 / k – 1) * 100. Dabei bezeichnet Mi den Mittelwert des fraglichen Items und k die Anzahl der – beginnend mit 1 kontinuierlich kodierten – Stufen der Antwortskala.

Trennschärfekoeffizienten geben an, wie hoch ein Item mit dem Gesamtwert der zugehörigen Skala korreliert bzw. wie gut ein Item das von der Skala zu erfassende Konstrukt misst [24]. Trennschärfen <.30 werden als niedrig eingestuft [25]. Als „mittlere“ Trennschärfen gelten Werte zwischen .30 und .50, Werte größer als .50 als hohe Trennschärfen.

Zwischen Trennschärfe und Schwierigkeit besteht eine paraboloide Beziehung [23], d.h. bei geringer Schwierigkeit eines Items ist auch die Trennschärfe gering, bei einer mittleren Schwierigkeit von 50% erreicht die Trennschärfe ihr Maximum, danach nimmt bei steigender Schwierigkeit die Trennschärfe wieder ab. Nach Lienert [23] bedeutet mittlere Schwierigkeit jedoch nicht zwangsläufig eine gute Trennschärfe.

Zur Beurteilung der Reliabilität werden im Allgemeinen folgende Wertegrenzen für CR-α herangezogen: hohe Reliabilität >.90 und niedrige Reliabilität <.80. Diese Größen sind jedoch kontextabhängig und sollten daher nicht zu starr angewandt werden [24], [25].

Die statistischen Auswertungen erfolgten mit Hilfe des Statistikprogramms SPSS, Version 26.


Ergebnisse

Itemanalysen

Die für die Personen ermittelten Skalenwerte stellen Summenwerte dar, die durch die Anzahl der Items einer Skala dividiert wurden. Entsprechend können sowohl die Skalenwerte der Personen als auch die für die Gruppen berechneten Mittelwerte der Skalen zwischen 1 und 5 variieren. Ein hoher Skalenwert bedeutet somit eine hohe Ausprägung der selbsteingeschätzten Kompetenz in Bezug auf das jeweilige Kompetenzfeld (siehe Tabelle 3 [Tab. 3]).

Wie aus Tabelle 3 [Tab. 3] hervorgeht, weisen alle 22 aus den vertiefenden Items gebildeten Subskalen Maße der inneren Konsistenz auf, die über CR-α=.70 liegen. Da allgemein empfohlen wird, Skalen mit mindestens drei Items zu bilden, wurde ab WS 2020/2021 die Subskala MH04 des Kompetenzfeldes Medizindidaktisches Handeln um ein Item ergänzt. Dies führte zu einer Erhöhung der Trennschärfen und der Reliabilität dieser Subskala.

Für die Items aller Subskalen wurden (part-whole korrigierte) Trennschärfen und Schwierigkeitsindices berechnet. Darüber hinaus wurde pro Subskala jeweils der Mittelwert der Schwierigkeitsindices bestimmt. Die Trennschärfen sind alle >.30. Bezüglich der Schwierigkeitsindices zeigen die Ergebnisse, dass für zwei Kompetenzfelder jeweils eine Subskala (LO01, PH02) einen mittleren Schwierigkeitsindex von >80% aufweist, die betreffenden Subskalen also eher leichte Items beinhalten. Bei zwei weiteren Kompetenzfeldern finden sich zudem Subskalen, deren Items Schwierigkeitsindices von bis zu 25% (SL02, RW03) aufweisen, also eher als schwierig anzusehen sind.

Weitere hier nicht näher dargestellte Ergebnisse zeigen, dass die Globalitems, von zwei Ausnahmen abgesehen, immer am höchsten und signifikant mit den diesen Items zugeordneten Subskalen korrelieren. Es finden sich jedoch auch ähnlich hohe signifikante Zusammenhänge mit Subskalen anderer Kompetenzfelder. Die in Tabelle 3 [Tab. 3] dargestellten Korrelationen der Globalitems mit den dazugehörigen Subskalen liegen zwischen r=.32 und r=.80.

Ein Vergleich der in Tabelle 3 [Tab. 3] dargestellten Mittelwerte für die Gesamt- und Subskalen zeigt, dass die Kompetenzfelder sich im Hinblick auf das jeweils vorhandene Kompetenzniveau unterscheiden.

Interkorrelationen der Gesamtskalen

Die Gesamtskalen des FKM_L korrelieren moderat bis hoch miteinander (siehe Tabelle 4 [Tab. 4]). Die höchsten Korrelationen bestehen zwischen der Gesamtskala Kommunikative Kompetenz (KK) und der Gesamtskala Lernorientierung (LO) sowie zwischen der Gesamtskala Reflexion und Weiterentwicklung der eigenen Lehrpraxis (RW) und der Gesamtskala Systembezogenes Lehren und Lernen (SL).

Auswertungsbeispiele

In Abbildung 1 [Abb. 1] sind jeweils für drei zufällig ausgewählte Teilnehmerinnen und Teilnehmer der MQ I und MQ II-Kurse exemplarisch die Skalenwerte der Gesamtskalen der sechs Kompetenzfelder dargestellt. Unterschiede zwischen den Skalenwerten sind sowohl innerhalb als auch zwischen den Kompetenzfeldern zu erkennen. Die Skalenwerte der Teilnehmerinnen und Teilnehmer des MQ II-Kurses liegen bis auf eine Ausnahme alle über den Skalenwerten der Teilnehmerinnen und Teilnehmer der MQ I-Kurse. Eine Analyse der Gruppenmittelwerte ergibt dementsprechend für vier der sechs Gesamtskalen signifikante Unterschiede zwischen den Kursen.

Die exemplarische Darstellung der Subskalenwerte für die drei zufällig ausgewählten Teilnehmerinnen und Teilnehmer der MQ I-Kurse für das Kompetenzfeld Soziale und Kommunikative Kompetenz (siehe Abbildung 2 [Abb. 2]) zeigt intraindividuelle und interindividuelle Kompetenzniveauunterschiede innerhalb dieses Kompetenzfeldes. Im Rahmen von Beratungsanlässen kann es sinnvoll sein, Unterschiede einer Person innerhalb einer Teilkompetenz auf Einzelitemebene zu betrachten. Dies lässt sich am Beispiel der Subskala KK04 zum konstruktiven Feedback für die Person MQ I_3 veranschaulichen, die die drei Items dieser Skala wie folgt angekreuzt hat:

„1“ Sie orientieren sich bei Rückmeldungen an gängigen Feedbackregeln.

„3“ Sie erkennen und nutzen passende Zeitpunkte für Feedbackgespräche.

„1“ Sie kennen und nutzen verschiedene Feedbackinstrumente.

Diese Angaben können darauf verweisen, dass die Person zwar in ihrer (Lehr-)Praxis bereits Feedbackgespräche führt, bislang jedoch noch keine Kenntnisse von Feedbackregeln und Feedbackinstrumenten hat. Bei einer nach dem Kurs durchgeführten Befragung würde man erwarten, dass diese Items stärker als zutreffend eingeschätzt werden. Eine zuverlässige Interpretation solcher Unterschiede setzt jedoch die Bestimmung geeigneter Konfidenzintervalle voraus.


Diskussion

Die Analysen zur teststatischen Überprüfung des FKM_L erbrachten überwiegend zufriedenstellende Ergebnisse. Nachfolgend werden die Ergebnisse getrennt für die Subskalen, Gesamtskalen, Globalfragen sowie für die Auswertungsbeispiele diskutiert.

Subskalen

Für die sechs Kompetenzfelder wurden jeweils drei bis vier Subskalen gebildet, die Teilkompetenzen erfassen. Ausgehend davon, dass Maße der inneren Konsistenz zwischen CR-α=.60 und CR-α=.70 als ausreichend für Gruppenvergleiche [23], [26] angesehen werden und Reliabilitäten von CR-α=.80 als gut gelten [27], liegen die ermittelten Koeffizienten (CR-α=.71 bis CR-α=.93) der 22 Subskalen im akzeptablen bis guten Bereich.

Mit der Trennschärfe eines Items wird aufgezeigt, wie gut mit der Beantwortung des Items der zugehörige Skalensummenwert vorhergesagt wird [24]. Alle für die Subskalen ermittelten Trennschärfen liegen mit Werten zwischen .34 und .91 in einem durchweg akzeptablen bis zufriedenstellenden Bereich. Um festzustellen, ob mit den einzelnen Items eine Differenzierung zwischen Personen mit unterschiedlichen Kompetenzausprägungen möglich ist, wurden für die Items der Subskalen Schwierigkeitsindices berechnet. Zudem wurde für jede Subskala der Mittelwert der Schwierigkeitsindices ihrer Items ermittelt. Nach Döring und Bortz [24], sind extrem schwierige Items (Schwierigkeitsindex <20%) wie auch extrem leichte Items (Schwierigkeitsindex >80%) als wenig informativ hinsichtlich ihrer Fähigkeit zur Differenzierung zwischen den Befragten anzusehen. Die Auswertungen zeigen, dass Letzteres für jeweils eine Subskala der Kompetenzfelder Lernerorientierung und Rollenvorbild und Professionelles Handeln zutrifft. Eine nähere Betrachtung der Items lässt vermuten, dass dies dadurch zustande kommt, dass die Items vergleichsweise global formuliert sind (z.B. „Sie legen Wert auf gegenseitigen Respekt“) und eventuell zu selbstwertdienlichen Antworten animieren können. Bei drei der Subskalen weisen Items Schwierigkeitsindices zwischen 18% und 25% auf, d.h. dass diese nur von maximal 25 Prozent der Personen als zutreffend eingeschätzt wurden. Zwei dieser Subskalen sind dem Kompetenzfeld Systembezogenes Lehren und Lernen zuzuordnen, eine Subskala dem Kompetenzfeld Reflexion und Weiterentwicklung der eigenen Lehrpraxis. Die betreffenden Items dieser Subskalen thematisieren in der Regel eine aktive Beteiligung an der Planung und Umsetzung des Curriculums. Die Teilnehmerstruktur der medizindidaktischen Kurse ist allerdings heterogen. Die Teilnehmerinnen und Teilnehmer kommen aus verschiedenen Fächern, sind in unterschiedlichen Positionen und Funktionen tätig und haben mehr oder weniger lange Erfahrungen in der Lehre sammeln können. Damit ist nachvollziehbar, dass sie die oben beschriebenen Items je nach Hintergrund in unterschiedlichem Maße als zutreffend einschätzen können. Die Subskalen mit den zu leichten bzw. zu schwierigen Items können dennoch zur Reflexion der jeweiligen Lehrkompetenzen als didaktisches Mittel eingesetzt werden. Dennoch sollten weitere Analysen durchgeführt werden, um die Items dieser Subskalen eventuell zu ergänzen und/oder umzuformulieren. Ergänzende kognitive Pretests können wertvolle Hinweise liefern, wie diese Items umformuliert werden könnten.

Gesamtskalen (Kernkompetenzen)

Für jedes Kompetenzfeld des FKM_L wurden die Items der Subskalen zu Gesamtskalen zusammengefasst. Diese Gesamtskalen weisen durchgehend gute innere Konsistenzen auf, was nachvollziehbar ist, da eine Verlängerung von Skalen mit zusätzlichen Items i.d.R. zu höheren Reliabilitäten führt [23].

Der FKM_L wurde auf der Basis des Modells Kernkompetenzen für Lehrkräfte in der Medizin entwickelt. Bereits bei der Entwicklung dieses Modells wurde festgestellt, dass einige Teilkompetenzen und Lernziele verschiedenen Kompetenzfeldern zuordenbar waren [2]. Von daher lassen sich die moderaten bis hohen Interkorrelationen der Gesamtskalen gut erklären (siehe Tabelle 4 [Tab. 4]). Die aus den Korrelationen zu ermittelnden gemeinsamen Varianzanteile (r2) der Gesamtskalen liegen zwischen .10 und .64. 13 von 15 dieser gemeinsamen Varianzanteile sind <.50, so dass durchaus davon auszugehen ist, dass die Gesamtskalen unterschiedliche Facetten der Lehrkompetenz erfassen. Die sehr hohe Interkorrelation zwischen den Gesamtskalen Reflexion und Weiterentwicklung der eigenen Lehrpraxis (RW) und Systembezogenes Lehren und Lernen (SL) gibt jedoch Anlass zu überlegen, inwieweit hier eine Zusammenlegung oder Kürzungen sinnvoll sind.

Globalitems

Die meisten Globalitems korrelieren zwar erwartungsgemäß signifikant, jedoch nicht immer substanziell hoch (r>.50) mit den ihnen zugehörigen Subskalen (siehe Tabelle 3 [Tab. 3]). Zudem korrelieren Globalitems eines jeweiligen Kompetenzfeldes häufig auch mit den Subskalen der anderen Kompetenzfelder signifikant und in vergleichbarer Höhe. Dies legt nahe, dass die Globalitems eine geringe diskriminante Validität aufweisen, so dass eine Diagnostik auf Ebene der Globalitems zurzeit nicht zu empfehlen ist. Aus diesem Grund, aber auch um die Beantwortungszeit zu verkürzen und mit dem Aufwand möglicherweise verbundene negative Effekte zu vermeiden, wurde auf die zusätzliche Erfassung dieser Items ab WS 2020/2021 verzichtet.

Auswertungsbeispiele

Mit den exemplarischen Einzelauswertungen sind inter- und intraindividuelle Unterschiede in den Kompetenzausprägungen erkennbar. Die nächsten Schritte sehen die Ermittlung von Vergleichswerten der jeweiligen Bezugsgruppen vor. Hierzu ist jedoch eine breitere Datenbasis erforderlich.

Feedback zum Fragebogen

Die Rückmeldungen der Teilnehmerinnen und Teilnehmer der verschiedenen Kurse bezogen sich überwiegend auf den Umfang des Fragebogens, d.h. auf die Anzahl der Items und die Länge der Formulierung einzelner Items. Verschiedentlich wurde angeregt, die Bearbeitungszeit zu erhöhen, da diese für die detaillierte Kompetenzerfassung nicht ausreichend sei. Darüber hinaus wurde die Verwendung von Begriffen kritisiert, die nicht ohne weitere Vorinformation verständlich sind. Auch die Art der Darbietung (v.a. Zuordnung von Items zu Kompetenzen vs. willkürliche Anordnung; Aufteilung auf Bildschirmseiten) wurde angesprochen. Gewünscht wurden kurze Zusatzinformationen in Form von Randnotizen zur Lesart bestimmter Items, um die Einschätzungen verlässlicher zu machen.

Validität

Bislang wurden lediglich Schritte unternommen, um die Inhaltsvalidität des FKM_L zu sichern, indem der Entwicklung das KLM-Modells zugrunde gelegt wurde und die Autorinnen und der Autor die Formulierung und Zuordnung der Items theoretisch-argumentativ vornahmen [24], [25]. Eine eingehende Überprüfung der Konstrukt- und der Kriteriumsvalidität des Verfahrens steht jedoch noch aus.


Fazit

Zusammenfassend betrachtet, kann der FKM_L anhand der beschriebenen Ergebnisse trotz leichter Einschränkungen bereits jetzt zur Individual- und Gruppendiagnostik eingesetzt werden: Lehrende können anhand ihrer FKM_L-Profile entscheiden, ob sie an der einen oder anderen Stelle ihre erfassten Kompetenzausprägungen überprüfen bzw. optimieren möchten, und Faculty Development-Anbieter können den FKM_L als Screening-Instrument verwenden, um die Bedarfe der Teilnehmerinnen und Teilnehmer sowie Lücken im Qualifikationsangebot zu ermitteln. Darüber hinaus können die Erfassung von Kompetenzen und deren Ergebnisse im Rahmen medizindidaktischer Kurse als didaktisches Mittel eingesetzt werden, beispielsweise zur Bewusstmachung und Reflexion von individuellen Lehrkompetenzen und deren Entwicklungsbedarf.


Förderung

Die Studie wurde im Rahmen des BMBF-geförderten Verbundprojekts MERLIN (Medical Education Research – Lehrforschung im Netz BW) der Medizinischen Fakultäten Freiburg, Heidelberg, Mannheim, Ulm und Tübingen unter Federführung der Standorte Freiburg und Tübingen durchgeführt. Förderzeichen TÜ: 01PL17011A, FR: 01PL17011B


Interessenkonflikt

Die Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben.


Literatur

1.
Bromme R. Kompetenzen, Funktionen und unterrichtliches Handeln des Lehrers. In: Weinert FE, editor. Enzyklopädie der Psychologie. Psychologie des Unterrichts und der Schule. Göttingen: Hogrefe; 1997. p.177-212.
2.
Görlitz A, Ebert T, Bauer D, Grasl M, Hofer M, Lammerding-Köppel M, Fabry G. Core Competencies for Medical Teachers (KLM) – A Position Paper of the GMA Committee on Personal and Organizational Development in Teaching. GMS Z Med Ausbild. 2015;32(2):Doc23. DOI: 10.3205/zma000965 Externer Link
3.
Lipowsky F. Auf den Lehrer kommt es an. Empirische Evidenzen für Zusammenhänge zwischen Lehrerkompetenzen, Lehrerhandeln und dem Lernen der Schüler. In: Allemann-Ghionda C, Terhart E, editors. Kompetenzen und Kompetenzentwicklung von Lehrerinnen und Lehrern: Ausbildung und Beruf. Weinheim: Beltz; 2006. p.47-70.
4.
Srinivasan M, T Li ST, Meyers FJ, Pratt DD, Collins JB, Braddock C, Hilty DM. "Teaching as a Competency": competencies for medical educators. Acad Med. 2011;86(10):1211-1220. DOI: 10.1097/ACM.0b013e31822c5b9a 13 Externer Link
5.
Braun E, Athanassios G, Pollerhof K, Schwabe U. Wie lassen sich kommunikative Kompetenzen messen? Konzeption einer kompetenzorientierten Prüfung kommunikativer Fähigkeiten von Studierende. Beitr Hochschulforsch. 2018;40(3):34-55. Zugänglich unter/available from: https://www.fachportal-paedagogik.de/literatur/vollanzeige.html?FId=1148973 Externer Link
6.
Braun E, Gusy B, Leidner B, Hannover B. Das Berliner Evaluationsinstrument für selbsteingeschätzte, studentische Kompetenzen (BEvaKomp). Diagnostica. 2008;54(1):30-43. DOI: 10.1026/0012-1924.54.1.30 Externer Link
7.
Giesler M, Forster J, Biller S, Fabry G. Entwicklung eines Fragebogens zur Erfassung von Kompetenzen in der Medizin: Ergebnisse zur Reliabilität und Validität. GMS Z Med Ausbild. 2011;28(2):Doc31. DOI: 10.3205/zma000743 Externer Link
8.
Gollwitzer M, Jäger RS. Evaluation – Workshop. Weinheim: Beltz PVU; 2007.
9.
Jurecka A. Introduction of the Computer-Based Assessment of Competencies. In: Hartig J, Klieme E, Leutner D, editors. Assessment of Competencies in Educational Contexts. Bern: Hogrefe; 2008. p.193-213.
10.
Hartig J. Psychometric models for the assessment of competencies. In: Hartig J, Klieme E, Leutner D, editors. Assessment of Competencies in Educational Contexts. Bern: Hogrefe; 2008. p.69-90.
11.
Wass V, Vleuten van der C, Shatzer J, Jones R. Assessment of clinical competence. Lancet. 2001;357(9260):945-949. DOI: 10.1016/S0140-6736(00)04221-5 Externer Link
12.
Eva KW, Regehr G. Self-assessment in the health professions: a reformulation and research agenda. Acad Med. 2005;80(10 suppl):S46-54. DOI: 10.1097/00001888-200510001-00015 Externer Link
13.
Peterson LN, Eva KW, Rusticus SA. The readiness for Clerkship Survey: Can Self-assessment Data be used to evaluate Program Effectivness? Acad Med. 2012;87(10):1355-1360. DOI: 10.1097/ACM.0b013e3182676c76 Externer Link
14.
Colthart I, Bagnell G, Evans A, Allbutt H, Haig A, Illing J, Mckinstry B. The effectiveness of self-assessment on the identification of learner needs, learner activity, and impact on clinical practice: BEME Guide no. 10. Med Teach. 2008;30(2):124-145. DOI: 10.1080/01421590701881699 Externer Link
15.
Jünger J, Schellberg D, Nikendei C. Subjektive Kompetenzeinschätzung von Studierenden und ihre Leistung im OSCE. GMSZ Med Ausbild. 2006;23(3):Doc51. Zugänglich unter/available from: https://www.egms.de/static/de/journals/zma/2006-23/zma000270.shtml Externer Link
16.
Sieverding M. Frauen unterschätzen sich: Selbstbeurteilungs-Biases in einer simulierten Bewerbungssituation. Z Sozialpsychol. 2003;34(3):147-160. DOI: 10.1024//0044-3514.34.3.147 Externer Link
17.
León SP, Vallejo AP, Nelson JB. Variability in the accuracy of self-assessments among low, moderate, and high performing students in university education. Pract Ass Res Evaln. 2021;26:Article 16. DOI: 10.7275/6q91-az58 Externer Link
18.
Bußenius L, Harendza S, van den Bussche H, Selch S. Final-year medical students’ self-assessment of facets of competence for beginning residents. BMC Med Educ. 2022;22(1):82. DOI: 10.1186/s12909-021-03039- 2 Externer Link
19.
Ehrlinger J, Dunning D. How chronic selfviews influence (and potentially mislead) estimates of performance. J Pers Soc Psychol. 2003;84(1): 5-17. DOI: 10.1037/0022-3514.84.1.5 Externer Link
20.
Regehr G, Hodges B, Tiberius R, Lofchy J. Measuring self-assessment skills: An innovative relative ranking model. Acad Med. 1996;71(10 Suppl):852-854. DOI: 10.1097/00001888-199610000-00043 Externer Link
21.
Schulz von Thun F. Miteinander reden 1: Störungen und Klärungen. Allgemeine Psychologie der zwischenmenschlichen Kommunikation. 53. Auflage. Reinbek (bei Hamburg): Rowohlt-TB; 1981.
22.
Griewatz J, Simon M, Lammerding-Koeppel M. Competency-based teacher training: A systematic revision of a proven programme in medical didactics. GMS J Med Educ. 2017;34(4):Doc44. DOI: 10.3205/zma001121 Externer Link
23.
Lienert GA. Testaufbau und Testanalyse. 2. Auflage. Weinheim: Beltz; 1967.
24.
Döring N, Bortz J. Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. 5. Auflage. Heideberg: Springer; 2016. DOI: 10.1007/978-3-642-41089-5 Externer Link
25.
Bühner M. Einführung in die Test- und Fragebogenkonstruktion. 3. akt. Auflage. München: Pearson Studium; 2011.
26.
Rammstedt B. Zur Bestimmung der Güte von Multi-Item-Skalen: Eine Einführung (ZUMA How-to-Reihe Nr. 12). Mannheim: ZUMA; 2004.
27.
Nunnally JC, Bernstein IH. Psychometric Theory. 3. Ed. New York: McGraw-Hill; 1994.