gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

Bewertung der Gebrauchstauglichkeit des Nationalen Kompetenzbasierten Lernzielkatalogs Medizin durch Lehrverantwortliche an der Medizinischen Hochschule Hannover

Artikel Lernziele

  • corresponding author Sandra Steffens - Medizinische Hochschule Hannover, Studiendekanat, Hannover, Deutschland
  • author Volker Paulmann - Medizinische Hochschule Hannover, Studiendekanat, Hannover, Deutschland
  • author Jasper Mecklenburg - Medizinische Hochschule Hannover, Studiendekanat, Hannover, Deutschland
  • author Konstantin Büttner - Medizinische Hochschule Hannover, Studiendekanat, Hannover, Deutschland
  • author Marianne Behrends - Medizinische Hochschule Hannover, Peter L. Reichertz Institut für Medizinische Informatik, Hannover, Deutschland

GMS J Med Educ 2018;35(2):Doc16

doi: 10.3205/zma001163, urn:nbn:de:0183-zma0011636

Dieses ist die deutsche Version des Artikels.
Die englische Version finden Sie unter: http://www.egms.de/en/journals/zma/2018-35/zma001163.shtml

Eingereicht: 3. Juni 2017
Überarbeitet: 23. Januar 2018
Angenommen: 4. März 2018
Veröffentlicht: 15. Mai 2018

© 2018 Steffens et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Zusammenfassung

Hintergrund: Das Ziel der vorliegenden Studie war es, die Gebrauchstauglichkeit des Nationalen Kompetenzbasierten Lernzielkatalogs Medizin (NKLM) aus der Sicht von Lehrenden im Studienfach Humanmedizin zu bewerten und mögliche Hindernisse bei seiner Einführung zu identifizieren.

Methodik: Es wurde eine standardisierte Befragung unter den Lehrverantwortlichen, die für die inhaltliche und didaktische Gestaltung der jeweiligen Module verantwortlich sind, durchgeführt. Basierend auf dem System Usability Scale (SUS) wurden neben der Gebrauchstauglichkeit auch die generelle Vertrautheit sowie die Schwierigkeiten im Umgang mit dem NKLM untersucht.

Ergebnisse: Der Fragebogen wurde von 52 der 64 befragten Lehrverantwortlichen ausgefüllt. Die meisten der befragten Personen verfügen über 6-10 Jahre Lehrerfahrung. 30% waren nicht mit dem NKLM vertraut. Die Evaluation verdeutlicht, dass die Gebrauchstauglichkeit des NKLM als unzureichend bewertet wird. Jedoch stimmen 71,9% der Lehrverantwortlichen der Aussage zu, dass die verschiedenen Aspekte des Arztberufes gut im NKLM dargestellt sind. Lediglich 12,5% können sich nicht vorstellen, den NKLM für die Lehre und die Unterrichtsvorbereitung zu nutzen.

Schlussfolgerung: Die Wahrnehmung und Verbreitung des NKLM müssen verbessert werden. Des Weiteren legen die Daten nahe, dass – trotz des schwierigen Umgangs mit dem NKLM – die inhaltliche Akzeptanz gegeben ist. Die befragten Lehrverantwortlichen zeigen die Bereitschaft, mit dem NKLM zu arbeiten. Um diese Bereitschaft zu stärken müssen weitere Anstrengungen unternommen werden, um die Lehrenden auf dem Weg zum kompetenzbasierten Curriculum zu unterstützen.

Schlüsselwörter: Nationaler Kompetenzbasierter Lernzielkatalog Medizin (NKLM), Gebrauchstauglichkeit, Lehre, Curriculum


Einleitung

Nach rund sechsjähriger Entwicklungszeit und kontroversen Debatten wurde 2015 der Nationale Kompetenzbasierte Lernzielkatalog Medizin (NKLM) verabschiedet (http://www.nklm.de). Er definiert ein weites Kompetenzspektrum in den Bereichen Kommunikation, Wissen, Professionalität, klinisches Urteilsvermögen sowie Emotion und Reflexion, deren Erwerb Ärztinnen und Ärzte befähigen soll, effizient und verantwortlich zum Wohle der Patientinnen und Patienten und des Gemeinwohls tätig zu sein [1].

Die Orientierung in Richtung einer kompetenzbasierten medizinischen Ausbildung folgte in Deutschland den Reforminitiativen, die bereits zu Beginn des neuen Jahrtausends mit der Einführung der neuen Approbationsordnung Gestalt angenommen hatten (https://www.gesetze-im-internet.de/_appro_2002/BJNR240500002.html).

Um neue didaktische Impulse zu generieren und um mit den internationalen Standards Schritt zu halten, war es den medizinischen Fakultäten erlaubt, eigene Modellstudiengänge zu entwickeln (https://www.gesetze-im-internet.de/_appro_2002/BJNR240500002.html). Im Jahr 2005 hat die Medizinische Hochschule Hannover (MHH) den Modellstudiengang HannibaL (Hannoversche integrierte berufsorientierte adaptive Lehre) ins Leben gerufen, der den Fokus auf die ärztlichen Fertigkeiten und eine patientenzentrierte Ausbildung legt. Damit hat HannibaL bereits Ansätze der NKLM-Initiative – die Stärkung praxis- und patientenbezogener Kompetenzen, wie etwa Kommunikation und ärztliche Fertigkeiten – im Medizinstudium verankert.

Unlängst wurde der „Masterplan 2020“ veröffentlicht, der den Fakultäten die Ausrichtung am NKLM empfiehlt und die verbindliche Implementierung im Rahmen der ÄAppO avisiert (https://www.bmbf.de/de/masterplan-medizinstudium-2020-4024.html).

Die medizinischen Fakultäten werden aufgerufen, die bestehenden Curricula mit dem NKLM abzugleichen und praktische Erfahrungen bei der Umsetzung zu sammeln. Angesichts des Umfangs des NKLM mit 234 Kompetenzen, 281 Sub-Kompetenzen und 1958 Lernzielen sowie deren Fachzuordnung ist dieser Appel nicht leicht umzusetzen [2]. Hinzu kommt, dass mit dem NKLM das erste Mal seit über 40 Jahren ein bundesweit gültiger Lernzielkatalog umgesetzt wurde [3]. Eine von Lammerding-Koeppel et al. kürzlich publizierte Studie an mehreren süddeutschen Fakultäten hat unter den Lehrkräften eine mangelnde Bereitschaft zur Auseinandersetzung mit dem NKLM festgestellt und die Notwendigkeit validierter Konzepte und verlässlicher Strategien zur Motivierung der Lehrenden betont [4], [5]. Unbeantwortet bleibt in der Studie von Lammerding-Koeppel et al. [4], [5] allerdings die Frage, worauf die eher ablehnende Haltung der Dozentinnen und Dozenten gegenüber dem NKLM beruht und welche Rolle der tatsächliche Umgang mit dem NKLM dabei spielt.

Aus diesem Grund zielte unsere Untersuchung darauf ab, mit Hilfe eines standardisierten Fragebogens die Sicht von erfahrenen Lehrenden auf die Gebrauchstauglichkeit des NKLM kennenzulernen und mögliche Schwierigkeiten bei dessen Einführung zu identifizieren.


Methoden

Soweit unsere Recherchen ergaben, wurden bislang keine validierten Ansätze veröffentlicht, die zur Bestimmung der Gebrauchstauglichkeit des NKLM durch medizinisches Lehrpersonal herangezogen werden können. Eine Fokusgruppe entwickelte daher an der MHH für die Datenerhebung der vorliegenden Arbeit einen angepassten Fragebogen. An den sechs Treffen nahmen jeweils 3-4 Personen mit langjähriger Erfahrung in der medizinischen Ausbildung teil, zwei Personen verfügten zudem über weitreichende Erfahrungen in der Entwicklung von Fragebögen bzw. in Evaluierungs- und Qualitätssicherungsverfahren. Als Basis für den Fragebogen wurde der System Usability Scale (SUS) genutzt [6] und eine Umfrage zur Vertrautheit, zur Anwendbarkeit und zum Gebrauch hinsichtlich des NKLM darauf aufgebaut. Der SUS umfasst 10 Items, die einen validierten Testscore bilden, wobei ein Wert von 100 eine perfekt bewertete Gebrauchstauglichkeit darstellt [7]. Das Instrument kann damit für einen Vergleich unterschiedlicher Systeme in unterschiedlichen Entwicklungsstadien genutzt werden [6]. Lewis zufolge [8] beinhaltet der SUS zwei Dimensionen: Den Faktor Gebrauchstauglichkeit (8 Items) und den Faktor Lernbarkeit (2 Items). Für die Anpassung des Fragebogens an den NKLM-Kontext wurden einzelne Formulierungen und die Reihenfolge der Items leicht verändert. Diese Anpassungen veränderten gleichwohl nicht den Charakter der subjektiven Bewertungen sondern dienten nur der Anpassung an den NKLM. So wurde bei Item 5 die Formulierung „verschiedene Funktionen des Systems“ ersetzt durch „verschiedene Aspekte des Arztberufs“, um den Bezug zum NKLM sicherzustellen. „Gebrauch des Systems“ (Item 9) wurde ersetzt durch „Einordnung der Lernziele meines Fachgebiets in den NKLM“ um den Charakter als Lernmedium zu unterstreichen. Bei Item 3 wurde der Terminus „Techniker“ durch „erfahrene Person“ ersetzt. Ansonsten wurde der Begriff „das System“ durchgängig durch „NKLM“ ersetzt (vgl. Tabelle 1 [Tab. 1]). Aufgrund der veränderten Reihenfolge der Items im Vergleich zum ursprünglichen SUS wird der Faktor Lernfähigkeit durch die Items 3 und 10 abgebildet. Um mögliche Schwierigkeiten im Umgang mit dem NKLM zu identifizieren, wurden auch die Lehrerfahrung und das Geschlecht kategorial erhoben. Zusätzlich wurden zwei offene Fragen für die Beurteilung des Aufbaus und der Struktur des NKLM aufgenommen. Die Bearbeitung des Fragebogens dauerte 5-10 Minuten. Die Befragung wurde papierbasiert im Rahmen des NKLM-Mappings mit den Lehrverantwortlichen durchgeführt, das zeitlich auf eine zentrale Kick-Off-Veranstaltung im September 2016 folgte.

Teilnehmerinnen und Teilnehmer der Umfrage

Im Zeitraum von September 2016 bis Februar 2017 wurden an der MHH 62 Lehrende befragt, die für die inhaltliche und didaktische Entwicklung von Unterrichtsmodulen verantwortlich sind. Die Gruppe der Lehrverantwortlichen setzt sich hauptsächlich aus Ärztinnen und Ärzten aus verschiedenen Fachrichtungen zusammen (Chirurgie, Innere Medizin, Allgemeinmedizin, Gynäkologie/Geburtshilfe) sowie aus Lehrenden anderer Disziplinen (Physik, Biochemie, Psychologie, Soziologie, Public Health).

Statistische Auswertungen

Der SUS-Score wurde entsprechend der bei Lewis und Sauro [8] beschriebenen Prozedur berechnet: Jeder Itemwert – von 1 („stimme gar nicht zu“) bis 5 („stimme voll zu“) – wird in einen Wert zwischen 0 und 4 umgewandelt. Bei den positiv formulierten Items (4, 1, 5, 7 und 9), wird vom Punktwert auf der 5er-Skala ‚1’ subtrahiert. Bei den negativ formulierten Items (2, 3, 6, 8 und 10) wird vom Wert 5 der angegebene Wert auf der 5er-Skala abgezogen. Der Gesamtscore ergibt sich aus der Multiplikation der Summe der 10 Items mit dem Faktor 2,5. Somit kann der SUS-Score Werte zwischen 0 und 100 annehmen.

Zusätzlich zum SUS-Score werden für die Items die relativen Häufigkeitsverteilungen angegeben, wobei die Ergebnisdarstellung den Charakter des Fragebogens als Screeninginstrument betont. Deshalb wurden jeweils die beiden äußeren Werte der 5-stufigen Antwortskala zusammengefasst, so dass z. B. „stimme voll zu“ und „stimme zu“ als aggregierter Wert der Zustimmung erscheinen. T-Tests wurden für Mittelwertsunterschiede zwischen Dozentinnen und Dozenten sowie hinsichtlich der Lehrerfahrung eingesetzt. Ein p-Wert von <.05 zeigt statistische Signifikanz an. Die Gebrauchstauglichkeit und die Lernbarkeit wurden als Faktoren entsprechend der Vorgaben von Lewis und Sauro (8) definiert. Alter und Geschlecht werden deskriptiv dargestellt. Für alle statistischen Ergebnisauswertungen wurde SPSS 25 (USA) verwendet.


Ergebnisse

Von 62 ausgegebenen Fragebögen wurde 52 vollständig ausgefüllt (Rücklaufquote: 84%). Fünf der Fragebögen, bei denen die Items des SUS unvollständig ausgefüllt wurden, wurden von den weiteren Analysen ausgeschlossen. In einem Fragebogen fehlten die Angaben zur Lehrerfahrung und zum Geschlecht. Die meisten der befragten Personen verfügen über 6-10 Jahre Lehrerfahrung. 20 Personen (29%) sind weiblich. Tabelle 2 [Tab. 2] zeigt die Merkmale der befragten Lehrenden hinsichtlich der beiden Kategorien. 15 (30%) der Lehrenden gaben an, mit dem NKLM nicht vertraut zu sein und konnten deshalb die zehn Items des NKLM-SUS nicht beantworten.

32 der Lehrenden füllten den SUS vollständig aus. Der durchschnittliche SUS-Score lag bei 52,7 (Standardabweichung: 17,7). Die Spannweite lag zwischen 27,5 und 87,5. Dennoch stimmten 71,9% der Aussage zu, dass die verschiedenen Aspekte des Arztberufes gut dargestellt seien (Item 5). Jedoch widersprachen 43,2% der Aussage, dass der NKLM einfach zu benutzen sei, 45,9% der Lehrverantwortlichen stimmten vielmehr damit überein, dass der NKLM sehr schwerfällig im Gebrauch sei (Item 1 bzw. 8). 31,3% gaben zudem an, dass sie die Unterstützung einer erfahrenen Person benötigen würden (Item 3). Dagegen können sich 45,9% vorstellen, dass sie den NKLM für die Vorbereitung des Unterrichts und die Lehre nutzen werden (Item 4). 37,5% finden die Struktur des NKLM unnötig komplex (Item 2), 59,4% können sich nicht vorstellen, dass die meisten Lehrenden schnell lernen würden, mit dem NKLM umzugehen (Item 7) und 37,5 geben an, dass sie eine Menge lernen mussten, um mit dem NKLM zurechtzukommen (Item 10). Und obgleich 21,9% anmerkten, dass der NKLM zu viele Inkonsistenzen enthielte, gaben 50% an, dass sie sich bei der Einordnung der Lernziele ihres Fachgebietes in den NKLM sicher fühlten (Item 9). Tabelle 1 [Tab. 1] und Abbildung 1 [Abb. 1] zeigen die Durchschnittswerte der jeweiligen auf den NKLM bezogenen SUS-Items. Hinsichtlich der Geschlechtskategorien und der Lehrerfahrung gibt es nur geringe Abweichungen im SUS-Score, die statistisch keine Signifikanz aufweisen.


Diskussion

Veränderungen, auch kleinerer Natur, können Individuen zuweilen beunruhigen [9]. Verstärkt durch den Umstand, dass Bildungseinrichtungen durch eine eher traditionelle Kultur gekennzeichnet sind, die Umgestaltungen oftmals ablehnend gegenübersteht, wird deutlich, dass die Einführung des NKLM als mutiger Schritt betrachtet werden kann [9], [10]. Eine unlängst an mehreren süddeutschen medizinischen Fakultäten durchgeführte Studie stellte fest, dass die befragten Lehrenden dem Umgang mit dem NKLM zögerlich gegenüberstehen und betonte die Notwendigkeit valider Konzepte und erfolgversprechender Strategien zur Förderung der Motivation der Lehrenden [4], [5]. Aus diesem Grund wurden bei der Einführung des NKLM an der MHH im ersten Schritt die Einstellungen und die Benutzerfreundlichkeit im Rahmen einer strukturieren Erhebung untersucht. Dieser Schritt entspricht dem 1. Baustein „Bedürfnis- und Problemidentifikation“ als Teil der Curriculumsentwicklung in der medizinischen Ausbildung nach Thomas et al. [11].

In unserer Untersuchung gaben rund 30% der befragten Lehrenden bei der Eingangsfrage an, dass sie mit dem NKLM nicht vertraut seien. Bedenkt man, dass die Gruppe der befragten Personen in erster Linie Expertinnen und Experten aus dem Bereich der medizinischen Ausbildung umfasst, ist die Quote derjenigen, die keine Einschätzung zum NKLM vornehmen können, relativ hoch. Bekanntheitsgrad und Akzeptanz des NKLM müssen deshalb gesteigert werden. Einerseits müssen die Vorteile eines neuen Curriculums auf breiterer Basis kommuniziert werden. Hier sind sowohl politische und administrative Einrichtungen (z.B. Bildungs- und Wissenschaftsministerien), als auch die Berufsverbände (medizinische Fachgesellschaften, verfasste Ärzteschaft, Bundesärztekammer) gefordert. Frank und Danoff [12] haben verschiedene Maßnahmen identifiziert, die bei der Einführung des CanMeds-Konzeptes in Kanada und anderen Ländern zu einer erfolgreichen „Marketingstrategie“ beigetragen haben. Dazu gehören regelmäßige Newsletter, Netzwerkarbeit mit hochmotivierten Dozentinnen und Dozenten („Champions“) und der Aufbau eines Pools an gutunterrichteten Sprecherinnen und Sprechern [12]. An der MHH wurde deshalb im Rahmen des Einführungsprozesses die Position einer zentralen NKLM-Beauftragten eingerichtet. Zusätzlich wird auf Fakultätsebene durch die Einbindung informeller (z. B. Netzwerke von Lehrenden) wie auch formeller Strukturen (z. B. Studienkommission und Senat) die Bereitschaft zur Auseinandersetzung mit dem NKLM gestärkt. Bland et al. [13] weisen darauf hin, dass insbesondere an medizinischen Fakultäten der direkte persönliche Austausch hilfreich ist, um Richtungsänderungen durchzusetzen. Auch eine Honorierung innovativer Projekte und von frühzeitigen Anwenderinnen und Anwendern („early adopters“) kann neue Ansätze stärken [13].

Forschungen zur Gebrauchstauglichkeit und Technologieakzeptanz haben gezeigt, dass die Bereitschaft, neue Produkte oder Prozesse einzusetzen, auch von der wahrgenommenen Zweckmäßigkeit, der Erlernbarkeit und der Nutzungsabsicht abhängt [14], [15]. Die ISO-Definition 9241-11 beschreibt dies folgendermaßen: „Gebrauchstauglichkeit ist das Ausmaß, in dem ein Produkt durch bestimmte Anwender effizient, wirtschaftlich und befriedigend zur Erreichung von festen Zielvorgaben eingesetzt werden kann“ [16]. „Lernfähigkeit“ beschreibt wie erfolgreich der Umgang erlernt werden kann. Oftmals kommt die Untersuchung der Gebrauchstauglichkeit im Rahmen von Softwareentwicklungen zum Einsatz, doch auch andere Produkte oder Leistungen können mit diesem Ansatz analysiert werden. Die Überprüfung der Akzeptanz des NKLM mit denselben Mitteln erscheint deshalb naheliegend. Hinsichtlich des Change Managements bleibt die Gebrauchstauglichkeit des NKLM die größte Herausforderung. Eine Mehrheit unserer Stichprobe findet ihn nicht leicht zu benutzen (Item 8), ein vor dem Hintergrund des Umfangs der Lernziele nicht unbedingt überraschendes Ergebnis.

Trotz der Skepsis gegenüber der „praktischen Seite“ der Nutzung des NKLM (Items 1, 2, 6 und 8) wird von den befragten Lehrenden die Grundidee des Lernzielkatalogs durchaus wertgeschätzt. 72% finden “dass die verschiedenen Aspekte des Arztberufes gut im NKLM dargestellt sind“ (Item 5). Frank und Danoff [12] zufolge ist die inhaltliche Akzeptanz der Grundbaustein für die Einführung eines kompetenzbasierten Lehrplans. Nur eine Minderheit an Dozentinnen und Dozenten gibt an, dass sie es schwierig fände, ihre fachbezogenen Lernziele im NKLM zu identifizieren. Und nur 13% geben an, dass sie den NKLM nicht für die Unterrichtsvorbereitung und die Lehre einsetzen würden (Item 4).

Soweit ersichtlich liegen nur wenige Anhaltspunkte für den Einfluss personenbezogener Merkmale bei der Einführung von Lernzielkatalogen vor. Arbeiten, die die erfolgreiche Implementierung von Lernzielkatalogen – wie die CanMeds-Initiative oder der Schweizer Lernzielkatalog (SCLO) – erörtern, behandeln vorwiegend organisatorische Aspekte [12], die Akzeptanz der Inhalte [17] oder den Entstehungszusammenhang des Katalogs [18]. Betrachtet man die kulturelle Seite, so werden das Hochschulwesen [19] und insbesondere die Hochschulmedizin [20] von Frauen und Männern mit Blick auf die Teilhabe, Chancengleichheit, Karrierefortschritte und die Wahrnehmung durch die Studierenden unterschiedlich beschrieben. In einer Untersuchung von O’Sullivan [21] an einer irischen Fakultät hatten die Lehrerfahrung und das Geschlecht bei Zahnmedizinerinnen und Zahnmedizinern einen Einfluss auf das Interesse an der Hochschulentwicklung. In unserer Stichprobe zeigten sich im Gegensatz dazu keine signifikanten Gruppenunterschiede bezogen auf Alter, Lehrerfahrung oder Geschlecht. Als Limitationen bei unserer Untersuchung sind in erster Linie die Größe der befragten Gruppe und die Begrenzung auf eine Hochschule zu nennen.

Abschließend lässt sich feststellen, dass der Verbreitungsgrad des NKLM wie auch das Wissen um seine Vorteile weiter ausgebaut werden müssen, da selbst erfahrene Dozentinnen und Dozenten im Fach Medizin nicht hinreichend mit ihm vertraut sind. Doch weisen die Daten darauf hin, dass bei aller Schwierigkeit im Umgang die inhaltliche Akzeptanz des NKLM gegeben ist. Die Bereitschaft zur Nutzung scheint grundsätzlich vorhanden zu sein. Deshalb sind weitere Anstrengungen zur Verbesserung der Gebrauchstauglichkeit und zur Unterstützung der Lehrenden im alltäglichen Umgang mit dem NKLM unerlässlich, wenn die kompetenzbasierte Curriculumsentwicklung gelingen soll.


Autoren

Sandra Steffens und Volker Paulmann sind gleichberechtigte Erstautoren.


Interessenkonflikt

Die Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.


Literatur

1.
Epstein RM, Hundert EM. Defining and assessing professional competence. JAMA. 2002;287(2):226-235. DOI: 10.1001/jama.287.2.226 Externer Link
2.
Fischer MR, Bauer D, Mohn K; NKLM-Projektgruppe. Finally finished! National Competence Based Catalogues of Learning Objectives for Undergraduate Medical Education (NKLM) and Dental Education (NKLZ) ready for trial. GMS Z Med Ausbild. 2015;32(3):Doc35. DOI: 10.3205/zma000977 Externer Link
3.
Institut für medizinische und pharmazeutische Prüfungsfragen. Gegenstandskatalog für den Ersten Abschnitt der Ärztlichen Prüfung. Mainz: Verlag Druckhaus Schmidt & Bödige; 1973.
4.
Lammerding-Koeppel M, Giesler M, Gornostayeva M, Narciss E, Wosnik A, Zipfel S, Griewatz J, Fritze O. Monitoring and analysis of the change process in curriculum mapping compared to the National Competency-based Learning Objective Catalogue for Undergraduate Medical Education (NKLM) at four medical faculties. Part I: Conducive resources and structures. GMS J Med Educ. 2017;34(1):Doc7. DOI: 10.3205/zma001084 Externer Link
5.
Lammerding-Koeppel M, Giesler M, Gornostayeva M, Narciss E, Wosnik A, Zipfel S, Griewatz J, Fritze O. Monitoring and analysis of the change process in curriculum mapping compared to the National Competency-based Learning Objective Catalogue for Undergraduate Medical Education (NKLM) at four medical faculties. Part II: Key factors for motivating the faculty during the process. GMS J Med Educ. 2017;34(1):Doc6. DOI: 10.3205/zma001083 Externer Link
6.
Sauro J. A Practical Guide to the System Usability Scale: Background, Benchmarks, and Best Practices. Denver: Measuring Usability, LLC; 2011.
7.
Brooke J. SUS: A "quick and dirty" usability scale. In: Jordan PW, Thomas B, Weerdmeester BA, McClelland (Hrsg). Usability Evaluation in Industry. London, UK: Taylor & Francis; 1996. S.189-194.
8.
Lewis JR, Sauro J. The Factor Structure Of The System Usability Scale. San Diego CA: Human Computer Interaction International Conference (HCII); 2009. DOI: 10.1007/978-3-642-02806-9_12 Externer Link
9.
Lane IF. Change in higher education: understanding and responding to individual and organizational resistance. J Vet Med Educ. 2007;34(2):85-92. DOI: 10.3138/jvme.34.2.85 Externer Link
10.
Hargreaves A. Inclusive and exclusive educational change: Emotional responses of teachers and implications for leadership. School Leadership Manag. 2004;24(3):287-309. DOI: 10.1080/1363243042000266936 Externer Link
11.
Thomas PA, Kern DE, Hughes MT, Chen BY. Curriculum Development for medical Education, A Six-Step Approach. 3rd rev. ed., Baltimore, Maryland: The Johns Hopkins University Press; 2016.
12.
Frank JR, Danoff D. The CanMEDS initiative: implementing an outcomes-based framework of physician competencies. Med Teach. 2007;29(7):642-627 DOI: 10.1080/01421590701746983 Externer Link
13.
Bland CJ, Starnaman S, Wersal L, Moorhead-Rosenberg L, Zonia S, Henry R. Curricular Change in Medical Schools: How to Succeed. Acad Med. 2000;75(6):575-594. DOI: 10.1097/00001888-200006000-00006 Externer Link
14.
Venkatesh V and Davis FD. A theoretical extension of the technology acceptance model: Four longitudinal field studies. Manag Sci. 2000;46(2):186-204. DOI: 10.1287/mnsc.46.2.186.11926 Externer Link
15.
Jeng J. Usability assessment of academic digital libraries: Effectiveness, efficiency, satisfaction, and learnability. Libri. 2005;55(2-3):96-121. DOI: 10.1515/LIBR.2005.96 Externer Link
16.
International Organization for Standardization. ISO 9241-11: Ergonomic Requirements for Office Work with Visual Display Terminals (VDTs): Part 11: Guidance on Usability. 1998.
17.
Jilg S, Möltner A, Berberat P, Fischer MR, Breckwoldt J. How do Supervising Clinicians of a University Hospital and Associated Teaching Hospitals Rate the Relevance of the Key Competencies within the CanMEDS Roles Framework in Respect to Teaching in Clinical Clerkships? GMS Z Med Ausbild. 2015;32(3):Doc33. DOI: 10.3205/zma000975 Externer Link
18.
Bloch R, Bürgi H. The Swiss Catalogue of Learning Objectives. Med Teach. 2002;24(2):144-150. DOI: 10.1080/01421590220120759 Externer Link
19.
Gabriel S. Die obsolete Kategorie Geschlecht? Zur Wechselbeziehung von gendered organization und individuellen Handlungspraxen in der Hochschullehre. Hochschullehre. 2014;2:51-65.
20.
Pololi LH. Experiencing the Culture of Academic Medicine: Gender Matters, A National Study. J Gen Intern Med. 2013: 28(2):201-207. DOI: 10.1007/s11606-012-2207-1 Externer Link
21.
O'Sullivan EM. A national study on the attitudes of Irish dental faculty members to faculty development. Eur J Dent Educ. 2010;14(1):43-49. DOI: 10.1111/j.1600-0579.2009.00590.x Externer Link