gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

Immersives Training der klinischen Entscheidungsfindung mit KI-gesteuerten virtuellen Patienten – eine neue VR-Plattform namens medical tr.AI.ning

Artikel Virtual Reality

  • Marvin Mergen - Universität des Saarlandes, Abteilung für Pädiatrische Onkologie und Hämatologie, Homburg, Deutschland
  • Anna Junga - Universität Münster, Institut für Pädagogik und Studienangelegenheiten, Münster, Deutschland; Stiftungsklinikum PROSELIS, Klinik für Urologie, Recklinghausen, Deutschland
  • Benjamin Risse - Universität Münster, Institut für Geoinformatik, Münster, Deutschland; Universität Münster, Computer Vision & Machine Learning Systems, Münster, Deutschland
  • Dimitar Valkov - Universität des Saarlandes, Fachbereich Informatik, Homburg, Deutschland; Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI), Saarbrücken, Deutschland
  • corresponding author Norbert Graf - Universität des Saarlandes, Abteilung für Pädiatrische Onkologie und Hämatologie, Homburg, Deutschland
  • corresponding author Bernhard Marschall - Universität Münster, Institut für Ausbildung und Studienangelegenheiten, Münster, Deutschland
  • Konsortium medical tr.AI.ning

GMS J Med Educ 2023;40(2):Doc18

doi: 10.3205/zma001600, urn:nbn:de:0183-zma0016002

Dieses ist die deutsche Version des Artikels.
Die englische Version finden Sie unter: http://www.egms.de/en/journals/zma/2023-40/zma001600.shtml

Eingereicht: 30. Juni 2022
Überarbeitet: 10. November 2022
Angenommen: 11. Januar 2023
Veröffentlicht: 17. April 2023

© 2023 Mergen et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Zusammenfassung

Hintergrund: Medizinstudierende müssen auf verschiedene Situationen in klinischer Entscheidungsfindung vorbereitet werden, die nicht systematisch mit echten Patienten geübt werden können, ohne ihre Gesundheit oder Integrität zu gefährden.

Um die systembedingten Einschränkungen des schauspielbasierten Trainings auszugleichen, werden in der medizinischen Ausbildung zunehmend digitale Lernmethoden eingesetzt, wobei Training in Virtueller Realität (VR) ein hohes Potenzial zu haben scheint. Virtuell generierte Trainingsszenarien ermöglichen das wiederholte Training hochrelevanter klinischer Fertigkeiten in einer geschützten, realistischen Lernumgebung.

Dank Künstlicher Intelligenz (KI) ist eine direkte Interaktion mit virtuellen Agenten möglich. Die Kombination dieser Technologie mit VR-Simulationen bietet eine neue Möglichkeit für ein kontextbezogenes, persönliches Training für Medizinstudierende.

Projektziel und Methode: Das Ziel der Autoren ist es, eine modulare digitale Trainingsplattform für die medizinische Ausbildung mit virtuellen, interaktiven Agenten zu entwickeln und diese Plattform in das medizinische Curriculum zu integrieren. Die medical tr.AI.ning - Plattform wird eine realitätsnahe Simulation von klinischen Szenarien mit virtuellen Patienten ermöglichen, ergänzt durch hochrealistische medizinische Pathologien innerhalb eines anpassbaren, realistischen situativen Kontextes.

Medical tr.AI.ning ist auf vier komplementäre Entwicklungsschritte mit unterschiedlichen Szenarien skaliert, die separat genutzt werden können, so dass jedes Ergebnis sukzessive früh in das Projekt integriert werden kann. Jeder Schritt hat seinen eigenen Schwerpunkt (Visuelles, Bewegung, Kommunikation, Kombination) und erweitert durch seine Modularität ein Autorentool. Die Module der einzelnen Schritte werden gemeinsam mit Medizindidaktik-Experten spezifiziert und gestaltet.

Ausblick: Um eine ständige Verbesserung der Benutzererfahrung, des Realismus und der medizinischen Validität zu gewährleisten, werden die Autoren regelmäßige iterative Evaluierungsrunden durchführen.

Darüber hinaus wird die Integration von medical tr.AI.ning in das medizinische Curriculum eine langfristige und groß angelegte Ermittlung der Vorteile und Grenzen dieses Ansatzes ermöglichen und verbesserte alternative Lehrparadigmen für die VR-Technologie bieten.

Schlüsselwörter: virtuelle Realität, medizinische Ausbildung, künstliche Intelligenz, virtuelle Patienten


1. Hintergrund

Medical tr.AI.ning ist ein vom Bundesministerium für Bildung und Forschung (BMBF) gefördertes interdisziplinäres Verbundprojekt zur Entwicklung einer Virtual Reality (VR)-Trainingsplattform, die es Medizinstudierenden ermöglicht, klinische Entscheidungen in anpassbaren Szenarien in einer sicheren, immersiven virtuellen Umgebung zu üben. Dank neuester Fortschritte in der Technologie der Künstlichen Intelligenz (KI) wird es möglich sein, realistische und ganzheitliche klinische Fälle mit interaktiven, intelligenten virtuellen Patienten zu erstellen. Das medical tr.AI.ning Projekt ist motiviert durch den zunehmenden Fokus auf „clinical reasoning“ in den Lernzielen der medizinischen Curricula.


2. Anlass und Projektziel

Ende 2017 haben sich das Bundesministerium für Bildung und Forschung (BMBF), das Bundesministerium für Gesundheit (BMG), die Kultusministerkonferenz (KMK) und die Gesundheitsministerkonferenz (GMK) auf den „Masterplan Medizinstudium 2020“ für Deutschland geeinigt [1]. Mit diesem Beschluss wird eine Weiterentwicklung kompetenzbasierter Konzepte für die Ausbildung von medizinischen Fachkräften angestrebt. Ein wesentlicher Schritt in diesem Prozess ist der neue Lernzielkatalog (NKLM 2.0) [https://nklm.de/zend/objective/list/orderBy/@objectivePosition/studiengang/Arztrollen] als Teil der neuen ärztlichen Approbationsordnung ab 2025 [2]. Im Gegensatz zum bisherigen Curriculum legt dieser Katalog einen besonderen Schwerpunkt auf das Training sozialer Kompetenzen.

Medizinstudierende müssen auf verschiedene Situationen bei der klinischen Entscheidungsfindung vorbereitet werden, die nicht systematisch mit echten Patienten geübt werden können, ohne sie oder die Studierenden zu belasten. Bislang wird klinische Erfahrung oft nur durch sog. Shadowing erworben. Leider fehlen dabei die Perspektive und Erfahrung aus erster Hand [3]. Um dieses Problem anzugehen, gibt es derzeit Forschungsarbeiten zum situativen Lernen [4] mit dem Ziel des Wissenserwerbs in kontextbasierten zwischenmenschlichen Interaktionen. Bisher wurde dies erfolgreich durch schauspielbasierte Simulationen erreicht, wie in den Programmen der Medizinischen Fakultäten von Münster [5], [6] und Homburg [7]. Doch trotz großartiger schauspielerischer Leistungen und authentischem Gesprächstraining gibt es systembedingte Grenzen dieses Ansatzes. So können beispielsweise körperliche Parameter wie verschiedene Symptome, Aussehen (Hautfarbe, Gewicht, ...) und Alter nicht authentisch dargestellt oder leicht variiert werden. Intime Untersuchungen sind ein weiterer Aspekt der medizinischen Ausbildung, der nicht mit Schauspielern trainiert werden kann.

Die genannten Einschränkungen verdeutlichen, warum digitale Lehr- und Lernmethoden im Rahmen der medizinischen Ausbildung zunehmend eingesetzt werden [8].

Gerade im VR-basierten Training wird laut Literatur ein hohes Potenzial gesehen [9], [10]. Virtuell generierte Trainingsszenarien ermöglichen ein wiederholtes Training hochrelevanter Fähigkeiten in einer geschützten Lernumgebung. Aktuelle VR-Anwendungen können realitätsnahe Visualisierungen darstellen, die immersive Erfahrungen ermöglichen, die nachweislich die klinischen Entscheidungsfähigkeiten verbessern [9]. Diese Erfahrung beruht auf zwei Phänomenen, die M. Slater als „Ortsillusion“ und „Plausibilitätsillusion“ bezeichnet, die – wenn beide auftreten – zu einer realistischen Reaktion des Teilnehmers in der virtuellen Realität führen [11]. Somit kann VR ein brauchbares Werkzeug sein, um reale Situationen zu simulieren, die mit den derzeitigen Methoden nicht trainiert werden können.

Jüngste Fortschritte im Bereich der künstlichen Intelligenz und des Deep Learning haben die Spracherkennung in Echtzeit möglich gemacht und neue Paradigmen für die face-to-face Interaktion mit virtuellen Agenten ermöglicht. Leider wurde KI in der medizinischen Ausbildung bisher hauptsächlich für automatische Evaluationen, Vorhersagen über die Leistung von Studierenden, chirurgisches Training oder in Internetplattformen ohne tiefgreifende Integration von situativem Lernen eingesetzt.

Die Kombination des Potenzials von Virtual-Reality-Simulationen mit fortschrittlichen Technologien der künstlichen Intelligenz kann eine neue Art des situativen, kontextbasierten, egozentrischen Trainings für Medizinstudierende schaffen.

Um dieses Ziel zu erreichen, entwickeln wir eine modulare, pädagogische, digitale Trainingsplattform, genannt „medical tr.AI.ning“, mit virtuellen, interaktiven Agenten. In diesem Rahmen wollen wir VR in Kurse des medizinischen Curriculums integrieren, die eine klinische Entscheidungsfindung erfordern und die ansonsten eingeschränkt sind, z.B. durch die Nichtverfügbarkeit von Patienten mit spezifischen Krankheiten oder im Rahmen von schambehafteten körperlichen Untersuchungen. Dies bedeutet, dass der Schwerpunkt auf dem Training praktischer Fähigkeiten liegt.

Dank fortschrittlicher KI-Technologien werden realitätsnahe Simulationen typischer klinischer Situationen mit virtuellen Patienten erstellt, die mit dem Auszubildenden verbal und nonverbal in einem gewünschten situativen Kontext interagieren und mit hochrealistischen, intelligenten medizinischen Pathologien ausgestattet sind. Dies ermöglicht es Studierenden, verschiedene medizinische Situationen mit unterschiedlichen Komplexitätsgraden wiederholt zu trainieren.

Ein spezielles Autorentool ermöglicht es den Lehrkräften, neue Schulungsszenarien zu erstellen oder bestehende zu ändern, weitere Pathologien oder Untersuchungsinstrumente hinzuzufügen und sogar die Patienten und ihr Verhalten anzupassen. Mit diesem Tool können die Lehrkräfte alle Merkmale eines virtuellen Patienten, einer Umgebung und eines Szenarios intuitiv zusammenstellen, ohne dass eine aufwändige Implementierung durch externe IT-Spezialisten erforderlich ist. Dies wird die Verbreitung unserer Plattform an anderen medizinischen Fakultäten unterstützen.

Um eine ständige Verbesserung und authentische Evaluation zu gewährleisten, führen wir regelmäßig iterative Evaluationen mit Pilot-Nutzerstudien für jedes erstellte Szenario durch. Mit dieser Strategie garantieren wir Validität und Benutzerfreundlichkeit während der gesamten Entwicklung von medical tr.AI.ning.

Weitere Informationen über medical tr.AI.ning finden Sie auf unserer Website [https://medical-training-project.de/] und in unserem Projektvideo [https://www.youtube.com/watch?v=Oe0l_nDHyOY&t=2s].


3. Projektplan

Dieses Gemeinschaftsprojekt wurde initiiert und wird durchgeführt von führenden Instituten der Informatik und der Medizindidaktik der Universität Münster (CVMLS, IfAS) und der Universität des Saarlandes (CHELM, UMTL), der Fachhochschule Münster (FHMS) und der Hochschule der Bildenden Künste Saarbrücken (HBKsaar).

Die Projektziele sind auf vier komplementäre Entwicklungsschritte mit entsprechenden Szenarien skaliert (siehe Tabelle 1 [Tab. 1]), die einzeln oder kombiniert eingesetzt und frühzeitig in medizinische Curricula integriert werden können. Jeder Schritt hat seinen eigenen Schwerpunkt (Visuelles, Bewegung, Kommunikation, Kombination) und erweitert das Autorentool durch seine Modularität. Die Module der einzelnen Schritte werden aus konkreten Beispielszenarien abgeleitet, die von unserem medizinischen Team, einschließlich didaktischer Experten, spezifiziert und entworfen werden (siehe Tabelle 1 [Tab. 1]). Durch das sukzessive Hinzufügen neuer Module wollen wir sowohl die Skalierbarkeit des Gesamtsystems als auch die Stabilität jedes einzelnen Trainingsszenarios sicherstellen.

Medical tr.AI.ning erfordert vor allem Kenntnisse in drei verschiedenen Disziplinen: Medizin-Didaktik, Informatik und Design.

Wie in Abbildung 1a [Abb. 1] dargestellt, sind die jeweiligen Kompetenzen in zwei grob definierte Teams aufgeteilt. Das Team für medizinische Didaktik (IfAS, CHELM) entwickelt Lehrmethoden und -strategien und liefert den medizinischen Hintergrund als Grundlage für die Programmierung und Gestaltung der Szenarien in Zusammenarbeit mit medizinischen Spezialisten. Die Plattform wird durch das technische Team (UMTL, CVMLS, FHMS) implementiert. Die Designteams der Fachhochschule Münster (FHMS) und der Hochschule der Bildenden Künste Saarbrücken (HBKsaar) liefern Designs, Modelle und Animationen sowie Interaktionskonzepte in VR. Insgesamt sind die Aufgaben eindeutig verteilt, erfordern aber eine enge Zusammenarbeit, auch während des Evaluierungsprozesses mit iterativem Feedback zwischen den verschiedenen Beteiligten.

Bei der Entwicklung der Plattform wird ein inkrementelles Design-Paradigma angewandt, mit einem frühen horizontalen Prototyping und kleinen Implementierungs- und Validierungszyklen. Jede Iteration (vgl. Abbildung 1b [Abb. 1]) konzentriert sich auf ein bestimmtes Ausbildungsszenario und beginnt mit einer Konzeption durch alle Partner, bei der die trainierbaren medizinischen Kompetenzen, die technischen Anforderungen und die Machbarkeit bewertet und aufeinander abgestimmt werden. Nach der Konzeption entwickelt das medizindidaktische Team die Lehrmethoden und Kurse rund um die nahtlose Integration der Plattform, während die Technik- und Designteams die erforderlichen Systemkomponenten entwickeln. Die Ergebnisse dieser Entwicklungen fließen in spezielle Lehrveranstaltungen mit dem Schwerpunkt clinical reasoning ein, die in die medizinischen Curricula der Universität Münster und der Universität des Saarlandes integriert werden. Diese Kurse bilden die primäre Testumgebung für die Plattform, und die Ergebnisse der Evaluierungen innerhalb des Kurses werden verwendet, um das Konzept und die Entwicklung im nächsten Iterationsschritt zu steuern.

Diese Methode ermöglicht ein gezieltes vertikales Prototyping jedes geplanten Aspekts der Plattform und eine frühzeitige Integration in die medizinischen Fakultäten, was die Erfolgswahrscheinlichkeit und die Anpassungsfähigkeit von medical tr.AI.ning deutlich erhöht. Abgesehen davon, dass sie klinische Entscheidungsfähigkeiten erfordern, werden die primären Kurse gemäß Tabelle 1 [Tab. 1] auf der Grundlage ihrer Eignung im Hinblick auf die aktuellen Entwicklungsschritte ausgewählt. Zum Beispiel wird das erste Szenario mit dem Schwerpunkt auf visuellen Befunden in die praktischen Kurse der Dermatologie implementiert.


4. Evaluation

4.1. Kontinuierlicher Evaluations- und Validierungsprozess für die allgemeine Nutzererfahrung

Für jedes implementierte und nutzbare Szenario wird ein Wahlfach mit mindestens fünfzehn Medizinstudenten als Pilotstudie initiiert. Entsprechend unserer Entwicklungsschritte testen sie die Plattform primär mit dem Fokus auf visuelle Diagnosen. Jeder Student wird von einem/einer Medizindidaktik-Experten/Expertin (MDE) begleitet. Im Testszenario werden die Studierenden aufgefordert, ihre Gedanken zur Plattform zu äußern (Thinking Aloud-Methode), welche vom/ von der MDE transkribiert werden. Um jegliche Voreingenommenheit zu vermeiden, ist es den Studierenden nicht erlaubt, mit anderen zu sprechen, bis die Auswertung abgeschlossen ist.

In einem zweiten Schritt erhalten alle Studierenden einen standardisierten Fragebogen zu folgenden Themen: Benutzerfreundlichkeit (Intuitivität), Design, Realismus, Lerneffekt, Spaßfaktor sowie den Grad, gedanklich beim Szenario zu bleiben (Konzentrationslevel). Freie Textfelder dienen dazu, Empfehlungen zu geben. Mit dieser Methode sorgen wir in einem iterativen Prozess für eine regelmäßige Verbesserung unserer Plattform auf Basis der Anforderungen von Medizinstudierenden aus erster Hand. In allen vier Entwicklungsschritten erfolgt eine kontinuierliche Evaluierung mit unterschiedlichen Szenarien.

4.2. Evaluation der Validität und des Kompetenzerwerbs

Da unser Schwerpunkt auf der Ausbildung klinischer Kompetenzen und nicht auf dem Erwerb theoretischen Wissens liegt, haben wir uns zur Nutzung des EPA-Konzepts (Entrustable Professional Activities) von Ole ten Cate [12] entschieden. Dieses Konzept basiert auf der Annahme, dass Vertrauen und die Erlaubnis, in einem klinischen Kontext zu handeln, durch Beobachtung von medizinischen Experten bewertet werden können. EPAs werden für 13 verschiedene Kompetenzen auf einer Skala von 0 bis 5 bewertet („der Studierende hat keinen Nutzen von der Beobachtung“ bis „der Studierende ist sicher genug, um andere Lernende anzuleiten“). Die Bewertung basiert auf strukturierten Anforderungskatalogen, aber nicht auf einem festen Checklistenkatalog, wie es bei OSCE-Bewertungen der Fall ist. Diese Strategie betont eine angestrebte Kongruenz zwischen Selbst- und Fremdeinschätzung sowie ein personalisiertes Feedback, das sowohl die Sicherheit der Patienten als auch die Selbstwirksamkeit garantiert.

Um die Effektivität der Kompetenzen zu untersuchen, werden zwei Gruppen von Studenten verglichen (A+VR): Gruppe A wird mit Schauspielern interagieren, während Gruppe VR die medical tr.AI.ning-Plattform in ähnlichen Testszenarien nutzen wird. Die Teilnehmer jeder Kohorte werden nach ihrem medizinischen Wissen gematcht. Das Szenario konzentriert sich auf klinische Prozesse im Patientenmanagement. Daher werden keine theoretischen Hintergründe wie Epidemiologie, Klassifikation oder Prognose behandelt. Ziel ist es, die Studierenden schrittweise an die Entscheidungsfindung heranzuführen, damit sie lernen, wie man eine korrekte Diagnose stellt. Während der Durchführung werden das Verhalten und die Strategie der Studierenden in beiden Gruppen durch eine/n MDE im Hinblick auf das EPA-Konzept zum Vergleich bewertet.

Die Grenzen dieses Studiensettings liegen vor allem in der kleinen Gruppengröße und der unterschiedlichen Erfahrung mit VR und technischen Geräten.


5. Ausblick

Medical tr.AI.ning wird in die aktuellen Curricula der beteiligten Universitäten in Homburg und Münster integriert, weitere Universitäten werden eingeladen. Eine umfangreiche Dokumentation und die Entwicklung von Richtlinien und Empfehlungen stellen die Nutzung und Anpassbarkeit unserer Plattform auch außerhalb unseres Projektes sicher.

Das Autorentool wird weitere Experten der Medizindidaktik in die Lage versetzen, neue Szenarien zu entwickeln und damit die Nachhaltigkeit von medical tr.AI.ning zu gewährleisten.


Erstautorenschaft

Marvin Mergen und Anna Junga teilen sich die Erstautorenschaft.


Förderung

Dieses Projekt wurde vom BMBF (Bundesministerium für Bildung und Forschung) unter dem Förderkennzeichen 16DHBKI080 gefördert. Wir danken für die Unterstützung durch den Open-Access-Publikationsfonds der Universität Münster.


Danksagung

Vielen Dank an Corbin Sassen, Henriette Schulze und Leon Pielage für ihren Beitrag zur Konzeption, Aufnahme und Nachbearbeitung des Projektvideos.


Das medical Tr.AI.ning-Konsortium

  • Universität Münster (CVMLS, IfAS)
    Benjamin Risse, Pascal Kockwelp, Leon Pielage, Valentin Brosch, Bernhard Marschall, Anna Junga, Henriette Schulze, Ole Hätscher, Niklas Tiefenbach
  • Fachhochschule Münster (FHMS)
    Tina Glückselig, Kathrin Ungru, Philipp Bozdere, Julia Leuer
  • Universität des Saarlandes (UMTL, CHELM)
    Antonio Krüger, Dimitar Valkov, Tim Düwel, André Zenner, Florian Daiber, Erum Manzoor, Norbert Graf, Marvin Mergen, Marcel Meyerheim
  • Hochschule für Bildende Künste Saar (HBKsaar)
    Michael Schmitz, Mert Akbal, Corbin Sassen

Interessenkonflikt

Die Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben.


Literatur

1.
Bundesministerium für Bildung und Forschung. Masterplan Medizinstudium 2020. Berlin: Bundesminsterium für Bildung und Forschung; 2017. Zugänglich unter/available from: https://www.bmbf.de/bmbf/shareddocs/kurzmeldungen/de/masterplan-medizinstudium-2020.html Externer Link
2.
Bundesministerium für Gesundheit. Verordnung zur Neuregelung der ärztlichen Ausbildung. A. Problem und Ziel. Referentenentwurf. Berlin: Bundesministerium für Gesundheit; 2021. Zugänglich unter/available from: https://www.bundesgesundheitsministerium.de/fileadmin/Dateien/3_Downloads/Gesetze_und_Verordnungen/GuV/A/Referentenentwurf_AEApprO.pdf Externer Link
3.
Kitsis EA. Shining a Light on Shadowing. JAMA. 2011;305(10):1029-1030. DOI: 10.1001/jama.2011.267 Externer Link
4.
Artemeva N, Rachul C, O’Brien B, Varpio L. Situated Learning in Medical Education. Acad Med. 2017;92(1):134. DOI: 10.1097/ACM.0000000000001495 Externer Link
5.
Westfälische Wilhelms-Universität Münster. studienhospital münster. Medzinische Ausbildung und Qualifikation. Münster: Westfälische Wilhelms-Universität Münster. Zugänglich unter/available from: https://medicampus.uni-muenster.de/4046.html Externer Link
6.
Westfälische Wilhelms-Universität Münster. limette. Münster: Westfälische Wilhelms-Universität Münster. Zugänglich unter/available from: https://medicampus.uni-muenster.de/7489.html Externer Link
7.
Universitätsklinikum des Saarlandes. Wahlfach-HOM-KIT. Homburg: Universitätsklinikum des Saarlandes; 2022. Zugänglich unter/available from: https://www.uniklinikum-saarland.de/de/einrichtungen/kliniken_institute/medizinische_kliniken/innere_medizin_iv/lehre/wahlfach_hom_kit/ Externer Link
8.
Ruiz JG, Mintzer MJ, Leipzig RM. The Impact of E-Learning in Medical Education?: Academic Medicine. Acad Med. 2006;81(3):207-212. DOI: 10.1097/00001888-200603000-00002 Externer Link
9.
Fertleman C, Aubugeau-Williams P, Sher C, Lim AN, Lumley S, Delacroix S, Pan X. A Discussion of Virtual Reality As a New Tool for Training Healthcare Professionals. Front Public Health. 2018;6:44. DOI: 10.3389/fpubh.2018.00044 Externer Link
10.
Pottle J. Virtual reality and the transformation of medical education. Future Healthc J. 2019;6(3):181-185. DOI: 10.7861/fhj.2019-0036 Externer Link
11.
Slater M. Place illusion and plausibility can lead to realistic behaviour in immersive virtual environments. Philos Trans R Soc Lond B Biol Sci. 2009;364(1535):3549-3557. DOI: 10.1098/rstb.2009.0138 Externer Link
12.
ten Cate O. Entrustability of professional activities and competency-based training. Med Educ. 2005;39(12):1176-1177. DOI: 10.1111/j.1365-2929.2005.02341.x Externer Link