gms | German Medical Science

Im Rahmen des Medizinstudiums gewinnt die Lehre und Überprüfung kommunikativer Kompetenzen zunehmend an Relevanz. Der „Masterplan Medizinstudium 2020“ betont die Bedeutung entsprechender Ausbildung im Rahmen des Medizinstudiums aktuell erneut [4]. Auch international ist die Ausbildung kommunikativer Kompetenzen ein wesentlicher Teil der medizinischen Ausbildung [5], [6]. Hinsichtlich der praktizierten Formen von Lehre und Prüfung im Bereich kommunikative ärztliche Kompetenz konnten Härtl et al. [1] in ihrer Umfrage bezogen auf Hochschulen im deutschsprachigen Raum ermitteln, dass sich in 70% der Studiengänge die Lehrenden an Modellen oder Lernzielkatalogen orientieren. Das Konstrukt ärztliche kommunikative Kompetenz gilt dabei als komplex und vielschichtig [7], [8]. Die Übersichtsarbeit [1] für den deutschsprachigen Raum sowie eine solche von Laidlaw et al. [9] für Großbritannien zeigen zudem hinsichtlich der Prüfungsformen auf, dass die Überprüfung kommunikativer Kompetenzen vor allem in Form der praktischen Prüfungsform OSCE (Objective Structured Clinical Examination) erfolgt. Im deutschsprachigen Raum ist die schriftliche Prüfung zudem die zweithäufigste Form. Auch in anderen Ländern wie Australien, Kanada und den USA zeigt sich, dass neben dem Einsatz von klassischen schriftlichen Prüfungen die Prüfungsform OSCE Anwendung findet [10], [11], [12]. Bei der OSCE wird anhand simulierter Situationen an mehreren Prüfungsstationen teilweise unter Einsatz von Simulationspatienten die Kompetenz der Studierenden meist anhand von Checklisten durch die Prüfer eingeschätzt. Bei einem Vergleich schriftlicher Prüfungsformen mit der OSCE besteht der Vorteil einer OSCE in dem hohen Praxisbezug und der Möglichkeit einer Leistungsprüfung auf verhaltensbezogener Ebene [13]. Demgegenüber bewegen sich schriftliche Prüfungen auf der kognitiven Ebene, die sich in Faktenwissen und Handlungswissen gliedern lässt [13]. Diese Ebene ist beispielsweise über Single/Multiple Choice Fragen, Key-Feature Konzepte (Treffen kritischer Entscheidungen) bzw. Situational Judgement Tests prüfbar [2], [14], [15], [16]. Bei einem Situational Judgement Test werden schriftlich oder videobasiert Szenarien aus der Berufspraxis präsentiert, zu denen sich im Rahmen von Prüfungsfragen für eine Handlungsoption entschieden werden soll. Das Antwortformat kann unterschiedlich ausgestaltet werden. Die internen Konsistenzen sind dabei zumeist auf einem guten Niveau [2]. In der medizinischen Ausbildung kamen Situational Judgment Tests bereits zum Einsatz [15]. In Bezug auf die Ökonomie bedeutet die Durchführung einer OSCE einen hohen Zeitaufwand und gestaltet sich auch sehr ressourcenintensiv hinsichtlich finanzieller und personeller Aspekte. Die Reliabilität und Inhaltsvalidität einer OSCE wird maßgeblich von der Anzahl der Stationen bestimmt [17], wodurch der Aufwand immens und oft in der anzustrebenden Form institutionell nicht leistbar ist. Die Bewertung durch verschiedene Prüfer kann unterschiedlich ausfallen, womit die Interrater-Reliabilität und damit die Objektivität in einigen Fällen unzureichend ausfällt [17]. Eine schriftliche Prüfung wie der Situational Judgement Test kann hingegen durch die Standardisierung von Fragen und Auswertung sowie mehr Fragen in der Regel eine höhere Objektivität und Reliabilität erzielen.

Die dargelegten Vor- und Nachteile der beiden häufigsten Prüfungsformen ärztlicher kommunikativer Kompetenz führten zu der Frage nach alternativen Prüfungsformen, die sowohl der Relevanz eines hohen Praxisbezugs als auch den Anforderungen an ein ressourcenschonendes Vorgehen und eine hohe Testgüte Rechnung tragen. Der Einsatz digitaler Formate mit Videos erscheint im Themenfeld kommunikativer Kompetenzen optimal, um mit hohem Praxisbezug und bei hohen Studierendenanzahlen fallbasiert prüfen zu können. Es entspricht studentischen Rückmeldungen aus dem Unterricht, dass in Videos dargestellte Arzt-Patient-Gespräche in ihrer Darstellung sehr viel näher an eine reale Situation heranreichen als nur schriftlich formulierte Fallvignetten, bei denen z.B. Bild, Ton, Mimik und Gestik komplett fehlen. Studierende können sich so ggf. besser in die Rolle des Arztes hineinversetzen und „erleben“ die Situation auch eher als bei rein schriftlichen Prüfungen. Zudem bietet sich die Möglichkeit der Einbindung von Fragen und Videos in Prüfungssoftware, wodurch die Prüfung ökonomisch und objektiv gestaltet werden kann. Ein Einsatz digitaler Formate im Bereich der Lehre ärztlicher kommunikativer Kompetenzen ist zum Zeitpunkt des Projektbeginns 2017 im deutschsprachigen Raum den Autoren hauptsächlich in Bezug auf videogestützte Übungen zum Erlernen [18] kommunikativer Kompetenzen bekannt. Für den Bereich der Prüfungen ergibt sich lediglich bei Härtl et al. [1] ein Hinweis darauf, dass an zwei Universitäten Videos in Prüfungen bereits zum Einsatz kamen. International konnten mehrere relevante Studien recherchiert werden, die sich mit der Entwicklung und Erprobung videobasierter Prüfungen zur Messung ärztlicher kommunikativer Kompetenzen befassen [8], [19], [20]. An den Universitäten der vorgenannten Studien kam jeweils eine sogenannte OSVE (Objective Structured Video Exam) zum Einsatz, bei der die Studierenden Aufgaben (u.a. Fragen im Short-Essay Format, Benennung von kommunikativen Fertigkeiten) in Bezug auf Videos zu Arzt-Patient-Gesprächen bearbeiten mussten. Bei Humphris und Kaney [19] ergab sich eine Korrelation von r=.17 zwischen OSVE und OSCE.

Der dargestellte Mangel an ressourcenschonenden kompetenzorientierten Prüfungen mit hohem Praxisbezug leitete uns somit zu der Idee erstmalig für den deutschsprachigen Raum eine videobasierte Prüfung von Fakten- und Handlungswissen als Bestandteile kommunikativer Kompetenzen im Medizinstudium zu entwickeln, zu erproben und wissenschaftlich zu untersuchen. Die Prüfung sollte dabei als digitale Variante einer OSCE angelegt werden. In einer ersten Studienphase sollte die videobasierte Prüfung mit Aufgaben im Sinne eines Situational Judgement Tests als bestehensrelevante Prüfung (Video-based Single-Choice Examination, VSE) ausgestaltet werden. Wir gehen davon aus, dass die VSE aufgrund oben ausgeführter Gründe einen höheren Praxisbezug als rein schriftliche Prüfungen erzielen kann (u. a. eingeschätzt durch die Studierenden), sich als ökonomisch erweist und eine hohe Durchführungs- und Auswertungsobjektivität (durch Softwaresteuerung) erreicht. Die hohe Ökonomie ist dadurch zu erwarten, dass zwar vermutlich zunächst ein hoher zeitlicher und finanzieller Aufwand für die Erstellung der Szenarien und die Produktion der Videos betrieben werden muss, dann aber mutmaßlich ausreichend Material vorliegt, um kostengünstig in mehreren Semestern Studierende prüfen zu können. Gegenüber der OSCE könnte so ggf. ein hoher Zeitaufwand für Prüfer minimiert werden. Zudem wird angenommen, dass zwischen den Prüfungsleistungen der Studierenden in VSE und OSCE ein positiver Zusammenhang besteht (vgl. auch [19] sowie [21] mit r=.32 Korrelation von Key-Feature-Prüfung und OSCE). Die zugrundeliegenden Dimensionen der VSEs sollen untersucht werden, wobei es denkbar ist, dass sich die Konzeption der Prüfung entsprechend der beiden Aspekte „Faktenwissen“ und „Handlungswissen“ in einer zweifaktoriellen Lösung über alle inhaltlichen Themen hinweg widerspiegelt. Sollte sich eine solche Lösung ergeben, soll des Weiteren untersucht werden, ob die Fragen in der VSE auf der Ebene des Handlungswissens in einem höheren Zusammenhang mit den Ergebnissen der OSCE stehen als die Fragen auf der Ebene des Faktenwissens, da augenscheinlich Handlungswissen und die durchgeführte Handlung stärker miteinander zusammenzuhängen scheinen als Faktenwissen und die durchgeführte Handlung. Alle Prüfungen sollten durch die Studierenden evaluiert werden, um den Praxisbezug sowie die Frage nach Beibehaltung dieser Prüfungsform bewerten zu lassen.

Die VSE kam im Kursus II „Arzt-Patient-Kommunikation“ bei den Studierenden des Medizinstudiums im zweiten Semester an der Universitätsmedizin Mainz im SS 2018 erstmals zum Einsatz. Im WS 2018/19 absolvierten die Studierenden im zweiten Semester der nachfolgenden Kohorte im vorgenannten Kurs ebenfalls die VSE und darüber hinaus die OSCE. Im Vorfeld der Durchführung gab es in den Kursen Ausführungen zur genauen Ausgestaltung der Prüfungen mit einer Beispielaufgabe. Zudem gab es ein ausführliches Informationsblatt zum eigenständigen Nachlesen. Die VSEs wurden in den Räumlichkeiten des Zentrums für Datenverarbeitung der Universität Mainz zu Semesterende durchgeführt. Die technische Umsetzung erfolgte mit der Prüfungssoftware ILIAS. Bis auf vereinzelte Probleme mit der Tonwiedergabe und den Ladungszeiten der Videos, die jeweils schnell und gut behoben werden konnten, verlief die Durchführung der VSEs unproblematisch und reibungslos. Nach Prüfungsende wurde jeweils die Evaluation anhand von Paper-Pencil-Befragungen durchgeführt. Die höhere Rücklaufquote bei der Evaluation der VSE in der zweiten Kohorte ist vermutlich darauf zurückzuführen, dass die Prüfungsaufsichten aufgrund der Erfahrungen aus dem vorherigen Semester stärker auf die Evaluation hingewiesen und diese auch gezielt eingesammelt haben. Angaben zu Anzahl, Alter und Geschlecht der Studienteilnehmer sind in Tabelle 1 [Tab. 1] aufgeführt.

In der Entwicklungsphase der VSE wurden angelehnt an die Inhalte der Prüfungen vergangener Jahre in einem ersten Schritt Kasuistiken und Dialoge zwischen Arzt und Patient entwickelt. Die Dialoge beinhalten die wesentlichen theoretischen Konzepte, die Studierende in der Praxis anwenden können sollen (u.a. Calgary-Cambrigde Schema [22], NURSE-Modell [23], Gesprächsführungstechniken wie aktives Zuhören [24], Prinzip der Partizipativen Entscheidungsfindung [25], SPIKES-Protokoll [26]). Die Szenarien beziehen sich auf folgende Erfordernisse: Medikamentencompliance prüfen und fördern, Anamnesegespräch führen, Krebsdiagnose nach SPIKES-Protokoll mitteilen, Visitengespräch führen, mit Patient Therapie bei Hypertonie nach dem Prinzip der Partizipativen Entscheidungsfindung absprechen, bei Patientin mit Adipositas eine Verhaltensänderung herbeiführen, eine Analyse der Stressreaktion vornehmen und Informationen vermitteln. Die erstellten Dialoge wurden von Kursdozenten überprüft und überarbeitet. Zur Gewährleistung der Authentizität erfolgte zudem eine Expertenbefragung (u.a. Allgemeinmediziner und Psychologen). Die Experten wurden danach ausgewählt, dass sie über praktische Erfahrungen im Berufsalltag verfügen, teilweise zusätzlich selbst lehren oder in einem Fall bereits an der Entwicklung einer früheren OSCE beteiligt waren. Die Experten gaben schriftlich (orientiert an gestellten Fragen, beispielsweise Bitte um Einschätzung der Glaubwürdigkeit von Setting, Krankengeschichte, Gesprächsablauf, Patientendarstellung u.s.w.) ihre Rückmeldung zu den Dialogen ab, die qualitativ ausgewertet und auf deren Basis die Dialoge entsprechend überarbeitet wurden.

Die Produktion der Videos wurde in Zusammenarbeit mit dem Medienzentrum (Universität Mainz) und der Lernklinik (Universitätsmedizin Mainz) realisiert. Simulationspatienten sowie ein Allgemeinmediziner übernahmen die Rollen. In der Bearbeitung des Drehmaterials wurde ein Split-Screen-Verfahren umgesetzt (jeweils Totale und Frontalaufnahmen), damit Hilfestellungen durch Perspektivwechsel vermieden werden können. Entsprechend der Erfahrungen von Hoppe-Seyler et al. [27], wie bedeutsam die von Studierenden eingeschätzte Glaubwürdigkeit der dargestellten Szenen ist, erfolgte im Vorfeld der Hauptdreharbeiten eine Probeproduktion zu einer Szene, welche von acht Studierenden (über einen E-Mailverteiler von Medizinstudierenden verschiedener Semester) evaluiert wurde. Arztrolle (63%), Patientenrolle (75%), Praxis (88%) und Interaktion (88%) wurden dabei von der Mehrzahl als authentisch eingeschätzt.

Die auf die Prüfungsvideos bezogenen Prüfungsfragen wurden im Single-Choice Format mit jeweils fünf Antwortmöglichkeiten und unter Bezugnahme vorhandener Prüfungsfragen videoangepasst entwickelt. In den Aufgaben wird entweder Faktenwissen zu der dargestellten Sequenz abgefragt oder eine Handlungsentscheidung/Auswahl einer geeigneten Formulierung im Sinne eines Situational Judgement Tests eingefordert. Dieses Vorgehen sollte der Kurskonzeption mit theoretischen und praktischen Inhalten Rechnung tragen. Zudem wurde entschieden die vielfältigen Themenfelder, die im Kursus behandelt werden, in ihrer Bandbreite abzufragen und nicht eine Eingrenzung auf bestimmte Themen vorzunehmen. In der ersten Prüfung wurde der Schwerpunkt etwas mehr auf Fakten- und in der zweiten Prüfung etwas mehr auf Handlungswissen gelegt (Aufteilung in Fakten- und Handlungswissen siehe Tabelle 2 [Tab. 2]). Die Fragen wurden von Kursdozenten überprüft und überarbeitet.

Die Prüfungsaufgaben waren im folgenden Stil gehalten: Im Video wird der Fall eines 50-jährigen Patienten gezeigt, bei dem eine Hypertonie diagnostiziert wurde und bei dem nach dem Prinzip der Partizipativen Entscheidungsfindung eine Behandlungsentscheidung getroffen werden soll. Im Video ist zu sehen, wie die Ärztin dem Patienten mitteilt, dass es ihr wichtig sei gemeinsam mit ihm eine Entscheidung über die Behandlungsschritte zu treffen und der Patient teilt mit, dass er dies begrüße. Die sich daran anschließende Aufgabe lautet „Ärztin und Patient haben nun eine Gleichberechtigung hinsichtlich der Entscheidung ausgesprochen. Bei der Umsetzung der Partizipativen Entscheidungsfindung im Arzt-Patient-Gespräch ist eine Reihenfolge bestimmter Schritte zu berücksichtigen.

Welcher Schritt folgt nun nach dem Modell der Partizipativen Entscheidungsfindung?“ Und die fünf Antwortmöglichkeiten sind „Mitteilen, dass eine Entscheidung ansteht“, „über Wahlmöglichkeiten informieren“ (richtige Antwort), „Information über Vor- und Nachteile der Optionen geben“, „Verständnis, Gedanken und Erwartungen erfragen“ und „Präferenzen ermitteln“.

Die Auswertung erfolgte über eine Dichotomisierung der fünf Antwortmöglichkeiten („richtig“/„falsch“) mit nachfolgender Ermittlung eines Summenwertes. Entsprechend der weiter unten berichteten Ergebnisse der Hauptachsenanalyse wurden fünf Items aus dem SS18 im WS18/19 erneut eingesetzt.

Die OSCE wurde entsprechend langjähriger Erfahrungen mit einer Kommunikations-OSCE in Mainz [3] anhand bereits fünf entwickelter Stationen (Stationen zu den Oberthemen Anamnese, Analyse der Stressreaktion, Compliance überprüfen und fördern, Partizipative Entscheidungsfindung und Mitteilung einer Krebsdiagnose nach SPIKES-Protokoll) geprüft. Anhand von dazu passenden, ebenfalls bereits entwickelten und erprobten Checklisten wurden die Leistungen der Studierenden von insgesamt 11 Prüfern über drei Prüfungstage hinweg beurteilt. Die Checklisten bezogen sich sowohl auf die spezifischen Inhalte der Stationen als auch auf Aspekte der Gesprächsführung wie Empathie, aktives Zuhören, Blickkontakt und offene Körperposition (Item z.B. „nahm offene Körperposition ein“). Die Inhalte decken sich damit in den wesentlichen Themen mit den Inhalten der VSEs, wobei bei diesen noch weitere Themen sowie mehr theoretisches Wissen hinzugenommen wurden. Die Bewertung der Leistungen erfolgte über eine vorab festgelegte Gewichtung der Aspekte der Checklisten, wobei für jede Station max. 7 Punkte und somit insgesamt max. 35 Punkte erzielt werden konnten (absolute Bestehensgrenze 60%).

Die internen Konsistenzen der Prüfungen wurden jeweils mit Cronbachs α ermittelt. Anhand des Rangkorrelationskoeffizienten von Spearman wurden die Zusammenhänge zwischen den Leistungen der Studierenden in den Prüfungen VSE und OSCE betrachtet. Kolmogorov-Smirnov-Tests wurden zur Prüfung der Normalverteilung der Variablen eingesetzt. Mit den Aufgaben der VSEs beider Semester wurde jeweils eine iterative Hauptachsenanalyse durchgeführt. Da es sich bei den betrachteten Items um dichotome Variablen handelt, die zusätzlich Itemschwierigkeiten von teilweise sehr gering oder sehr hoch zeigen (vgl. Abschnitt Ergebnisse und Tabelle 2 [Tab. 2]) und somit ungleiche Randsummenverteilungen vorliegen, wurden Odds Ratios zwischen allen Items berechnet. Odds Ratios weisen Werte zwischen Null und Unendlich auf und wurden daher anhand der von Yules vorgeschlagenen Formel auf Werte zwischen -1 bis +1 transformiert. Die transformierten Odds Ratios bilden die Matrix, auf der die iterative Hauptachsenanalyse beruht. Es wurde Yules Y mit der Formel Y=(√OR-1)/(√OR+1) verwendet [28], [29], [30].

Die Itemcharakteristiken für die beiden VSEs sind in Tabelle 2 [Tab. 2] aufgeführt. Die Mehrzahl der Items wurde von den meisten Studierenden richtig beantwortet (M=.75 SS18 und M=.80 WS18/19 über alle Mittelwerte). Die Trennschärfen der Items der VSEs liegen in einem Bereich von -.04 bis .44.

Für das Extrahieren der Anzahl relevanter Faktoren wurden die Kriterien von Rost und Schermer [31] herangezogen. Im SS18 ergaben sich 13 Eigenwerte größer 1, wobei anhand des Screeplots nur ein einziger Faktor sinnvoll erschien. In diesem Faktor wurden nur Variablen belassen, die eine Kommunalität von h²≥.16 aufweisen und für deren Absolutbetrag a≥.40 gilt (vgl. Tabelle 3 [Tab. 3]). Die verbleibenden 8 Items sind in dieser Form kaum eindeutig auf nur einen inhaltlichen Aspekt zu reduzieren. Der inhaltlichen Plausibilität vor der mathematischen Lösung Vorrang einräumend, ergibt allerdings eine Zusammenführung von 5 Items (Item 4, 11, 13, 16, 19) eine deutlich passendere inhaltliche Ausrichtung unter dem Aspekt „patientenorientiertes, einfühlsames Agieren und Verstehen anhand der Situation des Patienten und der Gesprächsinhalte“ (Cronbachs α=.62, N=226). Im WS18/19 ergab sich bei 12 Eigenwerten über 1 ebenfalls nur 1 Faktor anhand des Screeplots, wobei 14 Items nach Anwendung der Kriterien verbleiben. Hier können 10 der 14 Items ebenfalls dem vorgenannten Thema zugeordnet werden (3, 5, 7, 9, 12, 23, 24, 25, 26, 30; Cronbachs α=.60, N=193). Vier weitere Items weisen inhaltlich Überschneidungen mit dem Thema, aber auch mit anderen Themen auf, sodass sie nicht eindeutig dem Faktor zugeordnet werden können. Insgesamt ist anzumerken, dass die vorgenommenen Zuordnungen bzw. Trennungen unter Beachtung der Inhalte jeweils aller Items nicht vollständig und bis zuletzt scharf sind. Von den 5 Items aus dem SS18 laden 4 Items erneut auf dem Faktor im WS18/19 (Items 23-26 WS18/19).

Die interne Konsistenz der VSE im SS18 lag bei einem Cronbach-Alpha-Koeffizienten von α=.55 (N=226) und im WS18/19 bei α=.62 (N=193). Für die OSCE ergab sich eine interne Konsistenz von α=.60 (N=195).

Der Median der VSE im SS18 lag bei Mdn=23, IQR=3 für N=226, der VSE im WS18/19 bei Mdn=25, IQR=3 für N=192 und für die OSCE bei Mdn=26.25, IQR=2.75 für ebenfalls N=192. Der Rangkorrelationskoeffizient nach Spearman in Bezug auf VSE und OSCE im WS18/19 lag bei r=.21 (p≤.01). Die beiden Variablen sind nicht normalverteilt (Kolmogorov-Smirnov-Test OSCE D(192)=.09 und VSE WS18/19 D(192)=.15, jeweils p≤.01). Eine zusätzliche Betrachtung des Zusammenhangs der Items ausschließlich zu Handlungswissen der VSE und dem OSCE Ergebnis ergibt des Weiteren einen Rangkorrelationskoeffizient nach Spearman von r=.25 (p≤.01). Die Variable Handlungswissen ist ebenfalls nicht normalverteilt (Kolmogorov-Smirnov-Test: D(192)=.19, p≤.01).

Die Ergebnisse der Evaluation der VSEs werden in Tabelle 4 [Tab. 4] dargestellt, wobei sich die Studierenden mehrheitlich für eine Fortführung der VSE aussprechen und den Praxisbezug als relativ hoch bewerten. Da die OSCE bereits im Vorfeld erprobt und evaluiert war, soll hier nur in Kürze berichtet werden, dass diese auch im WS18/19 mit einer Gesamtnote von Mdn=2, IQR=1 als „gut“ bewertet wurde (N=145).

Das Ziel der erstmaligen Entwicklung und Erprobung einer videobasierten E-Klausur zur Prüfung von Fakten- und Handlungswissen als Bestandteile kommunikativer Kompetenz von Medizinstudierenden im deutschsprachigen Raum konnten wir realisieren. Die Durchführung mit ihrer hohen Komplexität der technischen Abläufe verlief erfreulicherweise nahezu reibungslos. Es ergab sich wie erwartet ein Zusammenhang von Videoklausurergebnis mit der praktischen Prüfung OSCE, der allerdings faktisch gering ausfiel. Eine Betrachtung des Zusammenhangs allein der Items zu Handlungswissen der VSE (nach theoretischer Konzeption) und der OSCE fiel in der Höhe nahezu identisch aus, wobei zu vermuten ist, dass die höhere Bandbreite der Themen in der VSE gegenüber der OSCE dieses Ergebnis erklären kann. Mutmaßlich überdeckt die Themenvielfalt der VSE die Einordnung nach Kompetenzebenen (siehe dazu auch noch Ausführungen weiter unten). Es ist darüber hinaus in Bezug auf die eingangs dargestellte Komplexität des Konstrukts kommunikative Kompetenz und der dargestellten Kompetenzebenen anzunehmen, dass neben Unterschieden in der Themenvielfalt auch noch andere Bereiche bzw. andere Kompetenzebenen (neben Fakten- und Handlungswissen) von kommunikativer Kompetenz in der OSCE erfasst werden. Dies spiegelt sich mutmaßlich ebenfalls in der Höhe der Korrelation wider. Den praktischen Bezug der Prüfung durch den Einsatz von Videos schätzten die Studierenden wie erwartet mehrheitlich höher ein als bei rein schriftlichen Prüfungen und die Arzt-Patient-Gespräche wurden als praxisnah erlebt. Insgesamt legen diese Ergebnisse nahe, dass der angestrebte höhere Praxisbezug im Vergleich zu einer rein textbasierten Prüfung erreicht wurde. Kritisch ist dabei jedoch anzumerken, dass die Studierenden keine Erfahrungen mit einer rein schriftlichen Prüfungsform in diesem Themengebiet hatten und im 2. Semester auch noch wenig praktische Erfahrungen vorweisen können, weswegen ihr Urteil nur eingeschränkt aussagekräftig sein kann. Eine Befragung von Experten wäre zusätzlich zukünftig noch sinnvoll. Zudem muss berücksichtigt werden, dass ein Vergleich mit einer rein schriftlichen Prüfung aus Gründen der Zumutbarkeit hinsichtlich der Belastung für die Studierenden nicht noch zusätzlich realisiert wurde, dieser aber wichtig wäre, um eine höhere Praxisbezogenheit der VSE gegenüber rein schriftlichen Prüfungen zu untersuchen. Die VSE kann des Weiteren in dieser Form noch nicht ausreichend die OSCE wiedergeben.

Hinsichtlich der Testgüte der VSEs nehmen wir darüber hinaus an, dass die Durchführungs- und Auswertungsobjektivität wie erwartet als sehr gut bewertet werden kann, da die Aufgaben sowie die Gesprächssequenzen in diesem Prüfungsformat standardisiert sind und die Auswertung softwaregesteuert erfolgt. Die Objektivität kann daher mutmaßlich als höher im Vergleich zur OSCE eingeschätzt werden, bei der die Rater-Urteile teilweise eher wenig übereinstimmen [17]. Diese Einschätzung erfolgt allerdings auf Grundlage von Plausibilität und ist nicht durch Daten gedeckt.

Die internen Konsistenzen der beiden VSEs und der OSCE fielen gering aus, wobei entgegen der Erwartung die internen Konsistenzen der VSEs nicht oder kaum höher ausfielen als bei der OSCE. Zu interpretieren ist dieses Ergebnis auf Grundlage der jeweiligen Prüfungsinhalte. Die eingesetzte OSCE bestand aus fünf Stationen mit relativ eng umrissenen Themengebieten. Die VSEs ermöglichten hingegen durch ihr Design in höherem Maße die gesamte Bandbreite der Lerninhalte, inklusive theoretischer Konzepte, abzudecken (vgl. auch Constructive Alignment [32]). Es zeigte sich allerdings, dass bei Berücksichtigung der gesamten Kursinhalte 30 Items offenbar zu wenig sind, um eine hohe interne Konsistenz zu erzielen. Eine Erhöhung der internen Konsistenz der VSEs wäre somit über eine Erhöhung der Anzahl der Items zu den Themenfeldern oder wie bei der OSCE ebenfalls über eine Einschränkung auf weniger Themenfelder realisierbar. Letztendlich scheint es in Anlehnung an Schecker [33] auch eine prinzipielle Frage zu sein, ob bei der Konstruktion eines Tests der Schwerpunkt auf die Bandbreite oder die Spezifität gelegt wird. Er argumentiert nachvollziehbar, dass es für die Erzielung einer konsistenten Skala leichter sei, Items aus einem einzigen Kontext aufzunehmen, jedoch hinsichtlich der Fachdidaktik bei einem komplexen Themengebiet eine größere Bandbreite wünschenswerter wäre. In Bezug auf zukünftige videobasierte Prüfungen sollte diese Frage demnach erneut gestellt und diskutiert werden. Nach Schecker kann ein geringerer Wert der internen Konsistenz in der Höhe der beiden vorliegenden Werte der VSEs jedoch gut toleriert werden, wenn die fachdidaktische Entscheidung zugunsten der Bandbreite ausfällt.

An diesem Punkt soll auch auf die Ergebnisse der Untersuchung der Faktorenstruktur der VSEs eingegangen werden. Es ergibt sich bei beiden Prüfungen anhand der statistischen Ergebnisse allenfalls eine Tendenz hin zu einem Themenblock in Bezug auf Patientenorientierung und Empathie, wobei viele Items auch nicht zu diesem Faktor zählen und es inhaltlich insgesamt über alle Items gesehen Überschneidungen gibt. Betrachtet man die Kursinhalte, ist dieses Ergebnis allerdings gut nachvollziehbar. Einerseits berücksichtigen mehrere Modelle und Anwendungsfelder des Kursus die Themen Patientenorientierung und Empathie. Andererseits zeigt sich entsprechend der bereits erfolgten Darstellung von ärztlicher kommunikativer Kompetenz als komplex ausgestaltetem Konstrukt, dass unterschiedliches Hintergrundwissen sowie verschiedene Aspekte bei den Items einfließen. Es ist plausibel, dass sich manche Aspekte aufeinander beziehen oder in einer Aufgabenstellung gleichermaßen bedeutsam sind. Fügt man zudem die Ergebnisse zu den internen Konsistenzen mit den Ergebnissen der Hauptachsenanalyse zusammen, bestätigt sich das Bild mehrheitlich eher heterogener Items. Eine zweifaktorielle Lösung mit Faktenwissen und Handlungswissen ergab sich entsprechend der dargelegten Ergebnisse nicht. Es ist dabei anzunehmen, dass der Effekt mehrheitlich heterogener Themenfelder eine Zuordnung hinsichtlich verschiedener Kompetenzebenen überlagert. Die Beobachtung, dass in der VSE im WS18/19 deutlich mehr Items in bedeutsamer Höhe auf dem einen Faktor laden, ist vermutlich dahingehend zu erklären, dass sich die veränderte Schwerpunktsetzung der zweiten Klausur auf Handlungswissen bzw. Aufgaben zur Gesprächsführung und damit der Patientenorientierung/Empathie dadurch widerspiegelt. Es ist auch hinsichtlich dieses Punktes für zukünftige Klausuren kritisch zu reflektieren, ob eine Schwerpunktsetzung auf diesen Themenbereich gewünscht wird. Insgesamt ist davon auszugehen, dass die VSEs die Lerninhalte des Kursus abbilden und dabei verschiedene Aspekte kommunikativer Kompetenz (wie Empathie ausdrücken, Informierung, Strukturierung, Anwendung von SPIKES-Protokoll u.s.w.) als entsprechend komplexes Konstrukt abdecken.

Die statistischen Kennwerte zeigen des Weiteren auf, dass die VSEs insgesamt eher leicht waren und die Items eine niedrige Trennschärfe aufweisen. Ein Ziel für zukünftige Klausuren dieser Art wird es daher sein, die Schwierigkeit zu erhöhen, um auch eine bessere Differenzierung in der Kompetenzbewertung vornehmen zu können.

Von den Studierenden wurde die neue Prüfungsform gut angenommen. Die Mehrzahl der Studierenden sprach sich für eine Fortsetzung des Einsatzes aus. Dabei muss jedoch angemerkt werden, dass die Gründe hierfür nicht erfasst wurden und es beispielsweise möglich ist, dass sich die Studierenden aufgrund einer geringeren Belastung bei der VSE gegenüber der OSCE für eine Beibehaltung ausgesprochen haben. Dies sollte nochmals überprüft werden.

Während die Entwicklung der VSE zunächst wie erwartet ressourcenintensiv war, steht aufgrund einer großen Menge an produzierten Videos für eine Vielzahl an zukünftigen Klausuren nun Prüfungsmaterial zur Verfügung. Dadurch kann mit einer VSE unserer Einschätzung und Erfahrung nach ressourcenschonender als mit einer OSCE die Leistung der Studierenden überprüft werden (Aussage ist allerdings nicht durch Daten untermauert).

Abschließend lässt sich für die Praxis ableiten, dass, wenn es notwendig oder erwünscht ist eine Prüfung auf Basis der direkt beobachtbaren Handlungsebene durchzuführen, die OSCE immer noch den Verhältnissen im realen Arzt-Patient-Gespräch am nächsten kommt. Genügt eine Prüfung mit inhaltlicher Annäherung an die konkrete Praxis mit dennoch anzunehmendem höherem Praxisbezug als bei rein schriftlichen Prüfungen, könnte eine videobasierte Prüfung eine passende Prüfungsform sein, die mittel- und langfristig ressourcenschonender als eine OSCE ist sowie zudem vermutlich eine höhere Objektivität erzielen kann. Allerdings beruhen diese Schlussfolgerungen teilweise auf Plausibilität (wie Ressourcenaufwand und Objektivität) und sind nicht durch Daten untermauert. Die interne Konsistenz ist für beide Prüfungen des Weiteren über die Themenbandbreite und Anzahl der Items bzw. Stationen beeinflussbar, wobei eine Erhöhung der internen Konsistenz bei der VSE leichter umsetzbar erscheint als bei der OSCE. Dies bedeutet auch, dass mit einer VSE leichter mehr Lernziele umfassend abgebildet werden können.

Die neu konzipierte videobasierte E-Prüfung stellt somit je nach Bedarf und gestellten Anforderungen trotz genannter Limitationen insgesamt ein vielversprechendes Instrument im Bereich der Überprüfung bestimmter Aspekte kommunikativer Kompetenzen von Medizinstudierenden dar. Voraussetzungen für den weiteren Einsatz sind allerdings insbesondere eine Verbesserung der Schwierigkeit der Items, eine erneute kritische Reflektion der Frage nach der Höhe der internen Konsistenz und ein noch ausstehender direkter Vergleich mit einer rein schriftlichen Prüfung. Zudem erscheinen weitere Erfahrungen und Untersuchungen an anderen Hochschulen sowie die Entwicklung und Erprobung modifizierter Konzepte vor dem Hintergrund der genannten Limitationen notwendig und erstrebenswert.

Bei den dargestellten Hypothesen und Ergebnissen handelt es sich um Inhalte aus der Dissertationsarbeit von Frau Stephanie Ludwig.

Wir bedanken uns vielmals beim BMBF für die Förderung des Projekts. Darüber hinaus danken wir herzlich Frau Prof. Wermuth, Herrn Prof. Hardt, Herrn Prof. Beutel, Herrn Dr. Schappert, Herrn Dr. Ditter, Herrn Dr. Seifert, allen Prüfern, Simulationspatienten, wissenschaftlichen Hilfskräften, der Lernklinik mit Herrn Thomas Nowak, dem Medienzentrum, dem ZDV und weiteren Beteiligten für Ihre weitreichende Unterstützung bei der Umsetzung unseres Projekts.

Diese Arbeit wurde durch das Bundesministerium für Bildung und Forschung unter dem Förderkennzeichen (grant number) 16DHL1032 unterstützt.

Name des Standorts: Universitätsmedizin Mainz

Studienfach/Berufsgruppe: Humanmedizin

Anzahl der Lernenden pro Semester: ca. 200

Ist ein longitudinales Kommunikationscurriculum implementiert? Aktuell läuft eine Pilotimplementierung im Rahmen des Projekts LONGKOM, [https://www.unimedizin-mainz.de/lernklinik/startseite/projekte/longkom-kommunikative-kompetenzen-von-aerztinnen-und-aerzten.html]

In welchen Semestern werden kommunikative und soziale Kompetenzen unterrichtet? 2. und 5. Semester, ggf. darüber hinaus, Erfassung derzeit im Rahmen des Projekts LONGKOM

Welche Unterrichtsformate kommen zum Einsatz? Rollenspiele, Simulationspatientengespräche, Vorlesung, Blended Learning, Beispielvideos

In welchen Semestern werden kommunikative und soziale Kompetenzen geprüft (formativ oder bestehensrelevant und/oder benotet)? 2., 5., 9. Semester

Welche Prüfungsformate kommen zum Einsatz? OSCE (bestehensrelevant), videobasierte Single-Choice-Prüfung (bestehensrelevant), videobasierte E-Übung (formativ), Essay-Klausur

Wer (z.B. Klinik, Institution) ist mit der Entwicklung und Umsetzung betraut? Klinik und Poliklinik für Psychosomatische Medizin und Psychotherapie, Schwerpunkt Medizinische Psychologie und Medizinische Soziologie, Rudolf Frey Lernklinik Mainz und Praxis Dr. B. Schappert Mainz

• Dipl.-Psych. Stephanie Ludwig: Wissenschaftliche Mitarbeiterin (Klinik und Poliklinik für Psychosomatische Medizin und Psychotherapie, Universitätsmedizin Mainz) im BMBF-geförderten Projekt „digiRole“; zudem tätig als approbierte Psychologische Psychotherapeutin.
• Lina Behling, M.A.: Lina Behling ist wissenschaftliche Mitarbeiterin am Zentrum für Qualitätssicherung und -entwicklung der Johannes Gutenberg-Universität Mainz.
• Univ.-Prof. Dr. Uwe Schmidt: Uwe Schmidt ist Professor für Hochschulforschung am Institut für Soziologie der Johannes Gutenberg-Universität Mainz und Leiter des Zentrums für Qualitätssicherung und -entwicklung. Seine Forschungsschwerpunkte liegen im Bereich der empirischen Hochschulforschung und Evaluationsforschung.
• Dr. rer. physiol. Dipl.-Psych. Sabine Fischbeck, MME: Wissenschaftliche Mitarbeiterin und Unterrichtsbeauftragte für das Fach Medizinische Psychologie und Medizinische Soziologie in Mainz, Master of Medical Education und Psychoonkologin.

Die Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben.