gms | German Medical Science

Die Durchführung von objektiven, strukturierten klinischen Prüfungen (Objective Structured Clinical Examinations, OSCEs) [1] hat sich als Standardmethode zur zuverlässigen Bewertung praktischer Fähigkeiten in der medizinischen Ausbildung etabliert [2], [3], [4], [5]. Bei einem OSCE werden die klinischen und kommunikativen Fähigkeiten der Studierenden geprüft, während sie mehrere Stationen absolvieren, bei denen sie jeweils ein bestimmtes medizinisches Problem bearbeiten müssen. Während eines OSCE wird ihre Leistung von den Prüfenden anhand standardisierter, strukturierter Checklisten beobachtet und bewertet.

Traditionell wurden Checklisten auf Papier verwendet, um die Kandidierenden während eines OSCE zu bewerten, während in jüngerer Zeit, mit dem Aufkommen mobiler elektronischer Geräte, elektronische OSCE-Checklisten entwickelt und erfolgreich eingesetzt wurden [6], [7], [8]. Elektronische OSCE-Checklisten werden in der Regel auf „Tablet“-Computern präsentiert, da diese flexibler sind als Laptops oder Desktop-Geräte [7]. Bislang gibt es jedoch nur wenige Studien, die elektronische und papierbasierte OSCE-Checklisten hinsichtlich ihrer Usability und dem von den Prüfenden bevorzugten Checklisten-Typ verglichen haben. Da die Prüfenden eine wichtige Interessengruppe und die Nutzer der Checklisten sind, ist es wichtig, wie sie die Usability wahrnehmen und welche Präferenzen sie haben. Nach Petersen [9] besteht das zugrundeliegende Konstrukt der Usability darin, „Objekte mit dem Benutzer kompatibel zu machen“. Bei den Objekten kann es sich um Hardware, Software oder alltägliche Hilfsmittel handeln. Ihr Design sollte die Erledigung der Aufgaben, für die sie entwickelt wurden, nicht behindern. Petersen beschreibt die Usability als die Frage, wie einfach ein Objekt zu benutzen ist und unterstreicht die Bedeutung der Qualität der erzeugten Ergebnisse, für die ein Objekt geschaffen wurde, um seine Usability zu bestimmen. OSCEs stellen eine hohe kognitive Belastung [10] für die Prüfenden dar. Die Prüfenden müssen gleichzeitig die Leistungen der Kandidierenden beobachten und bewerten, die entsprechenden Items in der OSCE-Checkliste finden, über die Anzahl der Punkte entscheiden, die die Kandidierenden für die verschiedenen Items der Checkliste erhalten und die OSCE-Checkliste handhaben. Papierbasierte OSCE-Checklisten können beispielsweise mehrere Seiten lang sein [6]. Außerdem sind die Prüfungszeiten in der Regel lang. In Anbetracht dieser Aspekte müssen die OSCE-Checklisten einfach zu handhaben sein und den Prüfenden eine effiziente und effektive Bewertung der Kandidierenden ermöglichen, um die kognitive Belastung nicht zu erhöhen und die Erfüllung der Aufgabe, für die sie erstellt wurden, nämlich die Bewertung der Leistung der Kandidierenden, nicht zu behindern. Es ist daher wichtig, dass sie die Prüfenden nicht von der Beobachtung und Bewertung der Leistung der Kandidierenden während der Prüfung ablenken. Schließlich ist auch die Qualität des Outputs ein wichtiger Aspekt im Zusammenhang mit der Usability [9]. Papierbasierte OSCE-Checklisten können spezifische Probleme hinsichtlich der Datenqualität aufweisen. Sie enthalten oft eine beträchtliche Anzahl von fehlenden Bewertungen, da Checklistenitems während einer Prüfung leicht übersehen werden, was eine zeitaufwändige manuelle Datenüberprüfung erforderlich macht [6]. Darüber hinaus müssen papierbasierte Checklisten in der Regel eingescannt werden, um die Ergebnisse in eine digitale Form zu übertragen, was ein notwendiger Schritt ist, um die Ergebnisse für die Analyse verfügbar zu machen. Die Verwendung elektronischer OSCE-Checklisten führt dagegen zu einer besseren Datenqualität, da fehlende Bewertungen vermieden werden können. Außerdem können die Daten direkt im Anschluss an die Prüfung elektronisch heruntergeladen und gespeichert werden, was die Aufbereitung der Daten für die Analyse im Vergleich zu papierbasierten OSCE-Checklisten weniger fehleranfällig und zeitaufwändig macht [6].

In einer systematischen Übersichtsarbeit aus dem Jahr 2019 [11] wurden drei Studien erwähnt, die die Wahrnehmung elektronischer OSCE-Checklisten durch die Prüfenden untersuchten, wobei jedoch nur zwei dieser Studien [6], [12] die wahrgenommene Usability von papierbasierten gegenüber elektronischen OSCE-Checklisten untersuchten. Zusammen mit den Studien von Hochlehnert et al. [7] und Currie et al. [8] deuten diese beiden Studien [6], [12] darauf hin, dass die wahrgenommene Usability der jeweils verwendeten elektronischen OSCE-Checklisten-Tools hoch war. An diesen Studien war jedoch nur eine kleine bis mittlere Anzahl von Prüfenden beteiligt (n=10 [6], n=35 und 33 [7], n=93 [8], n=43 [12]), die einer einzelnen Fakultät angehörten, wodurch die Generalisierbarkeit der Ergebnisse eingeschränkt ist. Wie oben beschrieben, sind fehlende Bewertungen ein kritisches Problem bei OSCE-Checklisten auf Papier. Bislang ist jedoch wenig über das Ausmaß dieses Problems bekannt. Unseres Wissens haben sich bisher nur drei Studien [6], [8], [13] mit diesem Problem befasst.

Unsere Forschungsfragen lauteten daher:

1.

Wie bewertet eine große Gruppe von Prüfenden aus fünf verschiedenen Fakultäten, die Erfahrung mit papierbasierten und elektronischen OSCE-Checklisten haben, die Usability von elektronischen gegenüber papierbasierten OSCE-Checklisten in einer nationalen Eignungsprüfung?

2.

Welcher Checklisten-Typ (elektronisch oder papierbasiert) wird von den Prüfenden einer nationalen Eignungsprüfung bevorzugt?

3.

Wie hoch ist die Anzahl der fehlenden Bewertungen bei papierbasierten OSCE-Checklisten?

Die Eidgenössische Clinical Skills-Prüfung Humanmedizin in der Schweiz (die sich an den Prinzipien einer OSCE-Prüfung orientiert) umfasste 2014 und 2015 jeweils 12 verschiedene OSCE-Stationen. Die Prüfung wurde an drei aufeinanderfolgenden Tagen an fünf Fakultäten für Humanmedizin in Basel, Bern, Genf, Lausanne und Zürich durchgeführt.

Die papierbasierten OSCE-Checklisten, die für die Prüfung 2014 verwendet wurden, wurden mit einem Teleform-Informationserfassungssystem (Cardiff Software) erstellt. Diese Checklisten mussten nach der Prüfung eingescannt werden (DR-6050 C Image Formula Scanner; Canon), um die Ergebnisse für die Analyse zur Verfügung zu stellen. Die papierbasierten OSCE-Checklisten enthielten zwischen 25 und 38 Items, was auf die unterschiedlichen Inhalte der einzelnen Stationen zurückzuführen war. Die Items waren immer nach denselben vier Dimensionen sortiert und zwar in folgender Reihenfolge:

1.

Anamnese,

2.

Status,

3.

Management,

4.

Kommunikation.

Die papierbasierten OSCE-Checklisten enthielten außerdem zwei globale Bewertungen für den Gesamteindruck. Am Anfang der papierbasierten OSCE-Checklisten befand sich zudem ein Erinnerungssatz, dass alle Punkte der Checkliste ausgefüllt werden müssen.

Die elektronischen OSCE-Checklisten wurden bei der Prüfung 2015 mit identischen iPad-Geräten der vierten Generation (2014, Apple) ausgefüllt. Für die Bewertung der Kandidierenden wurde die iPad-App „OSCE-Eval“ [https://eosce.ch/], Version 2.1, verwendet. Diese App enthält verschiedene Funktionen, um potenzielle Fehler zu reduzieren und sicherzustellen, dass die gesammelten Daten für spätere Analysen leicht verfügbar sind. Die Benutzer erhalten visuelles Feedback um sicherzustellen, dass jedes Item ausgefüllt wird. Jedes Item musste bewertet werden, um die Checkliste endgültig einzureichen. Nach der abschließenden Bewertung waren keine Änderungen mehr möglich. Die verschlüsselten Daten wurden mit einem sicheren Server synchronisiert und die Daten automatisch in eine elektronische Tabelle exportiert. Je nach den spezifischen Inhalten der Stationen enthielten die elektronischen OSCE-Checklisten zwischen 21 und 42 Items. Die Items waren nach denselben vier Dimensionen geordnet wie in der papierbasierten OSCE-Checkliste. Zusätzlich gab es in jeder Checkliste zwei globale Bewertungen für den Gesamteindruck (siehe Abbildung 1 [Abb. 1] und Abbildung 2 [Abb. 2] für Beispiele beider Checklisten-Typen). Die elektronischen Checklisten wurden nach den damaligen Usability-Standards entwickelt und es wurden erhebliche Anstrengungen unternommen, um ihre Akzeptanz während der Entwicklung iterativ zu überprüfen.

Bei der Einführung in die OSCE-Prüfung wurden die Prüfenden sowohl 2014 als auch 2015 kurz in die Verwendung der Checklisten und die Bewertung der Kandidierenden eingewiesen. Zusätzlich hatten die Prüfenden, die mit der elektronischen OSCE-Checkliste arbeiteten (im Jahr 2015), die Möglichkeit, sich vor der Prüfung ein spezielles, 6-minütiges Schulungsvideo anzusehen, um sich mit der Checkliste und der Software vertraut zu machen. Dabei handelte es sich um dasselbe Schulungsvideo, das auch von Schmitz et al. [6] verwendet wurde, welche berichteten, dass das Video verständlich und effektiv war.

Im Jahr 2014 bewerteten 696 Prüfende die Leistungen der Kandidierenden an den verschiedenen Stationen anhand der papierbasierten OSCE-Checkliste. Im Jahr 2015 bewerteten 696 Prüfende die Leistungen der Kandidierenden an den verschiedenen Stationen anhand der elektronischen OSCE-Checkliste. Alle Prüfenden wurden eingeladen, an der Umfrage teilzunehmen. Es wurden nur Daten von Prüfenden berücksichtigt, die mindestens einmal mit beiden Checklisten-Typen (papierbasiert und elektronisch) gearbeitet hatten, um einen Vergleich zwischen der elektronischen und der papierbasierten OSCE-Checkliste zu ermöglichen.

Die Prüfenden bewerteten den OSCE-Checklisten-Typ (d. h. papierbasiert im Jahr 2014, elektronisch im Jahr 2015), den sie zur Bewertung der Kandidierenden verwendet hatten, anhand eines Fragebogens (siehe Tabelle 1 [Tab. 1]). Der Fragebogen enthielt insgesamt 14 geschlossene Fragen: demographische Angaben (drei Fragen), Erfahrung mit Touchscreen-Geräten und den beiden verschiedenen OSCE-Checklisten-Typen (elektronisch, papierbasiert; drei Fragen), subjektive Usability (sieben Fragen) und zukünftige Präferenz für den Checklisten-Typ (eine Frage). Die Antworten basierten auf einer 7-stufigen Likert-Skala, die von 1 (trifft gar nicht zu) bis 7 (trifft voll zu) reichte.

Die Fragen zur Usability orientierten sich an der System Usability Scale [14]. Der Fragebogen enthielt jedoch nur sieben Fragen zur Usability, um den Aufwand für die Prüfenden zu reduzieren und sechs weitere Fragen, die sich auf die spezifischen Anforderungen in einer OSCE-Prüfungssituation beziehen (z. B. Fragen zur Geschwindigkeit der Bewertung der Kandidierenden, Ablenkung durch die Beobachtung der Kandidierenden, Geschwindigkeit der Korrektur von Eingabefehlern). Diese Fragen spiegeln zudem Usability-Aspekte im Sinne von Petersen [9] wider (Benutzerfreundlichkeit, keine Behinderung der Aufgabenerfüllung).

Der Fragebogen lag in deutscher und französischer Sprache vor. Um die Verständlichkeit der Fragen zu gewährleisten, wurden in beiden Sprachen Think-Alouds [15] mit drei Prüfenden durchgeführt. Bei jedem Think-Aloud wurden die Teilnehmenden gebeten, ihre Gedanken zu verbalisieren, während sie den Fragebogen bearbeiteten. Auf diese Weise konnten Unklarheiten und Missverständnisse aufgedeckt werden und es wurde sichergestellt, dass die Teilnehmenden die Fragen richtig verstanden. Der gleiche Fragebogen wurde 2014 und 2015 verwendet.

Um schließlich die Vollständigkeit der Daten zu ermitteln, wurde die Anzahl der fehlenden Bewertungen bei den papierbasierten Checklisten erfasst.

In beiden Jahren wurden alle Prüfenden innerhalb der ersten Woche nach der Prüfung eingeladen, den OSCE-Checklisten-Typ zu bewerten, mit dem sie während der Prüfung gearbeitet hatten (d. h. papierbasiert im Jahr 2014, elektronisch im Jahr 2015). Somit war ein Vergleich zwischen den beiden OSCE-Checklisten-Typen möglich. Im Jahr 2014 erhielten die Prüfenden den Fragebogen in Papierform direkt nach der Prüfung, im Jahr 2015 wurde der Fragebogen online mit dem Online-Umfragetool „Unipark“ [https://www.unipark.com/] umgesetzt und die Prüfenden wurden per E-Mail eingeladen. Diese Art von Studie war gemäss den Bestimmungen der Kantonalen Ethikkommission des Kantons Bern, welche mit der Medizinischen Fakultät der Universität Bern assoziiert ist, von einer formellen ethischen Genehmigung ausgenommen. Die Teilnahme an der Umfrage war freiwillig und anonym und die Teilnehmenden wurden durch die Teilnahme an dieser Studie keinen denkbaren Risiken ausgesetzt.

Die Häufigkeiten wurden analysiert um die demographischen Daten der Stichprobe darzustellen. Für Vergleiche zwischen der papierbasierten und der elektronischen OSCE-Checkliste wurden Mann-Whitney-Tests verwendet, da die Daten ordinalskaliert sind. Das Alpha-Niveau wurde gemäß Bonferroni für multiples Testen angepasst. Die Effektgröße wird durch Pearson's r angegeben, die Effektstärke wurde nach Cohen [16] beurteilt.

Im Jahr 2014 bewerteten 696 Prüfende die Leistungen der Kandidierenden an den verschiedenen Stationen anhand der papierbasierten OSCE-Checkliste. Davon füllten 540 (78%) den Fragebogen aus. Im Jahr 2015 bewerteten 696 Prüfende die Leistungen der Kandidierenden an den verschiedenen Stationen anhand der elektronischen OSCE-Checkliste. Hier lag die Rücklaufquote bei 58%, wobei 406 der 696 Prüfenden den Fragebogen ausfüllten.

Die Fragebogendatensätze von 35 (4%) Prüfenden wurden aufgrund fehlender Daten aus der Datenbank entfernt (2014: 19 Datensätze; 2015: 16 Datensätze). Alle Datensätze, die entfernt wurden, enthielten keine nützlichen Informationen, da diese Personen das Ausfüllen des Fragebogens nach der Sprachauswahl gleich zu Beginn des Fragebogens abbrachen. Die Datensätze von 911 (96%) Prüfenden wurden für die Analyse übernommen. Von diesen 911 Prüfenden gaben 377 (41%) an, dass sie mindestens einmal mit beiden Checklisten-Typen (papierbasiert und elektronisch) gearbeitet hatten. Darunter befanden sich Prüfende aus beiden Jahren, da Prüfende, die 2014 mit der papierbasierten OSCE-Checkliste arbeiteten, bereits bei anderen Prüfungen Erfahrungen mit elektronischen OSCE-Checklisten gemacht haben konnten. Nur die Antworten derjenigen Prüfenden, die Erfahrung mit beiden Checklisten-Typen hatten, wurden in die quantitative Analyse einbezogen. In Tabelle 2 [Tab. 2] sind die Erfahrungen der Prüfenden mit beiden Checklisten-Typen angegeben.

Die demographischen Daten der Prüfenden der endgültigen Stichprobe sind in Tabelle 2 [Tab. 2] dargestellt.

Die meisten Prüfenden aus beiden Jahren hatten große (M₂₀₁₄=6.21, M₂₀₁₅=6.08; Skala: 1=„überhaupt nicht vertraut“, bis 7=„sehr vertraut“) und vergleichbare Erfahrung mit der Verwendung von Touchscreens (U=13933,5, n.s.). Daher ist es unwahrscheinlich, dass die Bewertungen der Prüfenden und die Präferenzen für den Checklisten-Typ (d. h. papierbasiert vs. elektronisch) durch ihre vorherige Erfahrung mit Touchscreen-Geräten beeinflusst wurden.

Mann-Whitney-Tests ergaben, dass sich die meisten Bewertungen der Usability durch die Prüfenden zwischen den elektronischen und den papierbasierten OSCE-Checklisten signifikant unterschieden (siehe Tabelle 3 [Tab. 3]). Das Bonferroni-korrigierte Alpha-Niveau für die sieben im Folgenden beschriebenen Vergleiche betrug .007. Die elektronische OSCE-Checkliste wurde als signifikant einfacher zu benutzen (U=9799.5, p<0.007, r=.33) und übersichtlicher (U=11441.5, p<0.007, r=.21) als die papierbasierte OSCE-Checkliste bewertet. Die elektronische OSCE-Checkliste schnitt auch bei der Geschwindigkeit der Bewertung der Kandidierenden (U=11408, p<0.007, r=.20) und der Korrektur von Eingabefehlern (U=7766.5, p<0.007, r=.41) signifikant besser ab. Außerdem wurde das Ausfüllen der elektronischen OSCE-Checkliste als signifikant weniger ablenkend empfunden als das Ausfüllen der papierbasierten OSCE-Checkliste (U=11673, p<0.007, r=.18). Die Geschwindigkeit, mit der Kommentare geschrieben werden konnten, wurde zwischen den beiden Checklisten-Typen nicht als unterschiedlich bewertet (U=12554, p=0.035, n.s., r=.11). Auch die Gesamtzufriedenheit der Prüfenden war bei der elektronischen OSCE-Checkliste signifikant höher als bei der papierbasierten (U=7499, p<0.007, r=.42) (siehe Tabelle 4 [Tab. 4]). Die Effektstärken nach Cohen [16] waren entweder mittel (zwischen 0.3 und 0.5) oder gering (zwischen 0.1 und 0.3). Insgesamt erhielt die elektronische OSCE-Checkliste höhere Usability-Bewertungen als die papierbasierte OSCE-Checkliste.

Am Ende des Fragebogens wurden die Prüfenden aus den Jahren 2014 und 2015, die Erfahrungen sowohl mit elektronischen als auch mit papierbasierten OSCE-Checklisten angegeben hatten, gefragt, ob sie in Zukunft lieber mit elektronischen oder papierbasierten OSCE-Checklisten arbeiten würden (siehe Tabelle 4 [Tab. 4]). In beiden Jahren bevorzugte die Mehrheit dieser Prüfenden, die Erfahrungen sowohl mit elektronischen als auch mit papierbasierten OSCE-Checklisten gemacht hatten, das elektronische Format.

Die Anzahl der fehlenden Bewertungen in den papierbasierten Checklisten wurde erfasst (siehe Tabelle 5 [Tab. 5]). In 1428 (14.2%) aller papierbasierten Checklisten wurden Bewertungen ausgelassen. Diese Checklisten enthielten zwischen 1 und 12 fehlende Bewertungen (M=1.45, SD=1.03). In der Mehrheit dieser Checklisten wurde eine Bewertung ausgelassen.

In dieser Studie, die eine große Stichprobe von Prüfenden mit Erfahrung mit elektronischen und papierbasierten OSCE-Checklisten aus fünf verschiedenen Fakultäten im Rahmen der Eidgenössische Clinical Skills-Prüfung Humanmedizin in der Schweiz über zwei aufeinanderfolgende Jahre umfasste, war die wahrgenommene Usability bei der elektronischen OSCE-Checkliste in allen Aspekten signifikant höher als bei der papierbasierten, mit Ausnahme der Geschwindigkeit beim Verfassen von Kommentaren, bei welcher kein signifikanter Unterschied festgestellt wurde. Außerdem bevorzugte es die überwiegende Mehrheit der Prüfenden, in Zukunft mit der elektronischen OSCE-Checkliste zu arbeiten. Schließlich gab es in 14.2% aller papierbasierten Checklisten fehlende Bewertungen, während es in den elektronischen Checklisten keine gab (in der elektronischen Checkliste mussten alle Items ausgefüllt werden).

Wir konnten in dieser Studie in einem großen Datensatz von Prüfenden aus fünf verschiedenen Fakultäten der Eidgenössischen Clinical Skills-Prüfung zeigen, dass elektronische OSCE-Checklisten eine höhere wahrgenommene Usability aufweisen, als papierbasierte Checklisten. Bislang wurde die Usability elektronischer OSCE-Checklisten nur in Studien mit einer meist kleinen bis mittleren Anzahl von Prüfenden untersucht [6], [7], [8], [12]. Angesichts der hohen kognitiven Belastung [10], der die Prüfenden während eines OSCE ausgesetzt sind, ist die Usability des OSCE-Checklisten-Typs zur Bewertung der Kandidierenden von wesentlicher Bedeutung. Die Prüfenden in dieser Studie waren insgesamt zufriedener mit der elektronischen OSCE-Checkliste als mit der papierbasierten. Sie empfanden die elektronische OSCE-Checkliste im Vergleich zur papierbasierten OSCE-Checkliste als übersichtlicher und einfacher zu benutzen und fühlten sich während der Prüfung auch weniger abgelenkt. Darüber hinaus wurde die Bewertung der Kandidierenden sowie die Korrektur von Eingabefehlern bei der elektronischen OSCE-Checkliste als einfacher empfunden als bei der papierbasierten OSCE-Checkliste. Es gab jedoch keinen signifikanten Unterschied hinsichtlich der wahrgenommenen Geschwindigkeit beim Schreiben von Kommentaren auf einem Touch-Pad (d. h. der elektronischen OSCE-Checkliste) und beim Schreiben von Kommentaren auf Papier. Es ist davon auszugehen, dass all diese Faktoren dazu beitragen, dass die Prüfenden ihre Aufmerksamkeit besser auf die Kandidierenden und ihre Leistungen richten können während der Prüfung, wodurch die kognitive Belastung der Prüfenden bei der elektronischen OSCE-Checkliste geringer bleibt.

Unsere Analyse der fehlenden Bewertungen in den papierbasierten OSCE-Checklisten ergab, dass in einigen der einzelnen Checklisten tatsächlich eine größere Anzahl von Items fehlte. Insgesamt war die Anzahl der ausgelassenen Items jedoch moderat, da dies nur bei 14.2% aller papierbasierten OSCE-Checklisten der Fall war. In der Mehrzahl dieser Checklisten (10.6% aller Checklisten mit fehlenden Items) wurde nur ein fehlendes Item gefunden. Die durchschnittliche Anzahl der fehlenden Bewertungen in diesen Checklisten betrug insgesamt 1.45, was im Vergleich zu den von Schmitz et al. [6] gemeldeten fehlenden Bewertungen viel geringer ist. Die Anzahl der fehlenden Bewertungen bei papierbasierten OSCE-Checklisten scheint also zwischen verschiedenen Prüfungen und Prüfenden stark zu variieren. Bei der Verwendung elektronischer OSCE-Checklisten hingegen können fehlende Bewertungen gänzlich vermieden werden, was einen wichtigen Vorteil der elektronischen OSCE-Checkliste darstellt, da sie dadurch eine höhere Datenqualität gewährleistet [6], [8], [12]. Die Qualität des Outputs als wichtiger Aspekt der Usability [9] ist somit bei elektronischen OSCE-Checklisten deutlich höher. Trotz der Einführung in die papierbasierte OSCE-Checkliste zu Beginn der Prüfung und eines Erinnerungssatzes oben auf der Checkliste gab es immer noch Fälle, in denen Prüfende es versäumten, Items zu bewerten. Eine mögliche Erklärung dafür könnte sein, dass aufgrund der geringeren Usability der papierbasierten Checkliste die kognitive Belastung für die Prüfenden in einigen Situationen zu hoch wurde, was zu den versäumten Bewertungen geführt haben könnte.

Die Analyse der Präferenzen für den jeweiligen Checklisten-Typ zeigte ein klares Ergebnis. Sowohl 2014 (54.5%) als auch 2015 (89.9%) gab die Mehrheit der mit beiden OSCE-Checklisten-Typen erfahrenen Prüfenden an, dass sie in Zukunft lieber mit elektronischen OSCE-Checklisten arbeiten würde, was die Ergebnisse von Schmitz et al. [6] und Currie et al. [8] bestätigt. Wir gehen davon aus, dass dieses Ergebnis mit der höheren wahrgenommenen Usability der elektronischen OSCE-Checkliste zusammenhängt.

Die Stärken der vorliegenden Studie sind die große Anzahl der beteiligten Prüfenden, der hohe Anteil dieser Prüfenden, der mit beiden Arten von OSCE-Checklisten (d. h. papierbasiert und elektronisch) Erfahrung hatte und der multi-institutionelle (nationale) Rahmen, der Prüfende aus fünf verschiedenen Fakultäten aus zwei Sprachregionen umfasste.

Eine Einschränkung dieser Studie besteht darin, dass die Daten – abgesehen von den fehlenden Bewertungen – auf den subjektiven Eindrücken der Prüfenden in Bezug auf die Verwendung der Checklisten beruhen und kein objektives Maß für die Usability darstellen.

Die Ergebnisse der vorliegenden Studie zeigen, dass die wahrgenommene Usability elektronischer OSCE-Checklisten im Vergleich zu traditionellen papierbasierten Checklisten signifikant höher war, mit Ausnahme der Geschwindigkeit beim Verfassen von Kommentaren, bei der es keinen statistisch signifikanten Unterschied gab. Die Mehrheit der Prüfenden, die sowohl mit elektronischen als auch mit papierbasierten OSCE-Checklisten Erfahrung hatten, zog es vor, in Zukunft mit den elektronischen OSCE-Checklisten zu arbeiten. Wichtig ist, dass fehlende Bewertungen bei papierbasierten Checklisten ein häufiges Problem sind, während sie bei der Verwendung elektronischer OSCE-Checklisten vollständig vermieden werden können, was eine hohe Datenqualität gewährleistet. Insgesamt zeigen die Ergebnisse der vorliegenden Studie mit einer großen Zahl von Prüfenden aus verschiedenen Fakultäten, dass elektronische OSCE-Checklisten, wenn sie mit Schwerpunkt auf Usability entwickelt werden, Vorteile haben, die über technische Faktoren hinausgehen und daher als empfehlenswerte Alternative zu papierbasierten OSCE-Checklisten betrachtet werden können.

Diese Art von Studie wurde gemäss den Bestimmungen der Kantonalen Ethikkommission der Medizinischen Fakultät der Universität Bern als von einer formellen ethischen Genehmigung ausgenommen betrachtet. Dennoch bestätigen wir, dass diese Studie in Übereinstimmung mit der Deklaration von Helsinki durchgeführt wurde, soweit sie für diese Art von Studie anwendbar ist und dass die Teilnehmer auf freiwilliger Basis teilgenommen haben, dass sie durch das präsentierte Material nicht identifiziert werden können und dass sie durch die Teilnahme an dieser Studie keinen denkbaren Risiken ausgesetzt wurden.

Nicht anwendbar. Die Abbildungen in diesem Manuskript zeigen ein fiktives Beispiel, das speziell für diese Veröffentlichung erstellt wurde, um die elektronischen und papierbasierten OSCE-Checklisten zu veranschaulichen.

Die im Rahmen der aktuellen Studie analysierten Datensätze sind auf begründete Anfrage bei der entsprechenden Autorin erhältlich. Weitere Informationen über die OSCE-Eval-Anwendung finden Sie auf der Website [https://eosce.ch/].

Diese Studie wurde vom Institut für Medizinische Lehre der Universität Bern, Schweiz, finanziert.

F.W. analysierte und interpretierte die Daten und schrieb das Manuskript mit Unterstützung von S.H.. R.K. half bei der Analyse der Daten. S.H., S.F., F.S. und P.Z. erstellten den Fragebogen für die Umfrage. S.G., S.F., R.K., F.S., P.Z. und S.H. haben das Manuskript kritisch überarbeitet. Alle Autoren haben das endgültige Manuskript gelesen und genehmigt.

Wir danken: den Prüfenden für die Teilnahme an der Umfrage; den Verantwortlichen vor Ort, Monica Escher, Felix Eymann, Claudia Glauser, David Gachoud und Roger Kropf; den Mitgliedern der Arbeitsgruppe für klinische Fähigkeiten, Gianmarco Balestra, Christoph Berendonk, Sylvie Félix, Sabine Feller, Philippe Huber, Matteo Monti, Kai Schnabel und Ernst Jünger; und dem IT-Support-Team der Eidgenössischen Zulassungsprüfung an den Fakultäten Basel, Bern, Genf, Lausanne und Zürich. Ferner danken wir Daniel Stricker für seine Beratung bei der Analyse der fehlenden Items. Schliesslich möchten wir dem Bundesamt für Gesundheit und der Prüfungskommission für die Unterstützung dieser Prüfung danken.

Die Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben.

Die OSCE-Eval-Anwendung, mit der die elektronische OSCE-Checkliste implementiert wurde, wurde von der Abteilung für Softwareentwicklung, Usability-Beratung und IT-Infrastruktur (ASCII) am Institut für Medizinische Ausbildung konzipiert und entwickelt. Weitere Informationen über die Anwendung können über die Website [https://eosce.ch/] abgerufen werden.