gms | German Medical Science

Die Erstellung von Multiple Choice (MC)-Prüfungsfragen ist ein anspruchsvoller Prozess, welcher sich im Rahmen strukturierter Präsenz-Workshops effizient durchführen lässt [1]. Während der Corona-Pandemie wurden Präsenzveranstaltungen aufgrund notwendiger Schutzkonzepte erschwert, weshalb geplante Präsenz-Workshops online durchgeführt wurden. Publikationen zu anderen Onlineveranstaltungen zeigen, dass sie sich gut zur Wissensvermittlung eignen [2], [3] und Vorteile wie Flexibilität, Zeit- und Kostenersparnis mit sich bringen [2], [4], [5], was in hoher Teilnahmebereitschaft und Akzeptanz resultiert [6], [7], [8], [9]. Nach unserem Wissen existieren keine Studien, welche die Eignung von Online-Workshops für die MC-Fragenerstellung untersucht haben.

Diese Studie hatte das Ziel, folgende Fragen aus Sicht der Teilnehmenden (TN) zu beantworten:

1.

Wie werden die zwei Online-Workshop hinsichtlich Durchführung bewertet?

2.

Eignen sich diese Online-Workshops zur Erstellung von MC-Fragen?

3.

Wird das Online- oder Präsenz-Format bevorzugt?

Als Mass für die Effizienz wurde betrachtet:

4.

Wird der erwartete Fragenoutput in den Online-Workshops erreicht?

Im Mai und Juni 2020 wurden zwei unabhängige Fragen-Workshops für Schweizer Fachgesellschaften mit insgesamt 24 Teilnehmenden (TN) online durchgeführt. Es wurde der gleiche Fragenoutput erwartet wie bei einem Präsenz-Workshop (siehe Tabelle 1 [Tab. 1]).

Die Workshops wurden mit SWITCHinteract [https://www.switch.ch/interact/] durchgeführt, ein Adobe Connect basiertes Online-Seminartool, welches mit Funktionen wie Videokonferenz, Breakout rooms und Screen-Share für Webinare empfohlen wird [5]. Im Vorfeld erhielten die TN eine Anleitung zur Erstellung von MC-Fragen und zur Einrichtung von SWITCHinteract (inkl. Testlogin). Der Ablauf der Workshops war an den Ablauf von Präsenz-Workshops angelehnt (siehe Tabelle 2 [Tab. 2]).

Die TN wurden mit einem anonymen Online-Fragebogen (Questback Unipark, [https://www.unipark.com/]) befragt zu Durchführung, Eignung und Präferenz des Workshop-Formates. Der Fragebogen enthielt 5 demographische, 17 geschlossene Fragen mit 6-stufiger Likert-Skala bzw. passender Nominal- oder Ordinalskala und 4 optionale Freitextfragen. Der Fragebogen wurde für diese Studie neu entwickelt. Die TN erhielten nach dem Workshop einen Link zur freiwilligen Umfrage.

Alle Ergebnisse sind deskriptiv dargestellt. Aufgrund der kleinen Fallzahl wurden keine statistischen Vergleiche berechnet. Die Freitextkommentare wurden hinsichtlich wiederkehrender Themen analysiert. Im Folgenden werden nur die Ergebnisse zu denjenigen 16 Fragen dargestellt, welche für die Beantwortung der Fragestellungen relevant sind.

Die Rücklaufquote betrug 88% (21/24 Teilnehmende (TN)).

Vorerfahrung als FragenautorIn hatten 38% der TN, 14% mit Fragen-Workshops (siehe Tabelle 3 [Tab. 3]).

Die Durchführung (Organisation, Ablauf, Betreuung, Inhalt) wurde von den TN insgesamt gut beurteilt (siehe Tabelle 4 [Tab. 4]).

Die TN waren im Mittel im Vorfeld (eher) skeptisch, ob die virtuelle Durchführung geeignet sei. Abschliessend wurden das Online-Format und SWITCHinteract im Mittel als geeignet betrachtet. Die Mehrheit der TN war froh über den Wegfall der Reisezeit, die sich insgesamt auf 46h addiert hätte (siehe Tabelle 5 [Tab. 5]). Äussere Faktoren störten 43% der TN mässig (siehe Tabelle 6 [Tab. 6]). In den Freitextfragen wurden wenige Aspekte mehrfach genannt (siehe Tabelle 7 [Tab. 7]).

Es zeigte sich keine eindeutige Präferenz eines Workshop-Formates. Die Mehrheit der TN sah Vor- und Nachteile in beiden Formaten (siehe Abbildung 1 [Abb. 1]).

In beiden Workshops wurde der erwartete Fragenoutput übertroffen (siehe Tabelle 8 [Tab. 8]).

Diese Studie untersuchte die Eignung von Online-Workshops für die Erstellung von MC-Fragen.

Die Teilnehmenden (TN) waren zufrieden mit der Durchführung und empfanden das Online-Format sowie das eingesetzte Tool als geeignet, obwohl es im Vorfeld einige Online-Skeptiker gab. Insgesamt wurden 46h Reisezeit eingespart, was die TN mehrheitlich als Vorteil empfanden. Die Mehrheit (57%) der TN zeigte keine Präferenz, 29% bevorzugten ein Online- und 14% ein Präsenz-Format. Der erwartete Fragenoutput wurde in beiden Workshops übertroffen. Äussere Faktoren störten 43% der TN mässig. Technische Probleme wurden am häufigsten als verbesserungswürdiger Aspekt in den Freitextfragen genannt.

Mit der als gut beurteilten Durchführung und dem als geeignet empfundenen Online-Format lassen sich Fragestellung 1 und 2 positiv beantworten. Zusammen mit dem hohen Fragenoutput spricht dies dafür, dass Ablauf, Inhalt und erwarteter Output des Präsenz-Workshops auf das Online-Format übertragbar waren. Die berichtete Zeitersparnis und damit zusammenhängend Kosten- und CO₂-Ersparnis wurde auch in anderen Publikation beschrieben [2], [6], [7].

Unsere Ergebnisse lassen schlussfolgern, dass technische Aspekte optimal vorbereitet werden sollten (detaillierte Vorabinformation zum Online-Tool, Test-Login, Funktion von Mikrofon/Kamera/Screen-Share, stabiles Internet, ruhige Umgebung) um Störfaktoren möglichst zu minimieren.

Die Mehrheit der TN hatte keine klare Format-Präferenz, wobei jedoch mehr TN, welche eine Präferenz nannten, das Online-Format bevorzugten, was die Ergebnisse von [2] bestätigt.

Limitationen dieser Studie sind die geringe Anzahl an TN und dass zum jetzigen Zeitpunkt noch nicht beurteilt werden kann ob auch die Qualität der Fragen (Performance in Prüfungen) vergleichbar hoch ist.

Anhand der vorliegenden Resultate können Online-Workshops zur Erstellung von MC-Fragen als ressourcenschonende und effiziente Alternative für Präsenz-Workshops betrachtet werden. Neben einer optimalen technischen Vorbereitung könnte auch die zunehmende Anwendung und Optimierung von Online-Tools zukünftig die Umsetzung erleichtern und die Format-Präferenz beeinflussen.

Wir bedanken uns bei allen Teilnehmenden für ihr Engagement im Vorfeld und während der Workshops, sowie für die Teilnahme an der Umfrage.

Die Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben.