gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

Elektronische Erfassung von Prüfungsleistungen bei OSCE-Prüfungen mit Tablets

Artikel Prüfungen

  • corresponding author Achim Hochlehnert - Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin/Baden-Württemberg, Heidelberg, Deutschland
  • author Jobst-Hendrik Schultz - Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin/Baden-Württemberg, Heidelberg, Deutschland
  • author Andreas Möltner - Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin/Baden-Württemberg, Heidelberg, Deutschland
  • Sevgi Tımbıl - Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin/Baden-Württemberg, Heidelberg, Deutschland
  • Konstantin Brass - Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin/Baden-Württemberg, Heidelberg, Deutschland
  • author Jana Jünger - Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin/Baden-Württemberg, Heidelberg, Deutschland

GMS Z Med Ausbild 2015;32(4):Doc41

doi: 10.3205/zma000983, urn:nbn:de:0183-zma0009838

Dieses ist die deutsche Version des Artikels.
Die englische Version finden Sie unter: http://www.egms.de/en/journals/zma/2015-32/zma000983.shtml

Eingereicht: 5. Dezember 2013
Überarbeitet: 16. Oktober 2014
Angenommen: 2. März 2015
Veröffentlicht: 15. Oktober 2015

© 2015 Hochlehnert et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Zusammenfassung

Hintergrund: OSCE-Prüfungen sind oft mit einem erheblichen Material- und Organisationsaufwand verbunden, da die Leistungserfassung üblicherweise auf Papier durchgeführt wird. Eine elektronisch unterstützte Durchführung stellt hierzu eine Alternative dar, mit der der Verbrauch materieller Ressourcen reduziert werden kann. Insbesondere erscheint hier der Einsatz von Tablets sinnvoll, da diese zudem leicht zu transportieren sind und damit flexibel eingesetzt werden können.

Zielsetzung: Die Nutzerakzeptanz der Verwendung von Tablets bei OSCE-Prüfungen wurde bislang allerdings nur wenig untersucht. Ziel dieser Studie war daher eine Evaluation Tablet-basierter OSCE-Prüfungen aus Sicht der Benutzer (Prüfer) und der geprüften Studierenden.

Methodik: Bei zwei OSCE-Prüfungen des Faches Innere Medizin der Universität Heidelberg wurde die Nutzerakzeptanz einer Tablet-basierten Durchführung (Zufriedenheit mit der Funktionalität) und die subjektive Anstrengung aus Sicht der Prüfer untersucht. Hierzu wurden standardisierte Fragebögen und halbstandardisierte Interviews eingesetzt (Vollerfassung aller teilnehmenden Prüfer). Zudem wurde bei einer der Prüfungen die subjektive Bewertung dieser Prüfungsvariante an einer Stichprobe teilnehmender Studierender mittels halbstandardisierter Interviews erhoben.

Ergebnisse: Die Prüfer waren mit der Tablet-Prüfungsvariante insgesamt sehr zufrieden. Die subjektive Anstrengung der Bedienung der Tablets wurde im Mittel als „kaum anstrengend“ empfunden. In den Interviews wurden insbesondere die einfache Handhabung und die geringe Fehleranfälligkeit von den Prüfern als Vorteile dieser Prüfungsvariante genannt. In der Befragung der geprüften Studierenden zeigte sich ebenfalls eine Akzeptanz der Tablet-Prüfungsvariante.

Diskussion: Insgesamt hat sich gezeigt, dass der Einsatz von Tablets in OSCE-Prüfungen sowohl von Prüfern als auch Studierenden gut angenommen wird. Es wird erwartet, dass diese Prüfungsvariante auch hinsichtlich Prüfungsdokumentation, Ressourceneinsatz und Fehleranfälligkeit gegenüber der papierbasierten Form Vorteile bietet, was Gegenstand weiterer Studien sein sollte.

Schlüsselwörter: Qualitätssicherung, OSCE-Prüfungen, PC-basierte Prüfungen, Tablets, i-Pad, IT Lösung


1. Einleitung

Objektiv-strukturierte klinische Prüfungen (objective structured clinical examinations; OSCE) werden im Rahmen des Medizinstudiums häufig eingesetzt, um praktische und kommunikative Fähigkeiten zu erfassen [8]. Diese sind allerdings mit einem hohen personellen, materiellen und logistischen Aufwand verbunden [9], [3]. Zur Verringerung des Ressourceneinsatzes könnten elektronisch unterstützte Alternativen verwendet werden, deren Einsatz bei Prüfungen allgemein inzwischen mehrheitlich empfohlen wird (Ottawa-Conference 2010 [1]).

Speziell bei OSCE-Prüfungen können Computer zwar zur Eingabe und Kommentierung der Bewertungen durch die Prüfer verwendet werden, allerdings ist die Durchführung mit PCs oft noch sehr aufwendig und kann verschiedene Schwierigkeiten beinhalten. Hindernisse für den Einsatz von PCs stellen vor allem ihre mangelnde Transportabilität und mögliche Sichtverdeckungen der Prüfungssituation durch Bedienelemente und Monitore dar. Dies hat dazu geführt, dass sich der Einsatz von PCs bei OSCE-Prüfungen noch nicht etabliert hat. Hier bietet sich daher der Einsatz von Tablets an, die in geeigneter Größe (z.B. DIN A4-Format) leicht zu transportieren, platzsparend und somit flexibler einsetzbar sind.

Insgesamt bietet eine Prüfungsdurchführung mittels Tablets einige praktische Vorteile gegenüber einer Papier-basierten (z.B. Papierreduktion) oder PC-basierten Durchführung (z.B. Platzersparnis). Um diese Prüfungsvariante auf breiter Basis zu implementieren, sollte sie jedoch nicht nur praktikabel sein, sondern seitens der Prüfer und Geprüften auch gut akzeptiert werden. Die subjektive Akzeptanz der Durchführung von OSCE-Prüfungen mittels Tablets wurde jedoch kaum untersucht. Zwei Studien [14], [12], [13], in denen das Programm eOSCE auf i-Pad-Tablets verwendet wurde, weisen bisher auf eine vergleichbare oder sogar bessere Akzeptanz der Tablet gegenüber der Papiervariante bei geprüften Studierenden und Prüfern hin.

An der Universität Heidelberg wurde 2011 im Rahmen des Prüfungssystems „Item-ManagementSystem“ (IMS) ebenfalls ein Modul zur Durchführung von OSCEs mit Tablets (tOSCE) entwickelt [4]. Dieses unterscheidet sich in seiner Benutzeroberfläche von dem eOSCE-System der vorherigen Studien [14], [12], [13] jedoch deutlich. Somit bleibt offen, wie die Akzeptanz für den Einsatz der tOSCE-Variante ausfallen würde, da diese von der verwendeten Prüfungssoftware abhängig sein könnte.

Ziel dieser Studie war daher eine Evaluation der Tablet-basierten Prüfungsvariante bei Verwendung der Software tOSCE aus Sicht der Benutzer (Prüfer) und der geprüften Studierenden. Hierzu wurde bei zwei OSCE-Prüfungen die Zufriedenheit mit der Funktionalität und die subjektiv erlebte Anstrengung anhand von Fragebögen (nur Prüfer) sowie allgemeine Eindrücke im Rahmen von Interviews (Prüfer und geprüfte Studierende) erfasst. Sollte die hier verwendete Software ebenfalls gut angenommen werden, würde dies für eine Generalisierbarkeit der Akzeptanz von Tablet-unterstützten OSCEs sprechen (Verwendung adäquater Software vorausgesetzt).


2. Methodik

2.1 Fragestellung und Studiendesign

Um die Zufriedenheit mit der Funktionalität, die subjektiv erlebte Anstrengung sowie allgemeine Eindrücke zur Tablet-basierten Durchführung von OSCE-Prüfungen zu evaluieren, wurden sowohl quantitative Daten als auch allgemeine Eindrücke erhoben. Dies erfolgte mit der Verwendung von zwei verschiedenen Fragebögen und der Durchführung eines halb-standardisierten Interviews. Insgesamt wurden zwei Befragungen zu den Zeitpunkten Sommersemester 2012 (Fragebogen für Prüfer) und Wintersemester 2012/13 (Fragebogen für Prüfer, Interviews mit Studierenden) durchgeführt.

Ablauf der Prüfung und Befragung

Sommersemester 2012:

Die Evaluation der Tablet-basierten Prüfungsvariante fand bei einer OSCE-Prüfung im Fach Innere Medizin an der Uniklinik Heidelberg im Sommer 2012 statt. Es wurden 184 Studierende in zwei OSCE-Parcours à 10 Stationen an zwei Tagen geprüft. Die Prüfungsdauer betrug 5 min, die Wechselzeit eine Minute.

An den OSCE-Stationen wurden Papier-basiert wie auch Tablet-basiert geprüft. Dabei war der Ablauf balanciert. In jedem Parcours wurden 5 Stationen Papier-basiert und 5 Stationen mit Tablets geprüft, jeweils zur Tagesmitte wurde die Prüfungsvariante an den Stationen gewechselt. Somit prüfte jeder Prüfer, der am Vormittag Papier-basiert bewertet hatte, an denselben Stationen nachmittags mit Tablets und umgekehrt. Jeder Studierende wurde demzufolge an 5 Stationen papierbasiert, an den 5 anderen Stationen mit Tablets geprüft (siehe Tabelle 1 [Tab. 1]).

Nach dem Abschluss der Prüfungen wurde ein Fragebogen an die Prüfer verteilt, in dem Fragen zur Zufriedenheit mit der Funktionalität der Software sowie der subjektiv erlebten Anstrengung der Tablet-basierten Prüfungsdurchführung gestellt wurden, die unten näher beschrieben sind.

Wintersemester 12/13:

Im darauffolgenden Semester wurde aufgrund der positiven Ergebnisse der ersten Prüferbefragung die Prüfung vollständig mit Tablets durchgeführt. Als technische Neuerung wurde in der Prüfungssoftware eine Kommentarfunktion mit Textbausteinen eingeführt. In diesem Semester wurden die Prüfer zu einzelnen Aspekten bezüglich der neuen Kommentar-Funktionalität sowie zu ihren Erfahrungen und Verbesserungsvorschlägen befragt (Fragebogen). Darüber hinaus wurden auch Interviews mit Studierenden durchgeführt (siehe Tabelle 2 [Tab. 2]).

2.2 Rekrutierung der Prüfer

Sommersemester 2012:

An der Prüfung im Sommersemester 2012 nahmen insgesamt 37 Dozenten als Prüfer teil, die alle den Fragebogen 1 erhielten. Alle Teilnehmer nahmen an einer speziellen Tablet-Schulung (Zeitaufwand ca. 20-30 min) teil, in der jeder Prüfer anhand einer Checkliste die zu betreuende OSCE-Station in einem kompletten Prüfungsablauf testen konnte.

Wintersemester 2012/2013:

An der Prüfung im Wintersemester 2012/13 nahmen insgesamt 35 Prüfer teil, die alle den Fragebogen 2 erhielten. Mit Ausnahme von 4 Prüfern (zwei weiblich, zwei männlich) waren nur Prüfer beteiligt, die auch im Sommersemester an der OSCE-Prüfung als Prüfer teilnahmen. Wieder nahmen alle Prüfer an einer Tablet-Schulung teil, die auch die Bedienung der neuen Kommentarfunktion mit Textbausteinen beinhaltete.

2.3 Rekrutierung der Studierenden

Nach jedem Durchgang eines OSCE wurde eine Gruppe von geprüften Studierenden zu ihren Eindrücken des Tablet-basierten OSCEs befragt. Insgesamt wurden Daten von 19 zufällig ausgewählten Studierenden erhoben (aus Gründen der Durchführbarkeit konnte jedoch keine strenge Randomisierung erfolgen).

2.4 Beschreibung der eingesetzten Fragebögen und Interviews

Sommersemester 2012:

Bei den Prüfern wurden allgemeine Informationen zu ihrer Demographie (Alter, Geschlecht), ihrem beruflichen Status (Chefarzt, Oberarzt, Facharzt oder Assistenzarzt) und ihren Vorkenntnissen hinsichtlich PC- oder i-PAD-Erfahrungen und der Durchführung von OSCE-Prüfungen erhoben.

Zur Einschätzung der Gesamtzufriedenheit der Tablet-basierten Durchführung der OSCE-Prüfung wurde folgende Frage verwendet: „Wie zufrieden sind Sie insgesamt mit der Funktionalität der elektronischen Durchführung von OSCE-Prüfungen?“ (1=unzufrieden, 2=eher unzufrieden, 3=weniger zufrieden, 4=zufrieden, 5=sehr zufrieden).

Zur Erfassung der subjektiven Anstrengung bei der Bedienung der Software wurde bei der Befragung der international evaluierte SMEQ-Fragebogen mit einer visuellen Analog Skala (VAS) von minimal 0 (nicht anstrengend) bis maximal 220 (außerordentlich anstrengend) verwendet [15], (deutsche Version [2]).

Mit diesem Fragebogen wurde die subjektive Anstrengung bei „Prüfling suchen und aufrufen“, „Bewertungen eintragen und korrigieren“, „Prüfungsergebnisse einsehen“, „Nutzung der Zusatzfunktionen, z.B. Timer“ und „Kommentare eingeben“ erhoben.

Darüber hinaus wurden die Prüfer in offenen Fragen zu ihrem Prüfungsverhalten befragt: „Haben Sie den Eindruck, dass sich Ihr Prüfungsverhalten bei der Tablet-basierten Prüfungsvariante verändert hat, und wenn ja, inwiefern?“, „Wo sehen Sie Vorteile bzw. Nachteile bei der Tablet-basierten Prüfungsvariante?“.

Wintersemester 2012/13:

Fragebogen bei den Prüfern:

Der im Wintersemester eingesetzte Fragebogen enthielt erneut die Frage zur Gesamtzufriedenheit (s. o.), sowie die Fragen „Wie beurteilen Sie den Schulungsbedarf bzw. den Zeitaufwand für eine Nachschulung?“, „Welche Kommentarfunktion haben Sie genutzt?“, „Welche weitere Verbesserung würden Sie sich wünschen?“, „Was sind für Sie die Hauptunterschiede im Vergleich Tablet vs. Papierbasierte Prüfung hinsichtlich der Handhabung?“ und „Was sind für Sie die Hauptunterschiede im Vergleich Tablet vs. Papierbasierte Prüfung hinsichtlich der Bewertung der Prüflinge?“

Interview-Befragung bei den Studierenden:

Die Studentenbefragung erfolgte unmittelbar nach der OSCE-Prüfung. Hier wurde eine zufällige Auswahl von Studenten in einem halbstandardisierten Interview zu ihren Eindrücken bezüglich möglicher Veränderungen der Prüfungsatmosphäre befragt und um Rückmeldung zum Vergleich zur papierbasierten Prüfungsform gebeten. Hierbei wurden die folgenden Fragen gestellt: „Wie empfanden Sie die Tablet-basierte Prüfung?“, „Welche Folgen sehen Sie für sich?“, „Wie war Ihr Eindruck über die Prüfung insgesamt?“. Die Antworten wurden von zwei Ratern qualitativ-inhaltsanalytisch evaluiert und nach Kategorien geordnet [10].

2.5 Beschreibung der eingesetzten Hardware (Tablet/WLAN)

Zur Erfassung der Prüfungsleistung an OSCE-Stationen wurden Tablets eingesetzt. Hierbei handelt es sich um „tragbare, flache Computer in leichter Ausführung mit einem Touchscreen ohne eigenständige Tastatur“ [Quelle: https://www.wikipedia.de/]. Für die Bereitstellung der serverseitigen Funktionalität wurde ein Laptop verwendet (siehe Abbildung 1 [Abb. 1]).

2.6 Beschreibung der eingesetzten Software (tOSCE)

Bei der eingesetzten Software-Anwendung (tOSCE) verwendet der Prüfer einen Tablet als Eingabemedium zur Leistungserfassung. tOSCE wurde entwickelt, um die Fehleranfälligkeit im Rahmen der Qualitätssicherung und den Aufwand bei der Auswertung zu begrenzen [5]. Darüber hinaus bietet die Software die gleichen Vorteile bezüglich Ausfallsicherheit und rechtssicherer Dokumentation wie der CAMPUS Prüfungsplayer, der seit 2005 an mehreren Fakultäten eingesetzt wird [11]. Um eine möglichst große Auswahl an geeigneten Tablets unterstützen zu können, wurde der Player plattformneutral entwickelt, d.h. die Software kann auf den gängigen Tablet-Betriebssystemen wie iOS oder Android eingesetzt werden. Im Folgenden werden die wichtigsten Funktionalitäten der Software beschrieben:

2.6.1 Eingabe und Übertragung der Prüfungsstationen vor der Prüfung:

Genau wie bei einer papier-basierten OSCE-Prüfung werden die Prüfungsaufgaben in die Prüfungsplattform Item-Management-Sytem (IMS) eingegeben und die Prüfung zusammengestellt [7]. Die fertige Prüfung kann aus dem IMS heraus als normale Papiervariante ausgedruckt aber auch als „elektronische“ Prüfung für die Tablets übertragen werden (siehe Abbildung 2 [Abb. 2]).

2.6.2 Identifizierung der Prüflinge anhand eines QR-Codes Nutzung:

Bei der Anmeldung zur Prüfung wird den Studierenden ein QR-Code zugeordnet, der vom Server ausgedruckt werden kann. Die Studierenden bringen diesen QR-Code zur Prüfung mit. Durch Richten der eingebauten Kamera des Tablets auf den QR-Code wird der Prüfling an den Prüfungsstationen sofort und sicher identifiziert, sodass hier zum einen weniger Verwechslungsgefahr als auch genügend Flexibilität bei einem kurzfristigen Tausch der Studierenden untereinander besteht (prinzipiell besteht auch die Möglichkeit, die Prüfungsstation und den Dozenten per QR-Scan zu identifizieren).

2.6.3 Eingabe der Bewertung mit Checkliste oder Global-Rating Scale:

Aufgaben können entweder mit einer Checkliste bewertet werden, wobei einzelnen Aufgaben vorab ein oder mehrere Punkte zugeordnet werden, oder mit sog. Global-Ratings, in denen die Prüfer insgesamt den Eindruck der z.B. kommunikativen Leistung bewerten.

2.6.4 Nutzung verschiedener Kommentarfunktionen:

Da der Prüfer neben der Leistungserfassung v.a. auch für die Dokumentation der Prüfungsleistung zuständig ist (v.a. bei schlechten oder sehr guten Prüfungsergebnissen relevant), wurden mehrere Wege entwickelt, um Kommentare zu der Prüfungsleistung komfortabel eingeben zu können. So kann das Erfassen von Kommentaren sowohl über die eingebaute Tastaturfunktion, über eine externe anzuschließende Tastatur als auch über handschriftliche Notizen (per Finger oder speziellem Tablet-Stift) oder mit Audio-Aufnahmen (per eingebautem Mikrophon) durchgeführt werden.

Um Kommentare zu der jeweiligen Bewertung komfortabel und zeitsparend eingeben zu können, wurden in mehreren Abstimmungsschleifen mit den Dozenten Textbausteine ermittelt, mit denen sowohl bereits während der Prüfungszeit als auch in den Wechselzeiten zwischen den Prüfungsstationen sehr schnell ergänzende Kommentare zu den vorangegangenen Prüfling dokumentiert werden können (siehe Abbildung 3 [Abb. 3]).

2.6.5 Qualitätssichernde Aspekte nach der Prüfung:

Am Ende jeder Studierendenbewertung wird die Prüfung vom Prüfer durch einen Doppelklick auf den Knopf „Prüfung abschließen“ beendet. Dabei werden nicht nur die Ergebnisse der Eingabe gespeichert sondern auch ein Screenshot von der ausgefüllten Checkliste angefertigt. Dieses erhöht zum einen die rechtliche Sicherheit, da neben den Einträgen in der Datenbank auch ein Foto der Eingaben des Prüfers angefertigt wird, zum anderen ermöglicht dies auch eine einfache und transparente Klausureinsicht [4].

Nach der Prüfung werden die Prüfungsergebnisse von allen Tablets per WLAN automatisch auf den Server übertragen und stehen für die teststatistische Auswertung unmittelbar zur Verfügung.


3. Ergebnisse

3.1. Befragung der Dozenten

Sommersemester 2012:

35 von den 37 Dozenten (95%) haben den Fragebogen ausgefüllt, wovon 27 männlich und 8 weiblich waren (11 Chefärzte, 11 Oberärzte, 12 Fachärzte und ein Assistenzarzt). Die meisten Teilnehmer verfügten sowohl über PC-Kenntnisse (6x sehr gut, 21x gut, 8x mittel) als auch über OSCE-Erfahrung (19x „mehr als 5 Jahre“, 15x „1-4 Jahre“, 1x „keine“).

Es zeigte sich, dass die Software von den Dozenten sehr gut angenommen und bewertet wurde: In der Frage zur Gesamteinschätzung war auf einer Likert-Skala von 1-5 (1=unzufrieden, 5=sehr zufrieden) der Mittelwert 4,7 mit einer Standardabweichung von 0,5 (einmal 3 als niedrigster Wert).

Bei der Befragung der Dozenten zur subjektiven Anstrengung (SMEQ) hat sich ergeben, dass diese bei den meisten Fragen sehr niedrig liegt (jeweils VAS von 0-220; 0=nicht anstrengend, 220=außerordentlich anstrengend):

Die Mittelwerte für die Funktionalitäten „Prüfling suchen und aufrufen“ (21,1), „Bewertungen eintragen und korrigieren“ (30,1), „Prüfungsergebnisse einsehen“ (32,6) und „Nutzung der Zusatzfunktionen, z.B. Timer“ (34,6) lagen alle in dem Bereich „kaum bis etwas anstrengend“. Lediglich die Funktion „Kommentare eingeben“ (64,2) wurde mit „etwas bis einigermaßen anstrengend“ bewertet (siehe Abbildung 4 [Abb. 4]).

Bei der Frage, ob sich ihr Prüferverhalten verändert habe, gaben die Prüfer mehrheitlich an, den Prüfling mit der Tablet-basierten Prüfungsvariante nicht schlechter zu bewerten als mit der papierbasierten Prüfungsvariante. Das wird unterstützt durch die Beobachtung, dass sich die Prüfungsleistungen bei den Tablet-basierten Stationen nicht signifikant von den papierbasiert-bewerteten Stationen unterscheiden (unveröffentlichte Daten). Als Vorteile werden von den Prüfern die einfache Handhabung, die „geringere Fehleranfälligkeit“, die „bessere Übersichtlichkeit“ und die „Zeitersparnis“ genannt, die es erlauben, „mehr Zeit für die Beobachtung der Prüflinge“ zu haben. Als Nachteile wurde bei der Befragung im Sommersemester 2012 die Eingabe von Kommentaren genannt, die nicht so einfach wie bei der Papierbasierten Prüfung sei.

Wintersemester 2012/13:

Bei der zweiten Befragung haben 33 von den 35 Dozenten (94%) den Fragebogen ausgefüllt, wovon 27 männlich und 6 weiblich waren.

Es zeigte sich erneut die große Zufriedenheit mit der Software (20x sehr zufrieden, 12x zufrieden, 1x weniger zufrieden). Bei der Bewertung mit der gleichen Likert-Skala wie in der ersten Befragung (1=unzufrieden, 5=sehr zufrieden) resultiert somit bei der zweiten Befragung ein Mittelwert von 4,6 mit einer Standardabweichung von 0,5 (einmal 3 als niedrigster Wert).

Der Zeitbedarf für eine Schulung bez. einer Tablet-Bedienung wurde mit einem Mittelwert von 11,8 Minuten und einer Standardabweichung von 12,4 min eingeschätzt (4x „0 min“ als niedrigster Wert, einmal „60 min“ als höchster Wert).

Auf die Frage, welche Kommentarfunktion sie genutzt hätten (Doppelnennungen möglich), gaben 10 Prüfer an, die zur Kommentierung der Prüfungsleistung die handschriftliche Kommentarfunktion genutzt zu haben, 7 Prüfer haben hierzu die Tastatur des Tablets benutzt, 14 Prüfer haben zur Kommentierung Textbausteine verwendet. 11 Prüfer gaben an, die Kommentarfunktion überhaupt nicht genutzt zu haben.

Bei der Frage nach den Hauptunterschieden im Vergleich Tablet vs. Papierbasierte Prüfung berichteten 6 Dozenten, dass die „Dokumentation weniger fehleranfällig“ sei, sie „mehr Zeit für die Prüflinge“ hätten und eine „bessere Beobachtung möglich“ sei.

3.2. Befragung der Studenten

Die ergänzende Befragung bei einer Zufallsstichprobe von insgesamt 19 Studenten ergab, dass die Studenten die Prüfungs-Variante mit Tablets sehr positiv bewerten. Im Einzelnen wurden folgende Themengebiete genannt:

Besserer Fokus auf die Prüfung: „Die Dozenten können hierbei die Zeit direkt ablesen und das Zeitmanagement bei der Prüfung gerechter gestalten.“ (1x) „Die Prüfer konnten sich hierdurch besser auf mich konzentrieren.“ (1x) „Der Prüfer wurde während der Prüfung weniger von Papierkram und Punkte-Addieren abgelenkt und konnte sich besser auf mich konzentrieren.“ (1x)

Kognitive Erleichterung: „Die Bewertung ist direkter und gerechter, da die Prüfer keine Punktzahlen mehr eintragen, sondern die Addition der Punkte von einem Computer übernommen wird.“ (1x) „Die Prüfer können keine falsch addierten Punktzahlen eintragen.“ (2x)

Bessere Weitergabe der Ergebnisse: „Das Scannen des Prüflings ist eine Erleichterung, da hierdurch dem Prüfling mehr Zeit zum Lesen der Aufgabenstellung bleibt. (3x)“, „Die Ergebnisse sind schneller verfügbar“ (1x).


4. Diskussion

In der vorliegenden Studie wurde die Zufriedenheit mit der Funktionalität, die subjektiv erlebte Anstrengung sowie allgemeine Eindrücke und Bewertungen der Tablet-basierten Durchführungen von OSCE-Prüfungen untersucht.

4.1 Befragung der Prüfer

Bei der Befragung der Prüfer zeigte sich, dass die Tablet-basierte Prüfungsvariante von den Dozenten gut angenommen wurde. Die Zufriedenheit der Dozenten bezüglich der Funktionalität dieser Prüfungsvariante fiel sehr hoch aus. Die subjektiv erlebte Anstrengung für verschiedene Aspekte der Durchführung wurde meist als eher gering erlebt.

Die Funktion „Prüfling suchen und aufrufen“ wird als am wenigsten anstrengend eingestuft, was auf die Verwendung von QR-Codes zur Identifikation der Studierenden zurückgeführt werden kann (dies unterscheidet die hier verwendete Software tOSCE von der Software eOSCE [12], [14], [13]).

Nur die Nutzung der Kommentarfunktion wurde als eher anstrengend empfunden (MW 64 „etwas bis einigermaßen anstrengend“). Dies könnte daran liegen, dass Kommentare mit dem Tablet per Tastatur bzw. handschriftlich erfasst werden müssen (mögliches Erschwernis gegenüber der Papiervariante). Die daraufhin durchgeführten Änderungen bei der Kommentarfunktion (Benutzung von Textbausteinen) führten im Folgesemester zu einer Verbesserung, wie sich in den Rückmeldungen der Prüfer zeigte.

Sehr viele Prüfer gaben in der Befragung an, sich besser auf den Prüfling konzentrieren zu können. In der Tat hat die Tablet-basierte Prüfungsvariante gegenüber einer Prüfung an einem PC mehrere Vorteile: Da das Tablet klein ist und flach auf dem Tisch liegt, steht kein Monitor bei der Prüfung zwischen dem Prüfer und dem Prüfling, was das Blickfeld einschränken würde. Außerdem kann der Prüfer während der Prüfung den Standort verändern und dabei gleichzeitig die Punkte weiterhin eintragen (wichtig v.a. bei der Erfassung von prozeduralen Fertigkeiten). Aufgrund der Portabilität kann ein Prüfer die Prüfung leicht aus verschiedenen Perspektiven beobachten und damit aktiver an der Prüfung teilnehmen.

Insgesamt weist die Befragung der Prüfer darauf hin, dass die tOSCE-Software im Routinebetrieb aus Sicht der Anwender akzeptiert und somit problemlos eingesetzt werden kann. Dies stimmt mit den Ergebnissen einer Schweizer Studie überein [12], [14], worin ebenfalls gezeigt werden konnte, dass der Einsatz von Tablets in OSCE-Prüfungen bei den Prüfern auf hohe Akzeptanz trifft.

4.2 Befragung der Studierenden

Die Ergebnisse unserer Befragung der Prüflinge steht im Einklang mit Studien von Schmitz et al. [13], wonach elektronische Checklisten als Erfassungsmethode von den Studierenden positiv bewertet und in vergleichbarer Weise wie Papierchecklisten akzeptiert werden. In unserer Interviewbefragung wurden weitere Aspekte genannt, die von den Studierenden geschätzt wurden, wie z.B. die sichere Addition der Punktzahlen und den Eindruck, dass sich die Prüfer besser auf die Leistung der Studierenden konzentrieren konnten.

4.3 Limitationen der Studie

Da die Prüfung nur an einem Fach und an einer Fakultät durchgeführt wurde, wäre es wünschenswert, die Erkenntnisse in einer systematischen Studie zu erweitern. Zudem wurde kein direkter Vergleich der Tablet- zur Paper-basierten Prüfungsvariante durchgeführt, sondern dieser nur indirekt in einigen Fragen thematisiert (z.B. Frage nach Vorteilen bzw. Nachteilen der Tablet- gegenüber der Papier-basierten Prüfungsvariante). Was die Bewertung der Prüfungsleistung betrifft, ergab sich jedoch kein Unterschied der Prüfungsergebnisse mit Tablets zu früheren konventionellen Prüfungsabläufen mit Papier-Checklisten abzuzeichnen.

4.4 Zusammenfassung und Ausblick

In der vorliegenden Studie konnte gezeigt werden, dass eine Tablet-basierte Durchführung von OSCEs mit der eingesetzten Software tOSCE von den Prüfern und Prüflingen akzeptiert wird.

Der Einsatz von Tablets für Prüfungen bietet den Vorteil, papierlos und flexibel Prüfungen durchführen zu können. Perspektivisch ist hier auch eine Weiterentwicklung für den Einsatz von arbeitsplatzbasierten Prüfungen (z.B. encounter cards, mini-cex, DOPS) mit noch kleineren Geräten z. B. für die Kitteltasche denkbar.

Darüber hinaus wäre es für die Weiterentwicklung der Software sicher hilfreich, wenn diese auch an anderen Standorten in anderen Fächerkombinationen eingesetzt werden würde. Die würde zudem Aufschluss darüber geben, inwiefern die hier gefundenen Ergebnisse für die tOSCE Software auf die Durchführung von OSCE-Prüfungen im Allgemeinen (d. h. unabhängig von der Klinik, des Faches, etc.) übertragbar sind.

Es wird erwartet, dass diese Prüfungsvariante auch hinsichtlich der Vollständigkeit der Dokumentation (automatisierte Erfassung des Prüfungsablaufs, Prüferkommentare), Ressourceneinsatz und Fehleranfälligkeit gegenüber der papierbasierten Form Vorteile bietet, die in zukünftigen Studien untersucht werden sollten.


5. Interessenkonflikt

Die Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.


Literatur

1.
Amin Z, Boulet JR, Cook DA, Ellaway R, Fahal A, Kneebone R, Maley M, Ostergaard D, Ponnamperuma G, Wearn A, Ziv A. Technology-enabled assessment of health professions education: Consensus statement and recommendations from the Ottawa 2010 conference. Med Teach. 2011;33(5):364-369. DOI: 10.3109/0142159X.2011.565832 Externer Link
2.
Eilers K, Nachreiner F, Hänecke K. Entwicklung und Überprüfung einer Skala zur Erfassung subjektiv erlebter Anstrengung. Z Arbeitswissensch. 1986;40:215-224.
3.
Gesellschaft für Medizinische Ausbildung, Kompetenzzentrum für Prüfungen, Fischer MR. Leitlinie für Fakultäts-interne Leistungsnachweise während des Medizinstudiums: Ein Positionspapier des GMA-Ausschusses Prüfungen und des Kompetenzzentrums Prüfungen Baden-Württemberg. GMS Z Med Ausbild. 2008;25(1):Doc74. Zugänglich unter/available from: http://www.egms.de/static/de/journals/zma/2008-25/zma000558.shtml Externer Link
4.
Heid J, Brass K, Haag M, Wojtanowski T, Kurtz W, Feister L, Lindner M, Möltner A, Hochlehnert A, Schultz JH, Jünger J. Kostengünstige, elektronische Prüfungen im Verbund: Der Einsatz von Tablets bei studienbegleitenden Examen. In: Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Aachen, 27.-29.9.12. Düsseldorf: German Medical Science GMS Publishing House; 2012. Doc581. DOI: 10.3205/12gma211 Externer Link
5.
Heid J, Brass K, Hochlehnert A, Möltner A, Schultz JH, Jünger J. Using tablets for OSCE exams to reduce errors and optimize documentation. AMEE-Conference 2013. 24-28.8.13, Prag.
6.
Hochlehnert A, Brass K, Möltner A, Schultz JH, Norcini J, Tekian A, Jünger J. Good exams made easy: The item management system for multiple examination formats. BMC Med Educ. 2012;12:63. DOI: 10.1186/1472-6920-12-63 Externer Link
7.
Hochlehnert A, Brass K, Schultz JH, Jünger J, Fischer M, Georg W. IT-unterstützte Prüfungen mit einem qualitätssichernden System. GMS Jahrestagung der Gesellschaft für Medizinische Ausbildung - GMA. Greifswald, 02.-05.10.2008. Düsseldorf: German Medical Science GMS Publishing House; 2008. Doc08gma18. Zugänglich unter: http://www.egms.de/static/de/meetings/gma2008/08gma018.shtml Externer Link
8.
Kruppa E, Jünger J, Nikendei C. Einsatz innovativer Lern- und Prüfungsmethoden an den Medizinischen Fakultäten der Bundesrepublik Deutschland. Eine aktuelle Bestandsaufnahme. Dtsch Med Wochensch. 2009;134:371–372. DOI: 10.1055/s-0028-1124008 Externer Link
9.
Patricio MF, Juliao M, Fareleira F, Carneiro AV. Is the OSCE a feasible tool to assess competencies in undergraduate medical education? Med Teach. 2013;35(6):503-514. DOI: 10.3109/0142159X.2013.774330 Externer Link
10.
Ritchie J, Lewis J. Qualitative Research Practice. A Guide for Social Science Students and Researchers. London: Sage Publications; 2003.
11.
Ruderich F, Bauch M, Haag M, Heid J, Leven FJ, Singer R, Geiss HK, Jünger J, Tonshoff B. CAMPUS–a flexible, interactive system for web-based, problem-based learning in health care. Medinfo. 2004;11(Pt 2):921-925.
12.
Schmitz F, Zimmermann P. Der Einsatz von Apple iPads zur Bewertung von OSCE-Kandidaten als gewinnbringender Ersatz für gängige Papierchecklisten? Eine systematische Vergleichsstudie zur Akzeptanz und dem voreingenommenen Globalbewertungen von elektronischen Checklisten mit ihren Papierversionen. In: Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). München, 5.-8.10.11. Düsseldorf: German Medical Science GMS Publishing House; 2011. Doc11gma066.
13.
Schmitz F, Zimmermann P. Studentische Akzeptanz von mobilen Checklisten zur Fremdbeurteilung von OSCE-Leistungen. In: Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Aachen, 27.-29.9.12. Düsseldorf: German Medical Science GMS Publishing House; 2012. Doc V589.
14.
Schmitz F, Zimmermann P, Gaunt K, Stolze M, Schär SG. Electronic Rating of Objective Structured Clinical Examinations: Mobile Digital Forms Beat Paper and Pencil Checklists in a Comparative Study. Inform Qua eHealth. 2011;7058:501-512. DOI: 10.1007/978-3-642-25364-5_35 Externer Link
15.
Zijlstra FR. Efficiency in work behavior: a design approach for modern tools. Delft: Delft University, University of Technology; 1993.