gms | German Medical Science

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)

05.10. - 08.10.2011, München

Der Einsatz von Apple iPads zur Bewertung von OSCE-Kandidaten als gewinnbringender Ersatz für gängige Papierchecklisten? Eine systematische Vergleichsstudie zur Akzeptanz und den vorgenommenen Globalbewertungen von elektronischen Checklisten mit ihren Papierversionen

Vortrag

Search Medline for

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). München, 05.-08.10.2011. Düsseldorf: German Medical Science GMS Publishing House; 2011. Doc11gma066

DOI: 10.3205/11gma066, URN: urn:nbn:de:0183-11gma0665

Published: September 26, 2011

© 2011 Schmitz et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Outline

Text

Fragestellung: Wir haben das mobile System e-OSCE entwickelt, das elektronische Bewertungen von OSCE-Kandidaten mittels iPads ermöglicht. 2 Hypothesen wurden geprüft: (H1) Verglichen mit den gängigen Papierchecklisten wird e-OSCE besser akzeptiert. (H2) Die Kandidatenbewertungen werden nicht durch e-OSCE verzerrt.

Methoden: 10 Examinatoren haben während eines OSCE je 12 Kandidaten mit e-OSCE und mit inhaltlich identischen Papierchecklisten bewertet (Reihenfolge ausbalanciert). Um die Akzeptanz zu erfassen (H1), haben die Examinatoren beide Medien hinsichtlich Benutzerfreundlichkeit (16 Items, 7-stufige Likert-Skala [1]) und mentaler Anstrengung (1 Item, visuelle Analogskala von 0 bis 220 [2]) beurteilt und eine Systempräferenz angegeben. Um die Kandidatenbewertungen zu vergleichen (H2), wurden Globalbeurteilungen (4 Items, 5-stufige Rating-Skala) nach Medium verglichen. Die Ergebnisse des Systemvergleichs wurden mit Ausnahme des Präferenzurteils (Chi2-Test) anhand des Wilcoxon-Tests ermittelt.

Ergebnisse: Die Benutzerfreundlichkeit von e-OSCE (M=6.4) wurde verglichen mit der Papiercheckliste (M=5.6) insgesamt besser erlebt (z=-1.94; p=0.026). Die mentale Anstrengung wurde tiefer bei der Verwendung von e-OSCE (M=71.3) als beim Gebrauch der Papiercheckliste (M=89.2) beurteilt (z=1.84; p=0.033). Die Präferenzurteile zeigen: 8 Personen bevorzugen e-OSCE als Erhebungsinstrument, 1 Person arbeitet lieber mit Papier (1 Enthaltung) (Chi2(1)=5.44; p=0.02). Die Kandidatenbewertungen unterschieden sich nicht signifikant zwischen den Systemen (stets -1.65<z< 1.65).

Schlussfolgerung: E-OSCE wurde auf allen Akzeptanz-Dimensionen signifikant besser bewertet als das Papierpendant. Die deutliche Präferenz für e-OSCE wurde u.a. durch einfachere Korrigierbarkeit vorgenommener Bewertungen sowie besserer Übersichtlichkeit der Checklisten begründet. Ferner konnte kein Einfluss des Mediums auf die Bewertungen festgestellt werden, womit 2 Vorbedingungen für einen produktiven Einsatz von e-OSCE erfüllt sind.


Literatur

1.
Lewis, JR. IBM computer usability satisfaction questionnaires - psychometric evaluation and instructions for use. Int J Hum Comp Inter. 1995;7(1):57-78. DOI: 10.1080/10447319509526110 External link
2.
Eilers K, Nachreiner F, Hänecke K. Entwicklung und Überprüfung einer Skala zur Erfassung subjektiv erlebter Anstrengung. Z Arbeitswiss. 1986;40(12 NF)(4):215-224.