gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

OnlineTED.de − ein webbasiertes Abstimmungssystem für die Lehre. Eine Pilotstudie zur Nutzerakzeptanzmessung

Projekt Humanmedizin

Suche in Medline nach

  • Felizian Kühbeck - Technische Universität München (TUM), Institut für Pharmakologie und Toxikologie, München, Deutschland
  • Stefan Engelhardt - Technische Universität München (TUM), Institut für Pharmakologie und Toxikologie, München, Deutschland
  • corresponding author Antonio Sarikas - Technische Universität München (TUM), Institut für Pharmakologie und Toxikologie, München, Deutschland

GMS Z Med Ausbild 2014;31(1):Doc5

doi: 10.3205/zma000897, urn:nbn:de:0183-zma0008978

Dieses ist die deutsche Version des Artikels.
Die englische Version finden Sie unter: http://www.egms.de/en/journals/zma/2014-31/zma000897.shtml

Eingereicht: 2. Juli 2013
Überarbeitet: 15. Oktober 2013
Angenommen: 20. November 2013
Veröffentlicht: 17. Februar 2014

© 2014 Kühbeck et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielfältigt, verbreitet und öffentlich zugänglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Zusammenfassung

Hintergrund und Ziel: TED-Abstimmungssysteme werden zunehmend in der medizinischen Ausbildung an Hochschulen eingesetzt. Jedoch limitieren hohe Kosten und Komplexität herkömmlicher TED-Systeme häufig deren Anwendung. In diesem Projektartikel stellen wir ein neues webbasiertes TED-System vor, das keine Hardware-Klicker oder Installation zusätzlicher Software erfordert und mit allen Betriebssystemen kompatibel ist.

Methoden und Ergebnisse: “OnlineTED” wurde an der Technischen Universität München (TUM) entwickelt und basiert auf Hypertext Preprocessor (PHP) mit My Structured Query Language (MySQL)-Datenbank als serverseitige und Javascript als nutzerseitige Programmiersprachen. “OnlineTED” ermöglicht es Dozenten, Fragensammlungen online zu erstellen, verwalten und in der Lehrveranstaltung mit einem Webbrowser anzuzeigen. Studierende können mit jedem internetfähigen Endgerät (Smartphone, Tablet-PC oder Laptop) an der Abstimmung teilnehmen. Eine Datenerhebung mit Hilfe eines Fragebogens, der Studierenden und Dozenten der TUM ausgehändigt wurde, enthielt Fragen zum Besitz von internetfähigen Endgeräten, der Akzeptanzmessung von "OnlineTED" sowie dem Vergleich von "OnlineTED" mit einem kommerziellen TED-System mit Klickern. Die Nutzerevaluationen von Studierenden und Dozenten ergab eine überdurchschnittlich positive Beurteilung von “OnlineTED” im Vergleich zum kommerziellen TED-System mit Klickern. Die Mehrheit (80%) der befragten Studierenden gab an, ein internetfähiges Endgerät zu besitzen.

Zusammenfassung und Schlussfolgerungen: “OnlineTED” ist ein neues, webbasiertes und plattformunabhängiges TED-Abstimmungssystem für Hochschulen, das von Studenten und Dozenten überdurchschnittlich positiv evaluiert wurde. Als nicht-kommerzielle Alternative zu herkömmlichen TED-Systemen unterstützt es die interaktive Ausbildung von Studierenden, insbesondere bei großen Teilnehmerzahlen.

Schlüsselwörter: TED, Abstimmungssystem, interaktive Lehre


Einleitung

Die Ausbildung an Hochschulen unterliegt einem zunehmenden Wandel von einer dozentenzentrierten zu einer verstärkt studentenfokussierten, interaktiven Lehre. Ursachen für diese Entwicklung sind unter anderem bekannte Limitationen der klassischen Vorlesung, wie z. B. die hohe Passivität der Studierenden oder ein oft wenig effizienter Wissenserwerb und -transfer [1]. Um die studentische Mitarbeit und Interaktivität der Lehre zu verbessern, insbesondere bei Lehrveranstaltungen mit hohen Teilnehmerzahlen, werden weltweit an Bildungseinrichtungen zunehmend elektronische Abstimmungssysteme (Synonym: Tele-Dialog, TED) im Unterricht eingesetzt [2]. TED-Systeme bestehen typischerweise aus einem Funksender ("Klicker"), der von den Studierenden bedient wird, einem Funkempfänger, sowie spezieller Software, um die Abstimmungsergebnisse in der Präsentation des Dozenten* anzuzeigen, z.B. in Form von Histogrammen [3].

TED-Systeme werden in der Lehre auf vielfältige Weise eingesetzt: zur Förderung der studentischen Mitarbeit und Aufmerksamkeit während der Lehrveranstaltung, als Diskussionsgrundlage mit dem Auditorium, oder zur Überprüfung des Wissens- und Verständisstands der Studierenden. Ein weiterer Anwendungsbereich ist die formative Evaluation (formative assessment), durch die der Dozent mit Hilfe des TED-Systems eine sofortige Rückmeldung von den Studierenden erhält, um Lehrstil und -tempo bedarfsgerecht anzupassen [2].

Aktuelle Metaanalysen der medizinischen Ausbildungsforschung haben gezeigt, dass TED-Systeme von der Mehrheit der Studierenden gut angenommen werden und ihr Einsatz mit einem erhöhten kurz- und langfristigen Lernerfolg verbunden sein kann [4].

Dennoch werden TED-Systeme von vielen Dozenten nicht oder nur zögerlich in der Lehre eingesetzt. Häufig genannte Gründe sind die hohen Anschaffungs- und Wartungskosten konventioneller TED-Systeme, der logistische Aufwand für die Durchführung von Abstimmungen, sowie technische Schwierigkeiten wie zum Beispiel die Inkompatibilität der Software mit unterschiedlichen Betriebssystemen [5].

Unser Ziel war diesen Limitationen mit der Entwicklung eines neuen TED-Systems zu begegnen, das speziell an die didaktischen Anforderungen und wirtschaftlichen Möglichkeiten von Bildungseinrichtungen angepasst ist.

In diesem Projektartikel stellen wir mit "OnlineTED" ein neues webbasiertes Abstimmungssystem vor, das keine zusätzliche Hard- oder Software erfordert, plattformunabhängig ist und kostenfrei genutzt werden kann. Auf der Grundlage von Evaluationsergebnissen diskutieren wir die Vor- und Nachteile von "OnlineTED" im Vergleich zu einem an der TUM eingesetzten konventionellen Abstimmungssystem und erörtern das Potenzial von webbasierten TED-Systemen für die Hochschullehre.


Methoden

Programmierung und Onlinedatenbank

"OnlineTED" wurde von Studenten und Dozenten an der TUM entwickelt und programmiert. Hypertext Preprocessor (PHP) wurde als serverseitige Programmiersprache verwendet, um ein Betriebssystem-unabhängiges TED-System zu konzipieren. Eine My Structured Query Language (MySQL)-Datenbank diente der Speicherung und Verwaltung von Benutzerdaten im Internet. JavaScript diente als clientseitige Programmiersprache für dynamische Inhalte, wie z. B. einer Countdown-Funktion während der Abstimmung. Ein Hypertext Transfer Protocol Secure (HTTPS) wurde implementiert, um eine sichere Internet-Kommunikation für die Nutzer zu gewährleisten.

Aufbau und Funktionsumfang

Das Abstimmungssystem "OnlineTED" kann über die Internetseite http://www.OnlineTED.de (http://www.OnlineTED.com, englischsprachige Version) aufgerufen werden. Nach dem Login werden auf der Startseite Informationen für die Teilnahme an einer Abstimmung angezeigt (z.B. den Uniform Resource Locator (URL) der Webseite mit einem aktuellen Zugangscode (Freischaltcode), sowie ein Quick Response (QR) Code) (siehe Abbildung 1 [Abb. 1]). Für Dozenten ist die Startseite Ausgangspunkt für das Starten, Verwalten oder Verfassen von TED-Fragen. Verschiedene Reiter ermöglichen den Zugriff auf die jeweiligen Bereiche: durch Anklicken des Reiters “Übersicht” kann eine bereits erstellte TED-Fragesammlung ausgewählt und gestartet werden. Der Reiter "Spontanumfrage" verweist auf eine Sammlung von voreingestellten allgemeinen Kurzumfragen und -abstimmungen ("ja" / "nein" / "unentschlossen", "sehr gering" bis "sehr hoch", "ausgezeichnet" bis "unzureichend", "trifft zu" bis "trifft nicht zu") für den spontanen Einsatz in Lehrveranstaltungen. Im Bereich "Fragenverwaltung" können bereits bestehende TED-Fragen modifiziert oder neue Fragensets im Multiple Choice (MC)-Format mit Hilfe einer Eingabemaske erstellt werden (siehe Abbildung 2 [Abb. 2]). Das System ermöglicht die direkte Einbindung von Bild- (gif, jpg oder png), Film- (mov, avi oder mpeg) oder Audiodateien (mp3, aac oder wav) in TED-Fragen. Alternativ können Hyperlinks zu Lehrmedien (z.B. Filmclips in http://youtube.com) in TED-Fragen eingefügt werden.

Studierende können sich mit jedem internetfähigen Endgerät (Smartphone, Tablet-PC oder Laptop) bei "OnlineTED" anmelden und an einer Abstimmung teilnehmen. Die Anmeldung erfolgt durch die manuelle Eingabe des vierstelligen Zugangscodes, der automatisch für jede TED-Sitzung generiert und angezeigt wird. Alternativ ist die Anmeldung durch Einscannen des QR-Codes möglich. Die Antwortoptionen der vom Dozenten gestarteten TED-Frage werden automatisch auf den mobilen Endgeräten der Teilnehmer angezeigt (siehe Abbildung 3A [Abb. 3]). Die Antwortauswahl erfolgt durch Antippen oder Anklicken des jeweiligen Antwortfelds im Display. Die Abstimmungsergebnisse werden anschließend in der Präsentation des Dozenten als wachsende Histogramme mit Prozentangabe angezeigt (siehe Abbildung 3B [Abb. 3]).

Jede TED-Frage erfordert eine bidirektionale Datenübertragung von ca. 0,03 Megabit (MBit). Auf Basis einer durchschnittlichen Datenübertragungsgeschwindigkeit von 54 MBit/s in Wireless Local Area Network (WLAN) Funknetzen und 7,2 Mbit/s in Universal Mobile Telecommunications System (UMTS) Mobilfunknetzen [6], kann “OnlineTED" auch in Lehrveranstaltungen mit hohen Teilnehmerzahlen eingesetzt werden.

Durch die Verwendung von PHP als serverseitige Programmiersprache ist "OnlineTED" mit allen gängigen Betriebssystemen kompatibel. Eine Installation von zusätzlicher Software auf dem Computer des Dozenten oder den mobilen Endgeräten der Studierenden ist nicht erforderlich.

Evaluation und Studiendesign

Um die Funktionalität und Benutzerfreundlichkeit von "OnlineTED" in der Hochschullehre zu testen, wurde das Abstimmungssystem im Wintersemester 2012/13 in Vorlesungen (durchschnittliche Teilnehmerzahl: 200±50) und Seminaren (durchschnittliche Teilnehmerzahl: 22±3) der TUM eingesetzt. Ein konventionelles Abstimmungssystem mit Hardware-Klickern (Interwrite Cricket, Scottsdale, USA), das an der TUM für die Lehre eingesetzt wird, diente als Vergleich.

Die Datenerhebung erfolgte mit Hilfe eines Papierfragebogens, der Studierenden und Dozenten der TUM in den Lehrveranstaltungen des Fachs Pharmakologie am Ende des Semesters ausgehändigt wurde. Eine Ratingskala mit den Antwortoptionen 1 "exzellent", 2 "sehr gut", 3 "gut", 4 "ausreichend", 5 "mangelhaft" und 6 "ungenügend" wurde für die Bestimmung der Gesamtnote von "OnlineTED" verwendet. Für den Vergleich zwischen "OnlineTED" und dem konventionellen Abstimmungssystem konnte aus den Antwortoptionen "besser", "gleich" oder "schlechter" ausgewählt werden.

Die Teilnahme an der Umfrage war anonym, freiwillig und erfolgte mit Zustimmung der Ethikkommission der TUM. Der Webseitenzugriff auf "OnlineTED" wurden mit Google Analytics (Google, Mountain View, CA) erfasst.


Ergebnisse

Vergleich "OnlineTED" vs. konventionelles Abstimmungssystem

Ein konventionelles kommerzielles Abstimmungssystem (Interwrite Cricket, Scottsdale, USA; http://www.banxia.com/prs/hardware/cricket), das routinemäßig im Unterricht an der TUM eingesetzt wird, diente als Vergleich. Das System besteht aus einem 2,4 Gigahertz Funkempfänger und Funksender (Klicker). Laut Angaben des Herstellers können bis zu 2047 Klicker mit einem Funkempfänger verbunden werden. Der Klicker besteht aus einer Tastatur mit sechs Schaltflächen für numerische Eingaben, sowie zwei Eingabeflächen „F“ und „T“ für Falsch/Richtig-Abstimmungen. Die Klicker enthalten zwei AAA-Batterien, die eine Nutzung von bis zu 20 Wochen bei normalen Einsatz ermöglichen. Die Reichweite des Systems beträgt maximal 45,7 m. Für die Erstellung von TED-Fragen (MC- und Richtig/Falsch-Fragen) sowie der Durchführung einer Abstimmung ist eine spezielle Software erforderlich, die auf dem Rechner des Dozenten installiert wird.

Im Gegensatz dazu ist "OnlineTED" ein vollständig webbasiertes Abstimmungssystem, das die internetfähigen Endgeräte der Teilnehmer als Klicker nutzt. "OnlineTED" erfordert keine Installation von zusätzlicher Software auf den Endgeräten der Dozenten oder Studierenden und ist mit allen gängigen Betriebssystemen kompatibel. Durch den geringen Datentransfer (0,03 Mbit pro TED-Frage) sind auch Abstimmungen mit großen Teilnehmerzahlen und/oder geringer Bandbreite der Internetverbindung möglich. Da "OnlineTED" vollständig webbasiert ist, können Abstimmungen auch mit Teilnehmern durchgeführt werden, die sich an unterschiedlichen Orten befinden (z.B. im Rahmen von Webinaren). In Gegensatz zu dem konventionellen Vergleichssystem erfolgt die Erstellung und Verwaltung der TED-Fragen bei „OnlineTED“ ausschließlich online. Zusätzlich bietet „OnlineTED“ die Möglichkeit, Spontanumfragen durchzuführen. Hierfür stehen allgemeine Fragensets mit verschiedenen Rating-Skalen ("ja" / "nein" / "unentschlossen", "sehr gering" bis "sehr hoch", "ausgezeichnet" bis "unzureichend", "trifft zu" bis "trifft nicht zu") zur Verfügung.

An der Fragebogen-basierten Datenerhebung zur Bewertung der Funktionalität und Benutzerfreundlichkeit von "OnlineTED" im Vergleich zu konventionellen Klicker-basierten TED-Systemen nahmen 361 von 709 (51 %) Studenten der TUM teil. Von diesen besuchten 203 Studenten die aus Vorlesungen und Seminaren bestehende Lehrveranstaltung "Allgemeine Pharmakologie" im ersten klinischen Studienjahr. 158 Studenten besuchten die Lehrveranstaltung "Klinische Pharmakologie" im dritten klinischen Studienjahr, die nur aus Vorlesungen besteht. Das Durchschnittsalter der Studenten war 23,4 (SD 3,5) Jahre in der Lehrveranstaltung "Allgemeine Pharmakologie" und 25,3 (SD 3,3) in der Lehrveranstaltung "Klinische Pharmakologie". Neun von zehn Dozenten beteiligten sich an der Umfrage, das Durchschnittsalter war 40,1 (SD 10,0) Jahre.

Webstatistik und Evaluationsergebnisse

Die Beta-Version von "OnlineTED" wurde am 1. November 2012 auf http://wwwOnlineTED.de (englischsprachige Version: http://wwwOnlineTED.com) bereitgestellt. In den ersten vier Monaten (bis 28. Februar 2013) verzeichnete die Webseite 2.997 Besucher und 37.696 Seitenzugriffe (ca. 750 Besucher und 9.424 Seitenzugriffe pro Monat).

Die Gesamtbewertung von „OnlineTED“ durch die Dozenten war "sehr gut" (fünf von zehn Dozenten) und "exzellent" (vier von zehn Dozenten). Der didaktische Nutzen von "OnlineTED" für den Unterricht wurde von sechs Dozenten mit "exzellent" und von drei Dozenten mit "sehr gut" bewertet. In den Freitextkommentaren wurde von den Dozenten angeführt, dass "OnlineTED" eine "hilfreiche Grundlage für Diskussionen zwischen Studenten und Dozenten während der Lehrveranstaltung" ist. Weiterhin wurde die Möglichkeit der „spielerischen Diskussion von Themen und klinischen Problemstellungen“ als Vorteil gesehen, z.B. durch die Präsentation von klinischen Fallbeispielen mit Abstimmung der geeigneten Pharmakotherapie durch das Auditorium. Als spezifischer Vorteil von „OnlineTED“ wurde angegeben, „spontan den Wissenstand und -fortschritt“ der Studenten durch die Spontanumfragefunktion zu ermitteln.

Im Vergleich zu konventionellen TED-Systemen mit Hardware-Klickern wurde "OnlineTED" von den Dozenten in insgesamt sieben von neun Kategorien als überlegen bewertet (siehe Abbildung 4A [Abb. 4]). Als wichtigste Vorteile wurde von den Dozenten die kurze Einarbeitungszeit in das System, sowie die hohe Flexibilität von „OnlineTED“ angesehen (zehn von zehn, und neun von zehn Dozenten).

Etwa 80% (289 von 361) der an der Umfrage beteiligten Studenten der TUM gaben an, ein mobiles internetfähiges Endgerät (Smartphone, Tablet-PC oder iPad) zu besitzen. Von diesen konnten die Mehrheit (92%, n=265) problemlos über WLAN oder eine Mobilfunkverbindung an den TED-Abstimmung während der Lehrveranstaltung teilnehmen. Die Mehrzahl der Studierenden (94%, n=274) vergab für "OnlineTED" die Gesamtnote "exzellent” oder "sehr gut". Im Vergleich zu konventionellen Abstimmungssystemen mit Hardware-Clicker wurde "OnlineTED" von den Studierenden in allen Kategorien als gleichwertig oder überlegen eingestuft (siehe Abbildung 4B [Abb. 4]).


Diskussion

In diesem Artikel stellen wir mit "OnlineTED" ein neues webbasiertes Abstimmungssystem vor, das plattformunabhängig ist, keine Hardware-Klicker benötigt und kostenfrei genutzt werden kann. Ziel dieses Projekts war es, ein TED-System zu entwickeln, das speziell auf die Bedürfnisse und Anforderungen der Hochschullehre ausgerichtet ist und hinsichtlich Funktionalität und Benutzerfreundlichkeit mit kommerziellen Systemen vergleichbar ist. Zu unserer Überraschung wurde "OnlineTED" sowohl von Studierenden als auch Dozenten in mehreren Kategorien als ein den kommerziellen Produkten überlegenes System bewertet (siehe Abbildung 4 [Abb. 4]). Insbesondere die hohe Benutzerfreundlichkeit und Flexibilität von "OnlineTED" bei der Fragenerstellung und -verwaltung sowie der praktische Einsatz bei Lehrveranstaltungen wurden als Vorzüge im Vergleich zu konventionellen Abstimmungssystemen angeführt. Ferner kann "OnlineTED" als ein nicht-kommerzielles Abstimmungssystem von Dozenten und Studenten weltweit kostenfrei genutzt werden.

Eine potentielle Limitation für den Einsatz von webbasierten TED-Systemen ist die Notwendigkeit einer Internetverbindung. Diese kann an einigen Universitäten aufgrund von Sicherheitsbestimmungen oder durch lokale bauliche Gegebenheiten mit schlechter WLAN-Abdeckung oder Mobilfunkempfang nicht oder nur eingeschränkt gegeben sein. Ein weiterer potentieller Unsicherheitsfaktor ist die Datensicherheit im Internet. Um einen sichere Datenübertragung zu gewährleisten wurde bei „OnlineTED“ das Kommunikationsprotokoll HTTPS implementiert, das z.B. beim Internetbanking für die Übertragung vertraulicher Daten Verwendung findet. HTTPS ermöglicht eine bidirektionale verschlüsselte Datenübermittlung zwischen Client und Server mit Authentifizierung von Webseite und Webserver [7]. Als weitere Sicherheitsmaßnahme speichert "OnlineTED" keine Internetprotokoll (IP) Adressen der Endgeräte, wodurch die Anonymität der Teilnehmer gewährleistet ist.

In welchen Umfang bei Studierenden und Dozenten Bedenken gegenüber webbasierten Lehrtechnologien bestehen, ist noch wenig untersucht. Hingegen deuten umfangreiche Studien über den Einsatz von TED-Systemen in der Hochschullehre auf deren Effektivität, z.B. in Hinblick auf Wissenserwerb, Meinungsbildung und Zufriedenheit der Studierenden im Unterricht (Übersicht in [5], [8], [9]). Der am häufigsten angeführte Vorteil von TED-Systemen ist die intensivierte studentische Mitarbeit und Interaktion in Lehrveranstaltungen. Hier stellen TED-Systeme eine bequeme Möglichkeit dar, studentische Mitarbeit zu fördern. Allerdings ist für den Lernerfolg letztlich die pädagogisch und didaktische Fähigkeit eines Dozenten entscheidend, und damit die Art der Einbindung von technischen Innovationen wie TED-Systemen in den Unterricht. Beispielsweise wurden in einer Studie von Smith et al. [10] Studenten aufgefordert, TED-Fragen zunächst mit dem Platznachbarn zu diskutieren und erst nach gemeinsamer Konsensfindung abzustimmen. Die Autoren konnten zeigen, dass kollaboratives Diskutieren und Abstimmen mit TED-Systemen eine effektive Methode ist, aktives Lernen zu fördern und mit einem signifikant verbesserten konzeptionellen Verständnis verbunden ist. Diese Ergebnisse relativieren Bedenken, dass durch eine limitierte Zahl von Abstimmungsgeräten nur ein Teil der Studenten aktiv am Unterricht teilnehmen können. Vielmehr könnte diese Situation auch die Möglichkeit zu dem vom Smith et al. [10] dargestellten didaktisch wertvolleren TED-Einsatz durch kooperatives Abstimmen eröffnen. Ein weiterer pädagogischer Aspekt von TED-Systemen ist deren Einsatz in der formativen Evaluation (formative assessment). Alexander und Kollegen [11] konnten zeigen, dass studentisches Feedback mit TED-Systemen erfolgreich für die bedarfsgerechte Anpassung der Lehre durch Dozenten genutzt werden kann. Für Studierende bietet sich die Möglichkeit, ihren persönlichen Lernfortschritt mit dem ihrer Kommilitonen zu vergleichen.

Die Omnipräsenz des Internets und die weite Verbreitung computerbasierter Technologien eröffnen neue Möglichkeiten, Studenten aktiv in der Lehre einzubeziehen. Unsere Datenerhebung ergab, dass bis zu 80% der Medizinstudenten an der TUM ein internetfähiges Endgerät (Smartphone, Tablet oder iPad) besitzen. Diese Ergebnisse stehen in Einklang mit aktuellen Studien aus Großbritannien, die den Besitz von Smartphones bei Medizinstudierenden mit 60 bis 80 % angeben [12], [13]. Webbasierte Abstimmungssysteme wie "OnlineTED" könnten somit eine gute Alternative zu konventionellen TED-Systemen darstellen, um interaktives Lernen und studentische Mitarbeit zu fördern, insbesondere bei Lehrveranstaltungen mit hohen Teilnehmerzahlen.


Danksagung

Wir danken Leszek Wojnowski für die kritische Durchsicht des Manuskripts. Pascal Berberat und den Mitarbeitern des Medizindidaktischen Zentrums der TUM möchten wir für die Bereitstellung von statistischen Daten zur Altersverteilung der Studienkohorte danken.


Anmerkung

Im Interesse der erleichterten Lesbarkeit und damit der Verständlichkeit wird nur die verallgemeinerte männliche Sprachform gewählt. Hierbei sind aber immer ausdrücklich beide Geschlechter angesprochen.


Interessenkonflikt

Die Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.


Literatur

1.
Biggs J, Tang C. Teaching for quality learning at university. Maidenhead (Berkshire): Open University Press; 2011.
2.
Kay RH, LeSage A. A strategic assessment of audience response systems used in higher education. Aus J Educ Technol. 2009;25(2):235-249.
3.
Barber M, Njus D. Clicker evolution: seeking intelligent design. Cell Biol Educ. 2007;6(1):1–8. DOI: 10.1187/cbe.06-12-0206 Externer Link
4.
Cate Ten O, Durning S. Peer teaching in medical education: twelve reasons to move from theory to practice. Med Teach. 2007;29(6):591–599. DOI: 10.1080/01421590701606799 Externer Link
5.
Caldwell JE. Clickers in the Large Classroom: Current Research and Best-Practice Tips. Cell Biol Educ. 2007;6(1):9–20. DOI: 10.1187/cbe.06-12-0205 Externer Link
6.
Schüring M. Mobile cloud computing–open issues and solutions. Enschede: University of Twente; 2011. Zugänglich unter/available from: http://referaat.cs.utwente.nl/conference/15/paper/7247/mobile-cloud-computing-open-issues-and-solutions.pdf Externer Link
7.
Callegati F, Cerroni W, Ramilli M. Man-in-the-Middle Attack to the HTTPS Protocol. IEEE Security & Privacy. 2009.
8.
Boscardin C, Penuel W. Exploring benefits of audience-response systems on learning: a review of the literature. Acad Psych. 2012;36(5):401–407. DOI: 10.1176/appi.ap.10080110 Externer Link
9.
Nelson C, Hartling L, Campbell S, Oswald AE. The effects of audience response systems on learning outcomes in health professions education. A BEME systematic review: BEME Guide No. 21. Med Teach. 2012;34(6):e386–405. DOI: 10.3109/0142159X.2012.680938 Externer Link
10.
Smith MK, Wood WB, Adams WK, Wieman C, Knight JK, Guild N, et al. Why peer discussion improves student performance on in-class concept questions. Science. 2009;323(5910):122–124. DOI: 10.1126/science.1165919 Externer Link
11.
Alexander CJ, Crescini WM, Juskewitch JE, Lachman N, Pawlina W. Assessing the integration of audience response system technology in teaching of anatomical sciences. Anat Sci Educ. 2009;2(4):160–166. DOI: 10.1002/ase.99 Externer Link
12.
Robinson T, Cronin T, Ibrahim H, Jinks M, Molitor T, Newman J, Shapiro J. Smartphone use and acceptability among clinical medical students: a questionnaire-based study. J Med Syst. 2013;37(3):9936. DOI: 10.1007/s10916-013-9936-5 Externer Link
13.
Payne KFB, Wharrad H, Watts K. Smartphone and medical related App use among medical students and junior doctors in the United Kingdom (UK): a regional survey. BMC Med Inform Decis Mak. 2012;12:121. DOI: 10.1186/1472-6947-12-121 Externer Link