gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

Gruppenleistungen beim Review von Multiple-Choice-Fragen - Ein Vergleich von face-to-face und virtuellen Gruppen mit und ohne Moderation

Forschungsarbeit Humanmedizin

Suche in Medline nach

  • author Edda Kazubke - Humboldt-Universität zu Berlin, Institut für Psychologie, Berlin, Deutschland
  • corresponding author Katrin Schüttpelz-Brauns - Charitè - Universitätsmedizin Berlin, Dieter Scheffner Fachzentrum, Assessment-Bereich / Progress Test Medizin, Berlin, Deutschland

GMS Z Med Ausbild 2010;27(5):Doc68

doi: 10.3205/zma000705, urn:nbn:de:0183-zma0007053

Dieses ist die deutsche Version des Artikels.
Die englische Version finden Sie unter: http://www.egms.de/en/journals/zma/2010-27/zma000705.shtml

Eingereicht: 9. März 2010
Überarbeitet: 9. Juli 2010
Angenommen: 20. Juli 2010
Veröffentlicht: 15. November 2010

© 2010 Kazubke et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielfältigt, verbreitet und öffentlich zugänglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Zusammenfassung

Einleitung: Multiple-Choice-Fragen (MCF) werden in vielen Prüfungen der medizinischen Ausbildung verwendet und bedürfen aus diesem Grund einer sorgfältigen Qualitätssicherung, beispielsweise durch den Einsatz von Review-Komitees. Anhand der vorliegenden empirischen Studie soll erforscht werden, ob virtuell per E-Mail kommunizierende Review-Komitees vergleichbar sind mit face-to-face Review-Komitees hinsichtlich ihrer Leistung beim Review-Prozess und ob sich Moderation positiv auswirkt.

Methodik: 16 Kleingruppen von Psychologie-Studenten hatten die Aufgabe unter vier verschiedenen Versuchsbedingungen MCF zu bewerten und zu verbessern. Im zweiten Untersuchungsabschnitt wurden die veränderten Fragen zur Beurteilung der Güte einer neuen Stichprobe vorgelegt.

Ergebnisse: Für die Variablen „Art der Review-Komitees“ und „Moderation“ wurde kein signifikanter Einfluss gefunden. Jedoch unterschieden sich face-to-face und virtuelle Gruppen deutlich in den benötigten Bearbeitungszeiten. Die Versuchsbedingung „face-to-face ohne Moderation“ wurde von den Versuchsteilnehmern hinsichtlich Verantwortungsübernahme, Arbeitsweise, Wohlgefühl, Motivation und Konzentration auf die Aufgabe generell am positivsten bewertet.

Diskussion: Face-to-face und virtuelle Gruppen sind beim Review von MCF gleich effektiv, unterscheiden sich aber hinsichtlich ihrer Effizienz. Der Einsatz elektronischen Reviews scheint somit möglich, ist aber wenig empfehlenswert wegen der langen Bearbeitungszeit und technischer Probleme.

Schlüsselwörter: Multiple-Choice-Fragen, face-to-face, virtuell, Moderation, Review-Komitee


Einleitung

Die ärztliche Approbationsordnung verlangt für jedes Fach in der medizinischen Ausbildung eine Benotung. Zur Überprüfung der Studienleistung werden vielfach Multiple-Choice (MC) Aufgaben eingesetzt. Hierbei ist die Qualität der konstruierten Fragen von hoher Bedeutung. Zur Gewährleistung dieses Anspruchs ist es notwendig, die MC-Fragen vor ihrem Einsatz in Prüfungen zu evaluieren und gegebenenfalls zu verbessern. Die Qualitätssicherung erfolgt in der Regel durch den Einsatz von Review-Komitees (RKs), welche sich aus Experten verschiedener Fachbereiche konstituieren und bezüglich der Erkennung formaler Fehler in Fragen geschult werden. Diese spezielle Aufgabe wird in Gruppen bearbeitet, um das Wissen und die Erfahrung vieler Personen nutzbar zu machen. Um mögliche Störeinflüsse gruppendynamischer Prozesse zu minimieren, werden die regelmäßigen Sitzungen moderiert. Moderation beeinflusst die Qualität von Kommunikation und Zusammenarbeit positiv [1]. Die Terminierung der Mitglieder von RKs ist ein Problem, zu dessen Lösung die Einführung elektronischer Reviews beitragen könnte. Die Umsetzung virtueller Zusammenarbeit als RK ist beispielsweise per E-Mail denkbar. Von Vorteil ist hierbei die selbstbestimmte Wahl des Kommunikationszeitpunktes und der Bearbeitungszeit [2]. Die bisherige Forschung zum Vergleich der Arbeit von face-to-face und virtuellen Gruppen konnte keine Leistungsunterschiede zeigen. Virtuelle Gruppen benötigten allerdings deutlich mehr Zeit für die Bearbeitung derselben Aufgabe. Darüber hinaus waren die Mitglieder solcher Gruppen wesentlich unzufriedener mit der Zusammenarbeit. Ein positiver Einfluss von Moderation konnte auch für den Bereich virtueller Zusammenarbeit gezeigt werden [3]. Weitgehend unerforscht ist bisher die Vergleichbarkeit der Leistungen von face-to-face und virtuellen Gruppen bei der speziellen Aufgabenstellung des Review von MC-Aufgaben. Hieraus resultiert die Frage nach der Übertragbarkeit der Ergebnisse aus der sozialpsychologischen Forschung in den Bereich der medizinischen Ausbildung.

Zur Beurteilung der Leistung werden sowohl Effektivitäts-, als auch Effizienzkriterien herangezogen. Weiterhin soll untersucht werden, in wieweit Unterschiede zwischen face-to-face und virtuellen RK-Gruppen bezüglich der subjektiven Beurteilung von Verantwortungsübernahme, Zusammenarbeit, Wohlgefühl, Motivation und Konzentration auf die Aufgabe existieren.


Methodik

Die Untersuchung erfolgte in zwei Abschnitten – der Durchführung von RKs zur Beurteilung und Verbesserung mangelhafter MC-Fragen und einem anschließenden Testlauf der veränderten Fragen zur Ermittlung der Güte.

Stichproben

Teilnehmer für die RKs waren 41 Studentinnen und 8 Studenten der Psychologie im Grundstudium der Humboldt-Universität zu Berlin mit einem Altersmittel von 23,17 Jahren (SD=4,21). Diese wurden durch Aushänge und direkte Ansprache in Vorlesungen rekrutiert und erhielten für ihre Teilnahme Versuchspersonen-Stunden vom Lehrstuhl für Sozialpsychologie gutgeschrieben. Sie arbeiteten in 16 Kleingruppen von zwei bis vier Personen. Die Anzahl der Gruppen wurde mittels G*Power festgelegt, um einen mittleren Effekt mit Hilfe der gewählten Teststatistiken belegen zu können. Die Hälfte der Gruppen war in ihrer geschlechtsbezogenen Zusammensetzung homogen. Von der Teilnahme ausgeschlossen wurden Personen, die nicht Psychologiestudenten im Grundstudium waren, die keine Erfahrung im Umgang mit Computern hatten oder denen kein E-Mail-Konto zur Verfügung stand.

Am zweiten Untersuchungsabschnitt nahmen 80 Studenten anderer Fachrichtungen der Humboldt-Universität zu Berlin teil, welche von den Versuchsleitern direkt am Hauptgebäude der Universität angesprochen wurden.

Material

Den RKs wurden 32 MC-Fragen zum Thema Allgemeinwissen mit beabsichtigten Mängeln [4] vorgelegt. Die Anzahl der eingefügten formalen Fehler variierte zwischen Null und Sechs und wurde mittels Expertenurteil bestätigt. Zwei geschulte Personen beurteilten unabhängig voneinander die Art und Anzahl der Fehler. Im Anschluss wurde in Absprache ein gemeinsames Expertenurteil gebildet. Zur Erleichterung der Gruppenarbeit kam ein Schema zum Einsatz, welches der Bewertung und Verbesserung von MC-Fragen dient und vom Assessment-Bereich der Charité – Universitätsmedizin Berlin entwickelt wurde. Das verwendete Schema ermöglicht die Abfrage zur Einhaltung der Fragenrichtlinien [4] (z.B. unplausible Distraktoren oder Homogenität der Antwortoptionen). Als Maß der Gruppenleistung galt im ersten Untersuchungsabschnitt die Differenz zwischen der Fehlerzahl, welche durch die RKs gefunden wurde und der von Experten bestimmten Fehlerzahl. Im zweiten Untersuchungsabschnitt wurde die Leistung über die Erhöhung bzw. Verringerung der Trennschärfen in den Testdurchläufen bestimmt. Die beschriebenen Leistungsmaße dienten der Effektivitätsbestimmung, während die erfasste Bearbeitungszeit als Effizienzkriterium herangezogen wurde. Eine mögliche weitere Effizienzbeurteilung lieferte ein 10 Items umfassender Fragebogen zur Erfassung von Verantwortungsübernahme, Arbeitsweise (bezieht sich auf gemeinsame vs. alleinige Arbeit), Wohlgefühl, Motivation und Konzentration auf die Aufgabe. Die verwendeten Items wurden zum Teil gebräuchlichen Fragebögen, wie dem „Fragebogen zur Arbeit im Team“ (FAT; Kauffeld, 2004) entnommen oder als one-item-measurement selbst konstruiert. Bei allen handelt es sich um 6-stufige Likert-Items.

Durchführung

Die Umsetzung der Fragestellung erfolgte mittels eines zweifaktoriellen Designs mit vollständiger Messwiederholung mit den Faktoren Art des Review (face-to-face/virtuell) und Moderation (ja/nein). Die Teilnehmer wurden den RKs randomisiert zugeteilt, wobei die Gruppen letztendlich aus zwei bis vier Teilnehmern bestanden. Dies ergab sich aus dem Umstand, dass manche Versuchspersonen nicht erschienen oder am vereinbarten Termin erkrankt waren. Die Zuordnung zu den Versuchsgruppen erfolgte nach dem Zufallsprinzip, je nach Ankommen zu den Schulungsterminen. Die Reihenfolge der zu durchlaufenden Versuchsbedingungen wurde permutiert, um Reihenfolgeeffekte zu verhindern. Vor Versuchsbeginn wurden die Probanden mit den zu verwendenden Materialien vertraut gemacht und bezüglich der Kriterien zur Beurteilung von MC-Aufgaben geschult. Im Anschluss wurden den Teilnehmern die MC-Fragen (pro Bedingung 8) und Instruktionen per E-Mail übermittelt. Die Zuordnung der Fragen zu den Versuchsbedingungen erfolgte per Zufall. Bevor die Gruppenarbeit begann, stand allen Versuchsteilnehmern eine halbstündige Vorbereitungszeit zur Verfügung. Für die face-to-face Bedingungen waren jeweils 30 Minuten zur Bearbeitung der MC-Fragen geplant, für die virtuellen Bedingungen jeweils eine Woche. Die Moderation wurde von den Versuchsleiterinnen übernommen. Unter jeder Bedingung mussten die vorgelegten MC-Fragen mit Hilfe des o.g. Schemas bewertet und gegebenenfalls verbessert werden. Nach jeder Versuchsbedingung war der Fragebogen zu den Aspekten Verantwortungsübernahme, Arbeitsweise, Wohlgefühl, Motivation und Konzentration auf die Aufgabe von den Teilnehmern zu beantworten.

Aus der Menge der veränderten MC-Fragen wurde pro Versuchsbedingung für jede der 32 Fragen eine Version zufällig gezogen und zu vier Wissenstests zusammengestellt. Jeder Test enthielt jeweils acht Fragen aus jeder Versuchsbedingung. Ein fünfter Test enthielt die 32 Original-Fragen als Vergleichsmaß für die vorgenommenen Verbesserungen. Die so entstandenen fünf Tests wurden weiteren Studenten abschließend vorgelegt. Die Bearbeitung erfolgte in Anwesenheit der Versuchsleiterinnen.

Statistische Analysen

Zur Beurteilung der Gruppenarbeit wurde für die Differenzwerte zwischen Gruppen- und Expertenurteil eine Varianzanalyse (ANOVA) für Messwiederholung berechnet. Zusätzlich zu Testgröße und p-Wert wird jeweils die Effektstärke mit η2 angegeben. Nach Cohen [5] handelt es sich ab einem η2 von 0,0099 um einen kleinen Effekt, bei einen η2 von 0,0588 um einen mittleren und bei η2=0,1379 um einen großen Effekt. Die Bearbeitungszeiten der virtuellen Versuchsbedingungen wurden aufgrund der nicht vorliegenden Normalverteilung der Variable ohne Moderation mit Hilfe des Vorzeichenrangtests von Wilcoxon beurteilt. Für die erhobenen Daten zu den Aspekten Verantwortungsübernahme, Arbeitsweise, Motivation, Wohlgefühl und Konzentration auf die Aufgabe wurde eine Rangvarianzanalyse für abhängige Stichproben nach Friedman mit den jeweiligen Gruppenmittelwerten durchgeführt. Die im zweiten Teil der Untersuchung erhobenen Trennschärfekoeffizienten der Original-Fragen (punkt-biserialer Korrelationskoeffizient mit Part-Whole-Korrektur) bzw. veränderten Fragen aus den veränderten Bedingungen wurden mittels Wilcoxon-Rangsummen-Test verglichen. Unterschiede galten als statistisch signifikant, wenn p≤0,05. Alle Daten wurden mit Hilfe des Statistikprogramms SPSS 15.0 analysiert.


Ergebnisse

Effektivität von face-to-face und virtuellen Gruppen

1. Expertenurteil

Die Voraussetzungen für die Berechnung der ANOVA wurden geprüft und sind gegeben. In der Bedingung virtuelles Review ohne Moderation beträgt die mittlere Differenz zum Expertenurteil M=7,69 (SD=3,11) Fehler, in der Bedingung virtuelles Review mit Moderation M=7,50 (SD=2,73) Fehler. Beim Review face-to-face ohne Moderation werden im Mittel M=8,12 (SD=2,75) bzw. mit Moderation M=6,75 (SD=2,77) Fehler der Experten nicht gefunden (siehe Abbildung 1 [Abb. 1]). Weder die RK-Form (F(1)= 0,04, p=0,84, η2=0,00) noch der Einsatz von Moderation (F(1)=1,54, p=0,23, η2=0,09) oder die Wechselwirkung der beiden Variablen (F(1)=0,73, p=0,41, η2=0,05) haben einen signifikanten Einfluss auf die Größe der Differenz zum Expertenurteil. Hierbei ist der Anteil der aufgeklärten Varianz für die Variable Moderation mit 9% am höchsten.

Die Untersuchung der Wirkung der über alle Versuchsbedingungen konstanten Einflussfaktoren Gruppengröße (F(2)=0,18, p=0,84, η2=0,03) und Geschlechtszusammensetzung (F(1)=2,06, p=0,17, η2=0,13) zeigt ebenfalls keine signifikanten Ergebnisse. In der Versuchsbedingung face-to-face erreichen gleichgeschlechtliche Gruppierungen eine mittlere Differenz zum Expertenurteil von M=8,38 (SD=2,05) und gemischtgeschlechtliche Gruppierungen M=6,50 (SD=1,04). Beim virtuellen RK werden in gleichgeschlechtlichen Gruppierungen M=7,69 (SD=3,10) und in gemischtgeschlechtlichen Gruppierungen M=7,59 (SD=2,40) Fehler aus dem Expertenurteil gefunden (siehe Abbildung 2 [Abb. 2]).

2. Reliabilität

Die Reliabilitäten der einzelnen Tests, welche durch die RKs verändert wurden, verbessern sich im Vergleich zu dem Originaltest (siehe Tabelle 1 [Tab. 1]). Zwei von vier Tests weisen eine deutlich höhere Reliabilität auf.

3. Trennschärfe

Der Wilcoxon-Test zeigt, dass sich die Anzahl von MC-Fragen, deren Trennschärfekoeffizienten nach Bearbeitung durch die RKs höher ausfallen als im Original, von der Anzahl der MC-Fragen, deren Trennschärfekoeffizienten niedriger geworden sind, nur geringfügig unterscheidet. Veränderungen in eine der beiden Richtungen sind bei jeweils etwa der Hälfte der Fragenstichprobe pro Versuchsbedingung zu erkennen. Für die Gesamtheit der Fragen pro Versuchsbedingung kann keine Veränderung der Trennschärfe statistisch nachgewiesen werden (siehe Tabelle 2 [Tab. 2]).

Effizienz von face-to-face und virtuellen Gruppen

1. Bearbeitungszeit

Die Bearbeitungszeit beträgt in den beiden face-to-face Bedingungen jeweils konstant 30 Minuten. Für die Gruppenarbeit in der virtuellen Bedingung mit Moderation werden zwischen 5 und 28 Tagen (M=14,31; SD=7,54) benötigt. Währenddessen bearbeiten die Gruppen in der virtuellen Bedingung ohne Moderation ihre Aufgabe in einem Zeitraum zwischen 6 und 55 Tagen (M=12,06; SD=11,69). Hinsichtlich des Effizienzkriteriums Bearbeitungszeit unterscheiden sich die verschiedenen virtuellen Bedingungen mit Z=-1,3 und p=0,20 nicht.

2. Weitere Effizienzkriterien

Die durch den Friedman-Test ausgewiesene Rangfolge der Versuchsbedingungen ist für die untersuchten Aspekte Verantwortungsübernahme, Arbeitsweise, Wohlgefühl, Motivation und Konzentration auf die Aufgabe gleich (siehe Tabelle 3 [Tab. 3]). Die Bedingung face-to-face ohne Moderation erlangt jeweils die höchsten Werte. Es folgen die Bedingungen face-to-face mit Moderation und virtuell ohne Moderation. Die moderierte virtuelle Bedingung erzielt jeweils den niedrigsten Rangplatz. Die Unterschiede zwischen den Untersuchungsbedingungen sind für alle Aspekte bis auf Motivation statistisch bedeutsam.


Diskussion

Effektivität von face-to-face und virtuellen Gruppen

Zwischen den beiden Gruppen face-to-face und virtuell konnte bzgl. der Entdeckung von Fehlern in MC-Fragen kein Effekt gezeigt werden (0% Varianzaufklärung). Auch hinsichtlich der Erhöhung von Trennschärfekoeffizienten nach dem Review zeigte sich kein Unterschied zwischen den Gruppen. Dieses Ergebnis ist konsistent mit anderen Studien zum Leistungsvergleich [3], [6], [7].

Die Metaanalyse von Baltes [6] konnte keinen Effekt der Gruppengröße identifizieren. Dieser Befund wird durch die Ergebnisse der vorliegenden Studie nur zum Teil gestützt, da wir einen kleinen Effekt zeigen konnten (3% Varianzaufklärung). Der Einflussfaktor Geschlechtszusammensetzung lieferte im Rahmen der ANOVA einen mittleren Effekt (13% Varianzaufklärung). Interessant ist der Fakt, dass die Bearbeitung der Fragen durch ein Review-Komitee, egal welcher Art, die Reliabilität der Tests teilweise deutlich erhöhen konnte.

Effizienz von face-to-face und virtuellen Gruppen

Die vorgegebene Bearbeitungszeit wurde von den face-to-face Gruppen immer eingehalten und die Koordination der Termine erwies sich als unproblematisch. Die Zeitdauer der virtuellen Bedingungen stellte jedoch ein großes Problem in der Zusammenarbeit dar. Zum einen konnte nahezu nie die vorab geplante und mit den Probanden besprochene Dauer von 2 Wochen eingehalten werden und zum anderen entstand dadurch ein erhöhter Koordinationsbedarf durch die Versuchsleiterin.

Die Teilnehmer dieser Untersuchung fühlten sich bei der Zusammenarbeit face-to-face/ unmoderiert wohler als unter allen anderen Arbeitsbedingungen. Sie schätzten sich hier auch als konzentrierter, und verantwortungsvoller ein, und arbeiteten konsequenter als Gruppe zusammen. Computer-mediierte Kommunikation ist immer etwas schwerfälliger [8], womit auch der Befund der geringeren Zufriedenheit unter virtuellen Bedingungen erklärt werden kann.

Einfluss der Moderation auf die Gruppenleistung

Die Moderation von Gruppen hat einen mittleren Effekt auf die Leistung der Review-Komitees. Dieses Ergebnis ist konform mit anderen empirischen Untersuchungen zur Leistungssteigerung in Gruppen durch Moderation [3], [9], [10].

Kritische Aspekte

Der zweistufige Schulungsprozess – 3 Stunden für die Versuchsleiter und im Anschluss daran 30 Minuten für die Probanden – könnte zu Informationsverlusten und Verständnisproblemen geführt haben. Zudem verfügen Mitglieder realer RKs über mehr Übung und die regelmäßigen Treffen führen zu einer anderen Gruppendynamik. Das verwendete Schema zur Beurteilung der MC-Fragen bildet im Vergleich mit den Richtlinien von Haladyna [4] nicht vollständig alle Fehlermöglichkeiten ab. Ein weiteres methodisches Problem ist die Anwendung von Messwiederholungen, welche möglicherweise zu Motivationsverlusten führen können. Für die virtuelle Gruppenarbeit konnte nicht kontrolliert werden, wie regelmäßig die Probanden ihr E-Mail-Konto frequentierten und wie zeitnah sie die empfangenen E-Mails beantworteten. Des weiteren kam es zu unkalkulierbaren technischen Problemen beim Versand der E-Mails, so wurden E-Mail-Adressen von den Probanden falsch angegeben , die empfangenen E-Mails verschwanden im Spam-Ordner oder konnten auf Rechnern mit einem Linux-Betriebssystem nicht geöffnet werden.

Die vollständige Moderationsmethode, deren überlegen effektivitätssteigernde Wirkung verglichen mit Teilaspekten der Methode von Schimansky [10] gezeigt werden konnte, wurde in der vorliegenden Studie nicht zum Einsatz gebracht. Eine weitere Limitierung ist der Umstand, dass für diese Studie keine ausgebildeten Moderatorinnen zur Verfügung standen. Aus der Literatur geht hervor, dass professionelle Moderatoren stärker methodisch und aufgabenorientiert vorgehen als solche, die diese Rolle nur "nebenbei" ausfüllen [11].

Da die Motivation grundsätzlich etwas niedriger bewertet wurde als alle anderen Aspekte, ist der geringere Befund unter Umständen gar nicht auf die durchlaufenen Versuchsbedingungen, sondern auf eine geringe initiale Motivation der Studenten zurückzuführen [12]. Ein weiteres Problem der Untersuchung ist die mangelnde Überprüfung der Güte des verwendeten Fragebogens.


Schlussfolgerung

Die elektronische Durchführung des Reviews per E-Mail scheint generell möglich, aber aus Gründen der Effizienz wenig empfehlenswert. Virtuelle Zusammenarbeit ist wesentlich zeitaufwendiger, oftmals mit technischen Problemen verbunden und erfordert einen erhöhten Koordinationsaufwand durch den Moderator. Eine denkbare Alternative könnte die virtuelle Umsetzung nach Nominalgruppentechnik sein. Es ist weitere Forschung an realen RKs notwendig, um beispielsweise differenziertere Leistungsvergleiche zu ermöglichen oder die Rolle des RK-Leiters (Moderator) zu konkretisieren. Vorstellbar könnte auch eine Realisierung virtueller Zusammenarbeit beispielsweise in Internet-Foren sein. Es bleibt zu überprüfen, ob damit eine Eliminierung der oben genannten Probleme gelingen kann.


Interessenkonflikt

Die Autoren erklären, dass sie keine Interessenkonflikte in Zusammenhang mit diesem Artikel haben.


Literatur

1.
Scholl W. Grundprobleme der Teamarbeit und ihre Bewältigung - Ein Kausalmodell. In: Gemünden HG, Högl M (Hrsg). Management von Teams. Theoretische Konzepte und empirische Befunde. 3. Auflage. Wiesbaden: Gabler; 2005.
2.
Döring N. Sozialpsychologie des Internets. Die Bedeutung des Internets für Kommunikationsprozesse, Identitäten, soziale Beziehungen und Gruppen. Internet und Psychologie. Neue Medien in der Psychologie, Band II. Göttingen: Hogrefe; 1999.
3.
Unger D, Witte EH. Virtuelle Teams – Geringe Kosten, geringer Nutzen? Zur Leistungsverbesserung von Kleingruppen beim Problemlösen durch elektronische Moderation. Hamburger Forschungsbericht zur Sozialpsychologie (HAFOS), 73. Hamburg: Universität Hamburg, Arbeitsbereich Sozialpsychologie; 2007.
4.
Haladyna TM, Downing SM, Rodriguez MC. A review of multiple-choice item-writing guidelines for classroom assessment. Appl Meas Educ. 2002;15(3):309-334. DOI: 10.1207/S15324818AME1503_5 Externer Link
5.
Cohen J. Statistical power analysis for the behavioral science. 2Nd, edition.Hillsdale, NJ: Lawrence Erlbaum; 1988. S.285.
6.
Baltes BB, Dickson MW, Sherman MP, Bauer CC, LaGanke, JS. Computer-mediated communication and group decision making: A meta-analysis. Organ Behav Hum Decis Process. 2007;87:156-179. DOI: 10.1006/obhd.2001.2961 Externer Link
7.
Li SS. Computer-mediated communication and group decision making. Small Group Res. 2007;38(5):593-614. DOI: 10.1177/1046496407304335 Externer Link
8.
Becker-Beck U, Wintermantel M, Borg A. Principles of regulating interaction in teams practicing face-to-face communication versus teams practising computer-mediated communication. Small Group Res. 2005;36(4):499-536. DOI: 10.1177/1046496405277182 Externer Link
9.
Kramer TJ, Fleming GP, Mannis SM. Improving face-to-face brainstorming through modeling and facilitation. Small Group Res. 2001;32(5):533-557. DOI: 10.1177/104649640103200502 Externer Link
10.
Schimansky A. Die Moderationsmethode als Strukturierungsansatz effektiver Gruppenarbeit. Berlin: Papst; 2007.
11.
Immig S, Bachmann T. Was professionelle Moderation leistet. Berlin: artop – Institut an der Humboldt-Universität zu Berlin; 2001. Zugänglich unter/available under: http://www.artop.de/5000_Archiv/5000_PDF_und_Material/Moderation.pdf. Externer Link
12.
Geister S, Konrad U, Hertel G. Effects of process feedback on motivation, satisfaction and performance in virtual Teams. Small Group Res. 2006;37(5):459-489. DOI: 10.1177/1046496406292337 Externer Link