gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

Lerncharakteristika, Lernstrategien und Akzeptanz computerbasierten Lernens (CBL) : Konstruktion und Faktorenstruktur eines Fragebogeninstrumentes

Characteristics of learning, learning strategies and acceptance of computer-based learning (CBL) : construction and structure of factors in a questionnaire

Originalarbeit Humanmedizin

Search Medline for

  • author Amina Katharina Hahne - Universität zu Köln, Institut für Pharmakologie, Köln, Deutschland
  • author Holger Krause - Universität Bielefeld, Fakultät für Gesundheitswissenschaften, Bielefeld, Deutschland
  • author Holger Pfaff - Universität zu Köln, Institut für Arbeitsmedizin, Sozialmedizin und Sozialhygiene, Köln, Deutschland
  • corresponding author Stefan Herzig - Universität zu Köln, Institut für Pharmakologie und Studiendekanat der Medizinischen Fakultät, Köln, Deutschland

GMS Z Med Ausbild 2005;22(1):Doc14

The electronic version of this article is the complete one and can be found online at: http://www.egms.de/en/journals/zma/2005-22/zma000014.shtml

Received: January 20, 2004
Published: January 28, 2005

© 2005 Hahne et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Zusammenfassung

Die medizinische Ausbildung ist mit stetig wachsenden Ansprüchen konfrontiert: steigenden Studentenzahlen müssen mehr Informationen zeit- und kosteneffizienter gelehrt werden. Technologische Medien finden hierbei eine hohe Beachtung und beflügeln angesichts der Vorteile des ‚Hightech-Lernens' vielerorts hohe Erwartungen. Daher bestand das Ziel dieser Studie in der Entwicklung eines standardisierten Instrumentes, das eine Messung wesentlicher Faktoren im Kontext der Evaluation computerbasierten Lernens (CBL) erlauben würde. Neben der Akzeptanz von CBL lag der Schwerpunkt auf der Berücksichtigung individueller Lernercharakteristiken. Der mehrstufige Prozess einer Fragebogenkonstruktion wird unter methodischen und forschungsrelevanten Gesichtspunkten exemplarisch dargestellt. Eine erste, aufgrund theoretischer Überlegungen gewonnene Fragebogenversion wurde zunächst mittels eines Standard-Pretest (n=18) untersucht und überarbeitet. Für eine zweite, detailliertere Prüfung erfolgte die kognitive Pretest-Technik Think-Aloud (n=10). Der so qualitativ evaluierte Fragebogen wurde einer repräsentativen Stichprobe (328 Humanmedizin-Studenten, 1. Klinischer Studienabschnitt) vorgelegt, um eine quantitative Analyse zu ermöglichen. Konstruktübergreifende Faktorenanalysen bestätigten insgesamt 12 konstruktvalide psychometrische Skalen. Die reliabilitätsanalytische Prüfung der Skalen auf interne Konsistenz lieferte zufrieden stellende Werte (α=,71-,90) für 10 der Messinstrumente: 5 Lerneigenschafts-Skalen, 2 Lernstrategie-Skalen, 1 Skala zur Einstellung zu CBL und 2 Skalen zu Erwartungen an CBL. Für 2 weitere Skalen (α=,66-,67) zeigte sich die Notwendigkeit einer Verbesserung der Messgenauigkeit. Mit dem konzipierten Fragebogen liegt ein Instrument vor, das eine konstruktvalide quantitative Messung relevanter Größen zur Evaluation von CBL-Methoden erlaubt.

Schlüsselwörter: Computerbasiertes Lernen, Evaluation, Fragebogen, Quantitative Methoden, Lernercharakteristiken

Abstract

Medical education faces ever-increasing demands: larger amounts of knowledge have to be taught to larger student numbers in a time- and cost-effective manner. Therefore, new media have gained respect and raised high expectations, due to their obvious advantages. Hence, the aim of this study was to develop a standardised instrument, which allows for valid assessment of parameters relevant for the evaluation of computer-based learning (CBL). The main emphasis was placed on the overall acceptance of CBL as well as on some pertinent characteristics of individual learners. We took this as an example to systematically describe the construction of a questionnaire, focussing on the methodological and scientific aspects of this multi-step process. A first version, which was constructed on theoretical grounds, was analysed and revised using standard pretest conditions (n=18). The second revision was done using a cognitive pretest-technique, called "Think-Aloud" (n=10). After this qualitative evaluation, the questionnaire was offered to a representative sample of n=328 third-year medical students. In this quantitative analysis, 12 valid psychometric scales could be confirmed by factor analysis. Reliability analysis yielded satisfying values (a=0.71-0.91) in 10 cases: 5 scales on learner properties, 2 scales on learning strategies, one scale on the attitude towards CBL and 2 scales on expectations regarding CBL. For 2 scales (a=0.66-0.67), we identified a need for further revision in order to improve accuracy. The described questionnaire provides a valid, quantitative means to assess relevant parameters to evaluate CBL interventions.

Keywords: computer-based learning, evaluation, questionnaire, quantitative methods, learner characteristics


Einleitung

Methoden des Lehrens und des Lernens sollen akademische Inhalte so vermitteln, dass weniger das Auswendiglernen von Faktenwissen, sondern eine verständnis- und anwendungsorientierte Wissensvernetzung im Vordergrund steht. Andererseits sollen sie den Studierenden darin unterstützen, seine Rolle als aktiven und selbstständig Lernenden zu begreifen und im Lernprozess umzusetzen. Dazu sind Lernkompetenzen und -möglichkeiten notwendig, die sowohl Lernende als auch Lehrverantwortliche vor neue Aufgaben stellen: innovative Lehrmethoden sollen den Lernenden ‚dort abholen‚ wo er steht'. Die Wirksamkeit neuer Lernmethoden wird jedoch entscheidend davon abhängen, inwiefern sie imstande sind, die Masse der Studierenden zu erreichen. Die ausschließliche Förderung einer spezifischen Gruppe, z.B. besonders talentierter Studierender, kann nicht Ziel aufwendiger Konzeptions- und Reformierungsarbeit sein. Angesichts erheblicher Varianz im Lernverhalten und divergierende Bedürfnisse der Studentenschaft muss die Evaluation neuer Lehrmethoden diese Vielfältigkeit potenzieller Einflussgrößen in Rechnung stellen.

Der Untersuchung des computerbasierten Lernens (CBL) als neue Lehr- und Lernmethode kommt gegenwärtig eine bedeutsame Stellung zu. Ohne auf die verschiedenen technologischen Umsetzungen von CBL-Anwendungen hier näher eingehen zu können, sollen einige Vorteile genannt werden: die Erweiterung der Wissensvermittlung um multimediale Darbietungsformen eröffnet der breiten Studentenschaft eine raum- und zeitunabhängige, tiefergehende und praxisnahe Wissensaneignung, die zielgerichtete Nutzung eines umfassenden Informationsinstrumentes verspricht eine höhere Effektivität der Lernprozesse und nicht zuletzt die interaktive Aufbereitung forciert selbstgesteuertes Lernen. Dass sich derlei erwünschte Wirkungen jedoch nicht per se einstellen, zeigen zahlreiche Forschungsergebnisse, deren Schwerpunkte allerdings überwiegend in einer technikorientierten und mediendidaktischen Betrachtung liegen. Fokussiert wird das gestalterische und didaktische Design der Produkte [1]. Eine Optimierung der Produktqualität ist zwar wünschenswert, doch weder garantiert sie allein gelingende Implementierungsprozesse noch liefert dieser Ansatz Aufschluss über deren weitere erfolgsrelevante Faktoren [11]. Voraussetzungen seitens der Lernenden um das technologische Potenzial im intendierten Sinne auszuschöpfen, rücken häufig in den Hintergrund [13]. Ihr möglicherweise zentraler Erklärungswert für das effektive Gelingen der Mensch-Computer-Interaktion im Lehr- und Lernkontext erfährt jedoch zunehmend Betonung [24], [9], [7] und bildete den Ausgangspunkt für die hier dargestellten Forschungsbemühungen.

Im Rahmen der Evaluation eines computerbasierten Lernsystems für die theoretische und klinische Kardiologie, welches sich vorrangig an Studenten der Humanmedizin richtet, galt es, ein Messinstrument zu konzipieren, das Aussagen über die Akzeptanz dieser Innovation sowie deren Determinanten zulässt. Dabei wurde das Ziel verfolgt, 1. allgemeine Merkmale des individuellen Lernverhaltens, wie Lernmotivation, und 2. gegenstandsspezifische Merkmale, wie Einstellung zu CBL, zu berücksichtigen. Diese Überlegungen erforderten die Entwicklung eines Fragebogens, der die zahlreichen relevanten Konstrukte bei vertretbarem Zeitaufwand ermittelt. Die folgenden Ausführungen sollen in erster Linie das methodische Vorgehen einer solchen Konstruktionsarbeit, beispielhaft an dem hier verfolgten Forschungsanliegen, offen legen.


Die Fragebogenkonstruktion

Die Qualität einer Befragung hängt von der Reliabilität und Validität der genutzten Messinstrumente ab. Ein-Item-Messinstrumente, die einen Sachverhalt über nur eine Frage erheben, sind nicht nur messfehleranfällig, sondern insbesondere dem Facettenreichtum komplexer Sachverhalte nicht angemessen. Für die Messung solcher latenter Größen, wie z.B. Einstellungen, bieten psychometrische Skalen, die aus mehreren Items bestehen und deren Gütekennwerte Aussagen über die Messqualität zulassen, eine geeignete Methode. Für die Messung von Faktoren des Lernverhaltens und im Hinblick auf die Evaluation von CBL galt es daher, Instrumente zu entwickeln, die den Qualitätsstandards der empirischen Sozialforschung genügen würden.

Die Konstruktion eines psychometrischen Fragebogens erfordert immer einen mehr-schrittigen Prozess, in dem sich Konstruktions-, Test- und Revisionsphasen ablösen. Abbildung 1 [Abb. 1] veranschaulicht dieses Vorgehen, wobei die klein gedruckten Konkretisierungen dem hier verfolgten Ansatz entsprechen, oftmals jedoch abweichenden Inhalts sein können. Die Erläuterung der Schritte 1-5 sind Gegenstand der folgenden Abschnitte.

Schritt 1: Konstrukt-Definition

Die Problematik von Evaluationen im Bildungsbereich ist nicht zuletzt auf die Vielzahl potenzieller Einflussfaktoren auf das Lernverhalten zurückzuführen. Angesichts dessen fordert Schott [20] eine ganzheitliche Sichtweise, um die Güte von Bildungsmaßnahmen festzustellen. Bereiche beeinflussender Faktoren können sein:

1. Eigenschaften der Lernenden,

2. Eigenschaften des Lehrstoffes,

3. Eigenschaften der Lehrmethoden,

4. Eigenschaften der Medien,

5. Eigenschaften des Umfeldes, in dem die Maßnahme stattfindet.

Der thematische Fokus des vorliegenden Ansatzes lag auf den Eigenschaften des Lernenden. Ziel war es, die Bedeutung des individuellen Lernverhaltens im Kontext einer neuen Lehr- und Lernmethode zu ermitteln und für Aussagen über abhängige Variablen, wie Akzeptanz oder Lernerfolg, berücksichtigen zu können.

Vor der Erstellung eines Fragebogens sollte überprüft werden, ob geeignete Instrumente bereits vorliegen [5], was hier teilweise zutraf. Neben der testmethodischen Qualität und der zielgruppennahen Ausrichtung des Fragebogens stellte eine praktikable Kürze ein wichtiges Zielkriterium dar. Existierende Skalen wurden daher nur gekürzt übernommen, und es kam zu zahlreichen Neu- und Umformulierungen von Items, um eine optimale Abstimmung auf den vorliegenden Kontext zu erreichen. Bei der Entwicklung neuer Items wurden die klassischen Kriterien zur Itemerstellung berücksichtigt [19]. Im Folgenden wird eine nähere Beschreibung der interessierenden Konstrukte und ihre Einordnung in das Forschungsfeld vorgenommen.

Allgemeine Merkmale des Lernverhaltens: Lerneigenschaften und Lernstrategien

Jeder Lernende weist ein individuelles Netzwerk von kognitiven, motivationalen und emotionalen Merkmalen auf, das als komplexes Geflecht von Einflussfaktoren die Qualität des Lernprozesses beeinflusst. Die Methode des selbstgesteuerten Lernens, bei der zwar Lernziele vorgegeben werden, die Auswahl und Steuerung jedoch dem Lernenden selbst überlassen wird, bietet möglicherweise eine Lösung der unerfüllbaren Aufgabe einer optimalen Passung von „Lernzielen, Inhalten und Medien einerseits und individuellen Lernervariablen andererseits" ([10], S.298). Inwiefern es zu einer aktiven Selbststeuerung des Lernprozesses kommt, dürfte sich folglich aus der dynamischen Interaktion der Instanzen - Lernangebot und Individuum - ergeben. Bei der Konstruktauswahl wurde versucht, verhaltensrelevante Charakteristika von Lernprozessen aufzugreifen, die mit der Kompetenz des selbstgesteuerten Lernens verknüpft sind. Als zentrale Mediatoren motivationaler Einflüsse auf die Lernleistung [16] werden des Weiteren Lernstrategien berücksichtigt. Diese werden als konkrete Verhaltensweisen sowie Kognitionen verstanden, die Lernende intentional und situationsgebunden [28] zur Informationsverarbeitung einsetzen.

Spezifische Merkmale der Studierenden hinsichtlich des Evaluationsgegenstands

Hierunter werden Konstrukte gefasst, die den zu evaluierenden Gegenstand, CBL, und darauf bezogene Kompetenzen und Erwartungen betreffen. Von zentralem Rang ist die Einstellung zu CBL, da sie die mentale Anstrengung, die in einen Lernprozess investiert wird, und somit dessen Effektivität mitbestimmt [26]. Um Erwartungshaltungen an qualitative Gestaltungsoptionen von CBL zu ermitteln, wurden relevante Eigenschaftskomplexe von CBL auf der Basis einer umfassenden Literaturrecherche herausgearbeitet. Qualitätsaspekte, die mit Blick auf das hier zu evaluierende Endprodukt maßgeblich erschienen, haben sodann Eingang in Itemaussagen gefunden.

Schritt 2: Skalen-Entwurf

Auf der Grundlage vorhandener Messinstrumente und eigener Neuentwicklungen wurde eine erste Fragebogen-Version entwickelt. Teilweise konnten Originalitems aus existierenden Skalen übernommen werden. Von der Übernahme vollständiger Skalen wurde aufgrund inhaltlicher Abweichungen zum hier verfolgten Fokus und der zeitlichen Handhabbarkeit des Fragebogens abgesehen. Bei Konstrukten, für die keine Orientierung an bestehenden Fragebogeninventaren möglich war, erfolgte die Operationalisierung in Anlehnung an ihre theoretische Besprechung in der Literatur. Erwartungsgemäß fanden sich für die Lerneigenschaften und -strategien empirisch gut belegte Quellen, die für die Konstruktionsarbeit genutzt werden konnten [27], [21], [18], [22]. Für die Messung der Einstellung und Erwartungen an CBL waren Neukonstruktionen erforderlich. Auf diese Weise resultierte eine Fragebogen-Rohversion mit einem Pool von insgesamt 126 Items. Das Antwortformat entsprach für alle Skalenitems einer fünfstufigen Likert-Skala. Die Antwortschlüssel ermöglichten eine Zustimmungsabstufung (1=„trifft nicht zu" bis 5=„trifft voll zu") oder eine Häufigkeitsabstufung (1=„sehr selten" bis 5=„sehr oft").

Schritt 3: Erste Erprobung

Auch bei Berücksichtigung der methodologischen Literatur (u.a. [14]) ergibt sich regelhaft die Notwendigkeit einer Erprobung des Instrumentes. Hierzu stehen eine Reihe von Verfahren zur Verfügung (Tabelle 1 [Tab. 1]), die empfehlungskonform [8] kombiniert zum Einsatz kamen. Ein Standard-Pretest wurde durchgeführt, der zur Ermittlung ‚grober' Fehler und Auffälligkeiten führen sollte. Anschließende Think-Aloud-Interviews führten zur endgültigen Fragebogenform. Parallel zur Fragebogenevaluation wurden außerdem Experten zu Rate gezogen.

Der Standard-Pretest

Methode: Bei einem Pretest handelt es sich um eine explorative Voruntersuchung, die dazu dient, inhaltliche und untersuchungstechnische Fragen im Zusammenhang mit dem Erhebungsinstrument zu beantworten. Neben der Eignung des Untersuchungsgeräts (z.B. ist die Handhabung selbsterklärend?) wird der Inhalt (z.B. ist die Itemformulierung verständlich?) sowie ein reibungsloser Ablauf (z.B. treten Ermüdungserscheinungen auf?) überprüft. Trotz der Verbreitung des Pretest-Verfahrens in der sozialwissenschaftlichen Forschung existieren keine standardisierten Regeln zu seiner Durchführung. Aus der Literatur lassen sich Übereinstimmungen hinsichtlich seines Grundgerüstes skizzieren [17], [5]:

▪ In einer einmaligen Erhebung absolvieren Probanden einen Untersuchungsdurchgang mit dem zu prüfenden Erhebungsinstrumentes.

▪ Die Probanden sind für die Stichprobe der Hauptuntersuchung repräsentativ.

▪ Der Pretest findet unter ähnlichen Bedingungen wie die in der Hauptstudie statt.

▪ Ein Interviewer registriert dabei - meist passiv - alle Auffälligkeiten, Probleme und Vorkommnisse, die im Laufe der Erhebungsdurchführung auftreten.

Als empfohlene Fallzahl einer Pretestung finden Prüfer & Rexroth [17] zwischen 10 und 200 Personen. Des Weiteren variiert die Verfahrensanwendung bezüglich des Ausbildungsstandes der Interviewer sowie des Informationsstandes der Befragten über den Zweck der Erhebung. Die Vorzüge eines Pretest sind offenkundig (schnelle Durchführung, geringer organisatorischer Aufwand, niedrige Kosten).

Durchführung: Die Durchführung des Pretests fand in zwei Gruppen (n=10 und n=8, Geschlechterverhältnis von weiblich zu männlich lag bei 8:10) statt, die repräsentativ für die Zielstichprobe waren. Die Leitung übernahm die mit dem Projekt betraute Forschungs-Assistentin. Die Probanden wurden über den Erprobungscharakter der Erhebung aufgeklärt und um freiwillige, unentgeltliche Teilnahme gebeten. Da das Forschungsziel in der Optimierung von Studienbedingungen bestand, war die Kooperationsbereitschaft der Studierenden hoch. Sie wurden instruiert, Unklarheiten im Zusammenhang mit dem Fragebogen durch Markierungen festzuhalten. Des Weiteren wurde mitgeteilt, dass nach Ausfüllen des Fragebogens Gelegenheit für Anmerkungen gegeben würde. Im Übrigen wurde wie in der Hauptuntersuchung verfahren, um ‚Ernstfall'-Bedingungen zu schaffen.

Ergebnisse: Es zeigte sich, dass die Bearbeitungszeit von durchschnittlich 20 Minuten auf keine negativen Reaktionen (Ermüdungserscheinungen oder Akzeptanzprobleme) bei den Studenten stieß. Die meisten Verständnisschwierigkeiten zeigten Items, durch die Merkmale von CBL abgedeckt wurden. Diese reichten von Unkenntnis spezifischer Vokabeln (z.B. „Simulation") bis hin zu widersprüchlichen Auffassungen, was mit bestimmten Programmeigenschaften gemeint sei (z.B. „Programm gibt einen Lernwegvorschlag"). Das Vorwissen der Studenten in Bezug auf diese Lernmethode erwies sich als heterogen. Um im Weiteren ein einheitliches Verständnis zu gewährleisten, kam es hier zu Ergänzungen. Im Hinblick auf die Skalen zur Erfassung von Persönlichkeitsmerkmalen ergaben sich kaum Auffälligkeiten. Lediglich die negative Formulierung einzelner Items zur Balancierung negativer und positiver Aussagen führte in einigen Fällen zu Irritationen. Diese Items wurden überarbeitet, wobei hier zugunsten einer besseren Verständlichkeit und auf Kosten der Ausgeglichenheit der Polung entschieden wurde [3]. Für das Layout und die Handhabung des Fragebogens ergaben sich keine Veränderungen. Wenn auch die Vorzüge eines Pretest unbestritten sind und er als solches unersetzlich ist, muss doch auf die ‚grobe' Information hingewiesen werden, die er erzeugt. So liefert er zwar Informationen über die Funktionstüchtigkeit des Instrumentes (verständliche Handhabung, Erhebungsdauer), tiefergehende Einblicke in die korrekte Interpretation der Items gewährt er jedoch nicht. Auch eine richtig beantwortete Frage kann das Ergebnis einer falsch verstandenen Inhaltsauffassung sein. Dieser Problematik begegnet das im Folgenden erläuterte Verfahren.

Die Think-Aloud-Interviews

Methode: Die Methode der Think-Aloud-Interviews wird zu den kognitiven Laborverfahren gezählt, die aus der Zusammenarbeit von Kognitionspsychologen und Umfrageforschern hervorgingen. Gemeinsam ist diesen Verfahren, dass sie über die Erfassung kognitiver Prozesse Rückschlüsse auf das tatsächliche Zustandekommen einer Antwort zulassen. Diese Technik der Qualitätssicherung beinhaltet primär eine Minimierung der Messfehler durch Optimierung der Fragebogenverständlichkeit. Die Think-Aloud-Technik ermöglicht dabei eine zielgruppennahe Validitätsprüfung. Der Proband wird gebeten, alle Gedanken, die ihn zu einer Antwort führen, laut auszusprechen. Ziel ist es, über diese Äußerungen Aufschluss über die Iteminterpretation zu erhalten. Ähnlich wie beim Pretest gilt der Mangel an präzisen Regeln auch für diese Methode. Ungeklärt bleibt z.B., nach wie vielen Fehlernennungen eine Änderung im Fragebogen erfolgen sollte und ob jede geänderte Version erneut getestet werden muss [12]. Unterschieden wird zwischen der ‚Concurrent-Think-Aloud-Methode' (Lautes Denken während Antwortvergabe) und der ‚Retrospektive-Think-Aloud-Methode' (Lautes Denken nach Antwortvergabe). Erstere erwies sich in zahlreichen Studien als erfolgreich [4] und wurde auch hier angewandt.

Durchführung: Insgesamt wurden 10 Think-Aloud-Interviews mit freiwilligen Teilnehmern, die repräsentativ für die Zielpopulation waren (Geschlechterverhältnis von weiblich zu männlich lag bei 5:5), durchgeführt, wobei jedes Interview durchschnittlich 1,5 Stunden dauerte. Um einen iterativen Verbesserungsprozess des Fragebogens abzubilden, wurde nach den ersten 5 Durchgängen eine Überarbeitung des Fragebogens vorgenommen. Änderungen wurden umgesetzt, wenn diesbezüglich Auffälligkeiten bei mindestens 2 Personen aufgetreten waren. Zunächst wurde der Proband über den Zweck der Erhebung und über die Methode aufgeklärt. Die Instruktionen bestanden daraufhin in der Aufforderung, den Fragebogen wie üblich auszufüllen, gleichzeitig jedoch laut zu denken, d.h. die Überlegungen zwischen Frage und Antwortvergabe zu artikulieren. Die Interviewerin hatte während des gesamten Prozesses Einblick in den Fragebogen, so dass die Äußerungen der Probanden mit ihren Antworten verglichen werden konnten. Trotz der Länge der Interviews blieb die Bereitschaft zur Mitarbeit bis zum Ende hoch, da das Verfahren mit Interesse aufgenommen wurde. Es zeigten sich keine Ermüdungserscheinungen.

Ergebnisse: Zum einen wurde eine Ergänzung im Einleitungstext des Fragebogens vorgenommen. Bei Erwähnung von CBL äußerten mehrere Probanden spontan Unklarheiten hinsichtlich einer Lehrplanänderung, des Nutzungsortes und der Nutzungsverpflichtung (z.B. „Wird die Veranstaltung durch CBL ersetzt?"). Im nächsten Durchgang tauchten diesbezüglich keine Missverständnisse mehr auf. Die Items, die sich auf Merkmale computerbasierter Lernsysteme beziehen, erzeugten immer noch Vokabelunsicherheiten. So wurde z.B. das Wort ‚Interaktivität' nun in der zweiten Fragebogenfassung in einer Fußnote erläutert. Die Persönlichkeitsskala „Selbstwirksamkeitserwartungen im Fach" wurde nahezu gänzlich neu formuliert, da die Items als zu ähnlich und uneindeutig empfunden wurden. Des Weiteren wurden Instruktionen im Fragebogen geändert, da das Vorgehen beim Ausfüllen nicht unmittelbar verständlich war. Bei vier Fragen wurde der Antwortschlüssel umgedreht. Die Probanden waren an die Reihenfolge von 1 „trifft nicht zu" bis 5 „trifft zu" gewöhnt. Bei vier ja/nein-Fragen stand das ja-Kästchen an erster Stelle und das nein-Kästchen an zweiter. Hier zeigte sich ein Zögern („Ach so, jetzt ist das anders herum..."), da bei einer ja-Antwort automatisch zur rechten Seite der Antwortmöglichkeiten tendiert wurde, was in einigen Fällen zu fehlerhaften Antworten führte.

Schritt 4: Quantitative Analyse

Methode

Die statistische Absicherung des Erhebungsinstrumentes erfolgte an einer für die Zielpopulation repräsentativen Stichprobe von 328 Studierenden. Die Studenten der Humanmedizin rekrutierten sich aus den Universitäten Köln (n=123), Dresden (n=100) und Hamburg (n=105). Das durchschnittliche Alter betrug 23,87 Jahre (SD=3,11). Das Geschlechterverhältnis betrug 195 (60% weiblich) zu 130 (40% männlich). Die Befragung fand unter den Teilnehmern der Veranstaltung ‚Allgemeine Pharmakologie' statt, die Mehrheit der Befragten (66%) befand sich zu diesem Zeitpunkt im 6. Fachsemester. Es wurde die jeweils letzte Veranstaltungssitzung des Sommersemesters 2002 als Erhebungszeitpunkt gewählt. Um eine möglichst einheitliche Ausgangsbasis an allen Erhebungsstandorten zu schaffen, hatten die Dozenten zuvor standardisierte Instruktionen erhalten, um die Studierenden zur Teilnahme zu bewegen. Die ausgefüllten Fragebögen wurden anschließend von den Verantwortlichen vor Ort entgegengenommen, was einen 100%igen Rücklauf sicherte.

Ergebnisse

Faktorenanalyse: Als faktorenanalytische Methode wurde die Hauptkomponenten-Analyse gewählt. Die Faktorenextraktion erfolgte unter Anwendung des Scree-Kriteriums, nach dem Faktoren mit einem kontinuierlich hohen Eigenwerte-Verlauf solange als bedeutsam erachtet werden bis ihre Varianzaufklärung plötzlich einbricht (‚Knick im Eigenwertediagramm'). Das orthogonale Rotations-Verfahren bestand in der VARIMAX-Methode. Nach jeder Faktorenanalyse wurden Items, die den itemanalytischen Anforderungen nicht entsprachen, solange entfernt, bis eine zufrieden stellende Faktorenstruktur erreicht war. Folgende Kriterien wurden für die Zugehörigkeit eines Items zu einem Faktor festgelegt: 1. Die Ladung auf dem Hauptfaktor beträgt >,50, 2. Die Differenz zwischen Hauptfaktorladung und Fremdfaktorladung ist >,15, und 3. Es herrscht ‚face validity': die Items passen inhaltlich zum theoretischen Konstrukt. Items, die sich inhaltlich auf ähnliche Sachverhalte beziehen, gingen gleichzeitig in einen Analyseschritt ein. Diese ‚gegenseitige Testung' konstruktnaher Faktoren erzeugt qualitativ hochwertigere Skalen als die einfache Faktorenanalyse, bei der die Konstrukte getrennt voneinander betrachtet werden. Für den Bereich der allgemeinen Merkmale wurden die Lernstrategien zusammen betrachtet, da hier jeweils konkrete Umgehensweisen mit Lernmaterialien thematisiert werden. Des weiteren wurden die übrigen Lerneigenschaften konstruktübergreifend analysiert, da alle überdauernde, abstraktere Facetten und Tendenzen des Lernprozesses abbilden. Im Bereich der spezifischen Lernermerkmale thematisierten alle Items CBL und gingen daher gemeinsam in eine Analyse ein.

Lerneigenschaften und Lernstrategien: Die faktorenanalytische Betrachtung des Item-Komplexes zu den Lerneigenschaften erbrachte fünf distinkte Skalen. In fast allen Fällen ergab sich eine Übereinstimmung der a-priori konzipierten und empirisch gewonnenen Skalen (Abbildung 2 [Abb. 2]). Die Komponenten 1-4 konnten in vollem Umfang faktorenanalytisch bestätigt werden. Die Komponente 5 war zunächst mit 5 Items operationalisiert worden, von denen 2 Items nicht den itemanalytischen Anforderungen genügten. Nach Eliminierung dieser Items konnte eine zufrieden stellende Faktorenstruktur erzielt werden ohne dabei die Inhaltsvalidität des Konstruktes zu gefährden. Ein Konstrukt, „Selbstständigkeit beim Lernen", musste aufgrund ungenügender Itemkennwerte ausgeschlossen werden. Hierbei handelte es sich um eine gekürzte Version einer Skala des Leistungsmotivationsinventars (LMI) [21]. Da dieses Konstrukt für die spätere Evaluation von CBL aus wissenschaftlichem Interesse unverzichtbar ist, wird es in der revidierten Fragebogenfassung vollständig gemäß dem LMI übernommen. Die faktorenanalytische Betrachtung der Lernstrategie-Items erbrachte 3 distinkte Skalen (Abbildung 3 [Abb. 3]), die angenommen werden konnten. Mehrere Items mussten aufgrund unbefriedigender Gütekennwerte eliminiert werden. Ein Konstrukt, „Metakognitive Lernstrategien", konnte nicht bestätigt werden. Da es für die Forschungsziele nicht zentral war, wurde es wegen defizitärer Verwendbarkeit fallen gelassen.

Die spezifischen Merkmale im Hinblick auf den Evaluationsgegenstand: Nach Eliminierung zahlreicher Items, die keinem Hauptfaktor zugeordnet werden konnten, resultierten 4 unabhängige Skalen zur Messung der Einstellung und der spezifischen Erwartungen an CBL (Abbildung 4 [Abb. 4]). Für alle drei Bereiche - Eigenschaften, Strategien, CBL-Merkmale - ergab eine geschlechtsspezifische Überprüfung eine erhaltene Faktorenstruktur in beiden Stichproben (w / m).

Reliabilitätsanalyse: Die Reliabilität, geschätzt anhand des Konzepts der internen Konsistenz, entschied im Weiteren über die Annahme eines Faktors als Skala. Die interne Konsistenz einer Skala wurde mittels des Alpha Koeffizienten nach Cronbach errechnet (Tabelle 2 [Tab. 2]). Meinungen über zufrieden stellende Untergrenzen von Alpha variieren stark (zwischen ,60 und ,90). Während der traditionelle Alpha-Wert mit ,60 [2] angegeben wird, liegt der aktuell übliche Standard bei ,70 (z.B. [15], [6]), der auch hier als Untergrenze gewählt wurde. Die kursiv gedruckten Alpha-Werte der Skalen „Wiederholen" und „Wunsch nach Interaktivität durch Übungen" deuten auf notwendige Verbesserungen der Skalen hin.

Schritt 5: Validierung

Das Testgütekriterium der Validität liefert Informationen darüber, ob ein Test das misst, was er zu messen vorgibt [5]. Die Erfassung der Validität ist zumeist aufwendig, da vergleichbare Zusatzinformationen verfügbar sein müssen. Im vorliegenden Fall sollte, wie hier geschehen, eine faktorenanalytische Betrachtung der Messinstrumente vorgenommen werden (Konstruktvalidierung), nicht aber eine Kriteriumsvalidierung. Dies begründet sich darin, dass hierfür die Messung zusätzlicher Parameter notwendig ist, was die Fragebogenlänge in einem nicht mehr akzeptablen Maße erhöht hätte. Zudem ergibt sich die Möglichkeit zur Erhebung von Außenkriterien (z.B. tatsächliches Lernverhalten) naturgemäß beim Einsatz des Instruments im Rahmen einer Intervention. Daher erfolgt die Kriteriumsvalidierung zu einem späteren Zeitpunkt.


Diskussion

Das Hauptanliegen dieser Arbeit war es, einen systematischen Einblick in die Entwicklung eines Befragungsinstrumentes unter Berücksichtigung geltender sozialwissenschaftlicher Standards zu geben. Der so entstandene 57-Item-Fragebogen kann im Hinblick auf die Testgütekriterien der Objektivität, Reliabilität und Validität als zufrieden stellend beurteilt werden, wobei noch folgende Optimierungsvorschläge zu nennen sind:

▪ Für zwei Skalen („Wiederholen" und „Wunsch nach Interaktivität durch Übungen") sollten die mäßigen Reliabilitätskennwerte durch Erhöhung der Itemanzahl verbessert werden.

▪ In der revidierten Fassung soll die Skala „Selbstständigkeit" in Anlehnung an den LMI [21] vollständig übernommen werden.

▪ Mit den faktorenanalytischen Untersuchungen hat eine Konstruktvalidierung stattgefunden. Für eine Kriteriumsvalidierung sind weitere Untersuchungen vorgesehen.

In Anbetracht dessen, dass ein standardisiertes quantitatives Verfahren vorliegt, kann die Auswertungsobjektivität als erfüllt gelten. Die Durchführungsobjektivität wurde durch standardisierte Instruktionen sicher gestellt. Ermüdungserscheinungen oder Akzeptanzprobleme waren bei der ursprünglichen Bearbeitungszeit von 20 Minuten nicht zu verzeichnen. Die Bearbeitungszeit sollte nunmehr bei ca. 10 Minuten liegen.

Mit dem konzipierten Fragebogen liegt ein quantitatives Instrument vor, das für die Evaluation von CBL-Programmen eingesetzt werden kann. Der lernerzentrierte Schwerpunkt erlaubt die Betrachtung von Akzeptanz- oder Leistungsmessungen unter Berücksichtigung individueller Kompetenzen und Lerngewohnheiten, was bisher kaum erfolgt ist. Damit könnten nicht nur Erkenntnisse über individuumsabhängige Determinanten der Akzeptanz oder des Lernerfolgs von CBL gewonnen werden, sondern auch Hinweise darauf, inwiefern (und welche) Voraussetzungen auf Seiten der Lernenden bei der Konstruktion von CBL-Programmen berücksichtigt werden sollten.


Danksagung

Das Projekt wurde vom BMBF unterstützt (NM 08 NM 109 C an S.H.).


Literatur

1.
Adler MD, Johnson KB. Quantifying the literature of computer-aided instruction in medical education. Acad Med. 2000; 75: 1025-8.
2.
Aharony L, Strasser S. Patient satisfaction: what we know about and what we still need to explore. Med Care Rev. 1993; 50: 49-79.
3.
Benninghaus H. Einführung in die sozialwissenschaftliche Datenanalyse. München: Oldenbourg; 1990.
4.
Bishop G. Qualitative Anlaysis of Question-Order and Context Effects: The Use of Think-Aloud-Responses. In: Schwarz N, Sudman S, eds. Context Effects in Social and Psychological Research. New York: Springer; 1992. p. 149-162.
5.
Bortz J, Döring N. Forschungsmethoden und Evaluation für Sozialwissenschaftler. Berlin: Springer; 2002.
6.
Bullinger M. Lebensqualitätsmessung mit dem SF-36 Health Survey. In: Ruprecht T. Qualitätsbewertung von Gesundheitsdienstleistungen - Konzepte, Methoden, praktische Beispiele. Sankt Augustin: Asgard; 1998. p. 93-99.
7.
Dillon A, Gabbard R. Hypermedia as an educational technology: A review of the quantitative research literature on learner comprehension, control, and style. Rev Educat Res. 1998; 68: 322-49.
8.
Fowler FJ. Improving Survey Questions. Thousands Oaks: Sage; 1995.
9.
Hartley K, Bendixen LD. Educational research in the internet age: examining the role of individual characteristics. Educat Res. 2001; 53: 22-5.
10.
Issing LJ, Strzebkowski R. Lehren und Lernen mit Multimedia. Medienpsychologie. 1995; 7: 287-319.
11.
Keane DR, Norman GR, Vickers J. The inadequacy of recent research on computer-assisted instruction. Acad Med. 1991; 66: 444-8.
12.
Land A, Pfaff H, Toellner-Bauer U, Scheibler F, Freise DC. Qualitätssicherung des Kölner Patientenfragebogens durch kognitive PretestTechniken. In: Pfaff H, Freise DC, Mager G, Schrappe M, eds. Der Kölner Patientenfragebogen (KPF). Sankt-Augustin: Asgard; 2001. p. 91-100.
13.
Leutner D, Brünken R, eds. Neue Medien in Unterricht, Aus- und Weiterbildung: aktuelle Ergebnisse empirischer pädagogischer Forschung. Münster: Waxmann; 2000.
14.
Lienert GA, Raatz U. Testaufbau und Testanalyse. 5th ed. Weinheim: Beltz Psychologie Verlags-Union; 1994.
15.
Pfaff H, Freise DC. Der Kölner Patientenfragebogen (KPF): Skalen und Indizes. In: Pfaff H, Freise DC, Mager G, Schrappe M, eds. Der Kölner Patientenfragebogen (KPF). Sankt-Augustin: Asgard; 2001. p. 101-135.
16.
Pintrich PR. The dynamic interplay of student motivation and cognition in the college classroom. Adv Motiv Achievement. 1989; 6: 117-60.
17.
Prüfer P, Rexroth M. Verfahren zur Evaluation von Survey-Fragen: Ein Überblick. ZUMA-Nachrichten. 1996; 39: 95-115.
18.
Schiefele U. Thematisches Interesse, Variablen des Leseprozesses und Textverstehen. Zeitschr Exp Angew Psychol. 1990; 37: 304-32.
19.
Schnell R, Hill, PB, Esser E. Methoden der empirischen Sozialforschung. München: Oldenbourg, 1989.
20.
Schott F. Evaluation aus theoriegeleiteter, ganzheitlicher Sicht. In: Schenkel P, Tergan SO, Lottmann A, eds. Qualitätsbeurteilung multimedialer Lern- und Informationssysteme. Evaluationsmethoden auf dem Prüfstand. Nürnberg: BW; 2000. p. 106-125.
21.
Schuler H, Prochaska M, Frintrup A. Leistungsmotivationsinventar. Dimensionen berufsbezogener Leistungsorientierung. Göttingen: Hogrefe; 2001.
22.
Schwarzer R, Jerusalem M. Skalen zur Erfassung von Lehrer- und Schülermerkmalen. Dokumentation der psychometrischen Verfahren im Rahmen der wissenschaftlichen Begleitung des Modellversuchs Selbstwirksame Schulen; 1999. Korrigierte Web Version, 2001: http://psychologie.de/Schwarzer
23.
Spector PE. Summated Rating Scale Construction. An Introduction. Newbury Park, CA: Sage Publications; 1992.
24.
Steele DJ, Johnson Palensky JE, Lynch TG, Lacy NL, Duffy SW. Learning preferences, computer attitudes, and student evaluation of computerised instruction. Med Educ. 2002; 36: 225-32.
25.
Sudman S, Bradburn N. Asking Questions. A Practical Guide to Questionnaire Design. San Francisco: Jossey-Bass; 1982.
26.
Weidenmann B. Psychologie des Lernens mit Medien. In: Weidenmann B, Krapp A, Hofer M, Huber GL, Mandl H, eds. Pädagogische Psychologie. Ein Lehrbuch. Weinheim: Beltz Psychologie Verlags-Union; 1993. p. 493-554.
27.
Wild KP, Schiefele U, Winteler A. LIST - Ein Verfahren zur Erfassung von Lernstrategien im Studium. In: Krapp A, ed. Arbeiten zur empirischen Pädagogik und pädagogischen Psychologie (Bd. 20). Neubiberg: Gelbe Reihe; 1992.
28.
Wild KP. Lernstrategien im Studium. Strukturen und Bedingungen. Münster: Waxmann; 2000.