gms | German Medical Science

Computer-based Training (CBT) gehört zu den tutoriellen Methoden und hat sich aus der Tradition des programmierten Lernens entwickelt. Gemeinsam mit diesem hat es das Chunking, d.h. die Untergliederung des Lernstoffs in kleine Einzelschritte [1]. In Anlehnung an die verzweigten Programme von Crowder ("branching tutorial programs“) [2] bietet jeder Auswahlframe im CBT mindestens zwei Optionen, von denen eine die richtige ist. Ein entscheidender Punkt im Gegensatz zum behaviouristischen Üben nach Skinner [2] ist die differenzierte Rückmeldung mit einer entsprechenden Begründung und weiterführenden Hinweisen.

An der Medizinischen Universität Graz (MUG) werden seit 2003 systematisch CBT-Lernobjekte entwickelt [3]. Diese Lernobjekte bestehen in der Regel aus 10 – 30 Frames. Derzeit sind an der MUG mehr als 500 CBT-Lernobjekte in Gebrauch. Voruntersuchungen haben ergeben, dass Lernstoff, der über CBT vermittelt wurde, in Multiple-Choice-Tests signifikant besser gekonnt wurde als der zum Vergleich herangezogene Präsenzunterricht [4].

Die vorliegende Studie geht der Frage nach, ob es lediglich zu einem Drill von Frames kommt oder ob durch CBT sprachlich ausdrückbares, explizites Wissen erworben werden kann.

Den an der Studie teilnehmenden Studierenden wurde ein Stoffgebiet aus der Humanmedizin (Allgemeine Tumorpathologie [5]) ausschließlich durch ein CBT-Lernobjekt mit 34 Frames vermittelt und der damit erreichbare Wissenszuwachs untersucht. Zu jeder Auswahl bot das Programm ein differenziertes, inhaltlich weiterführendes Feedback. Erst nach richtiger Bearbeitung gelangte man zum nächsten Frame. Abbildung 1 [Abb. 1] und Abbildung 2 [Abb. 2] zeigen ein Frame-Beispiel. Das Vorhaben wurde der zuständigen Ethikkommission gemeldet, die keinen Einwand erhob.

An der Studie nahmen 43 Studierende (31 Frauen, 12 Männer) im Rahmen eines freien Wahlfachs im Studium Humanmedizin teil.

Der Ablauf der Studie war für alle teilnehmenden Personen gleich: Verfassen des ersten Short Essays, zweimalige Absolvierung des CBT-Lernobjekts, Verfassen des zweiten Short Essays, optionale Formulierung von Feedback, zwei Wochen Pause, Verfassen des dritten Short Essays, einmalige Absolvierung des CBT-Lernobjekts, und nochmalige optionale Formulierung von Feedback. Das Lernobjekt und das Arbeitsformular wurden digital über das Lernsystem VMC (Virtueller Medizinischer Campus) der Medizinischen Universität Graz bereit gestellt. Die Studierenden bearbeiteten den Arbeitsauftrag einschließlich Short Essays und Feedback Zeit- und Orts-unabhängig an ihren eigenen Arbeitsplätzen und übermittelten das ausgefüllte elektronische Formular an den Studienleiter. Die Vorgabe für die Short Essays war "10 – 20 Zeilen“, ggf. in Stichwörtern. Für das Feedback gab es lediglich den Hinweis „Anmerkungen aus Ihrer persönlichen Erlebnissicht (optional)“ im Arbeitsblatt. In den Short Essays wurde die Frequenz von Begriffen und Konzepten der allgemeinen Tumorpathologie mittels Inhaltsanalyse manuell durch den Studienleiter ausgewertet. Die Inhaltsanalyse bezog sich auf die Liste der Begriffe, die im CBT-Lernobjekt angesprochen wurden. Bei den CBT-Absolvierungen wurden Trefferquote und Zeitaufwand protokolliert. Die Feedbacks wurden wiederum mittels Inhaltsanalyse anhand einer vorab definierten Liste von Kategorien untersucht.

Hauptzielgröße war der Zuwachs der Frequenz an Begriffen und Konzepten der Allgemeinen Tumorpathologie vom ersten zum dritten Short Essay. Nebenzielgrößen waren die Unterschiede zwischen allen drei Essays, die Entwicklung der Trefferquoten in den CBT-Durchgängen, der Zeitaufwand, das qualitative Feedback und schließlich die Zusammenhänge dieser Merkmale untereinander.

Bei einer Standardabweichung von 10.6 für die Differenz zwischen erstem und drittem Essay bei der Frequenzanalyse, ermittelt aus einer ersten Stichprobe von 15 Probanden, und dem Ziel, einen durchschnittlichen Zuwachs von 5 zu erfassen (alpha = 0.05, beta = 0.10), errechnete sich eine Mindestfallzahl von 40 [6].

Die Hauptzielgröße wurde mit einem t-Test für gepaarte Stichproben untersucht. Abgesehen von Basisstatistik (Mittelwert, Standardabweichung) wurden für die Nebenzielgrößen weiters die lineare Korrelation nach Pearson und der Wilcoxon-Test angewandt. Die statistischen Untersuchungen wurden mit dem SPSS für Windows 11.0-Programmpaket (SPSS Inc., Sunnyvale, USA) durchgeführt [7].

Vom ersten zum zweiten und vom ersten zum dritten – nach 2 Wochen erfolgten – Durchgang ergaben sich jeweils hoch signifikante Steigerungen (siehe Tabelle 1 [Tab. 1]), vom zweiten zum dritten dagegen eine leichte Verschlechterung. Im dritten Durchgang waren die Ergebnisse der Frauen signifikant besser als die der Männer. Das Ausmaß der Verbesserung der Trefferquote vom ersten zum dritten Durchgang korrelierte negativ mit der Trefferquote des ersten Durchgangs (p < 0.001).

Der Zeitbedarf war für den ersten Durchgang am größten, für den zweiten am geringsten (siehe Tabelle 1 [Tab. 1]), wobei die Unterschiede zwischen allen drei Durchgängen signifikant waren. In allen Durchgängen korrelierte der Zeitaufwand negativ mit der erzielten Trefferquote (r < 0.01).

Die Frequenzanalyse der Begriffe und Konzepte der allgemeinen Tumorpathologie in den Short Essays (siehe Tabelle 1 [Tab. 1]) ergab eine hochsignifikante Verbesserung zwischen erstem und zweitem Essay (t = 6.1, p < 0.001) und zwischen erstem und drittem Essay (t = 5.1, p < 0.001), während zwischen zweitem und drittem Essay eine eben nachweisbare Verschlechterung zu verzeichnen war (t = 2.1, p < 0.05). Bei den Frauen waren die ersten beiden Unterschiede ebenso hoch signifikant, der dritte Essay dagegen zeigte keine Einbuße gegenüber dem zweiten. Bei den Männern dagegen waren alle drei Unterschiede signifikant.

Der erste Essay zeigte eine hoch signifikante Korrelation mit der Trefferquote im ersten CBT-Durchgang (r = 0.68, p < 0.001). Für den zweiten und dritten Durchgang war diese Korrelation deutlich geringer ausgeprägt (r = 0.37, p < 0.05 und r = 0.45, p < 0.01).

Generell zeigte sich ein signifikantes Überwiegen positiver Eindrücke gegenüber negativen (siehe Tabelle 2 [Tab. 2]; p < 0.01). Bemerkenswert ist der Befund, dass 23 Mal der Erwerb expliziten Wissens angesprochen wurde, und dass sich 6 Personen darüber „überrascht“ gezeigt hatten. Dagegen wurde 14 Mal die Meinung geäußert, dass man kein verwertbares Wissen erworben hätte. Einige Male wurde auch festgestellt, dass sich CBT gut zur Überprüfung vorhandenen Wissens eigne [6] und dass das bereits existierende Vorwissen eine beträchtliche Bedeutung für das Abschneiden hätte [7]. Die positiven bzw. negativen Stellungnahmen zeigten keine Korrelation mit den erzielten Leistungen der einzelnen Studierenden.

Die Ergebnisse zeigen wie zu erwarten eine hoch signifikante Zunahme bei den erzielten Trefferquoten im CBT-Lernobjekt, wobei dieser Trainingseffekt auch nach einer zweiwöchigen Pause noch nachweisbar war. Weniger selbstredend ist der Zuwachs an explizitem Wissen, der sich in der Inhaltsfrequenzanalyse der Short Essays manifestierte. Gerade Zweifel daran, dass durch CBT explizites Wissen erworben werden kann, haben ja in den letzten Jahrzehnten die behaviouristischen Konzepte nach Skinner in Misskredit gebracht [2]. Das positive Ergebnis unserer Studie könnte darauf zurückzuführen sein, dass durch die differenzierten Rückmeldungen im Sinne von Musch eine kognitivistische Wissensverarbeitung in Gang gesetzt wurde [8]. Bessere Lernergebnisse für die weiblichen Teilnehmerinnen, wie sie diese Studie gerade bei den Short Essays nach einem zweiwöchigen Intervall zeigt, wurden zwar auch andernorts beobachtet, konnten aber z.B. nicht durch unterschiedliche Lernstile erklärt werden [9].

Eindrucksvoll ist die hohe Korrelation zwischen dem Inhaltsreichtum der Essays und der Trefferquote im CBT. Dies zeigt, dass die Performanz im CBT in engem Zusammenhang mit dem vorhandenen expliziten Wissen zum Thema steht und somit zur Wissensüberprüfung geeignet ist. Die geschlossenen Aufgabenstellungen im CBT und die offene in den Short Essays weisen Parallelen zur Studie von Schuwirth et al. (1996) [10] auf. Dieser verglich Multiple-Choice-Fragen mit offenen Kurzantwortfragen und fand dabei eine hohe Korrelation zwischen beiden Testverfahren, wobei der Cueing-Effekt der Multiple-Choice-Fragen geringer war als erwartet. Die Zusammenhänge zwischen Leistung im CBT und aufgewandter Zeit – je geringer die Performanz, desto größer der Zeitaufwand – illustrieren das je nach Vorwissen individuelle Lerntempo.

In der persönlichen Einschätzung des Lernens mit CBT durch die Studierenden fällt die wiederholte Anmerkung, dass explizites Wissen erworben wurde und dass mancher darüber "überrascht“ war, auf. Allerdings ist auch festzuhalten, dass die Angaben im Feedback nicht mit den Leistungsdaten korrelieren – somit der subjektive Eindruck des Lernerfolgs oder Lernmisserfolgs nicht Ausdruck des objektivierbaren Ausmaßes derselben ist. Dass lediglich viermal explizit "Freude“ ausgedrückt wurde, könnte mit der gewählten Form des optionalen Feedbacks anstelle eines standardisierten Fragebogens zusammenhängen. Auch Motivation und Computervorkenntnisse dürften eine Rolle spielen. Insgesamt überwiegen die positiven Aussagen jedoch deutlich gegenüber den negativen. Bei einer früheren standardisierten Befragung von mehr als 900 Studierenden nach einem virtuellen Eingangssemester erhielt CBT mehr als 90 % positive Einschätzungen [11].

CBT in der gewählten Form scheint nach diesen Befunden ein gangbarer Weg zur Wissensvermittlung zu sein. Zur weiteren Evidenz-basierten Entwicklung von E-Learning-Modellen wird es aber notwendig sein, randomisierte Vergleichsuntersuchungen zwischen dem CBT einerseits und alternativen E-Learning-Methoden andererseits, aber auch gegenüber traditionellen Formaten (Vorlesung, problembasiertes Lernen, Printmedien) durchzuführen. Unter den E-Learning-Methoden werden vor allem das kollaborative Arbeiten im Netz [12], [13], [14] und die Patienten-orientierten Systeme auf der Basis des "goal-based scenarios“ [15], [16] zu berücksichtigen sein. Interessant ist in diesem Zusammenhang die aktuelle Feststellung von Grunwald, dass aufwändige Produktionen nicht unbedingt höhere Lerneffizienz bringen als einfache Lernobjekte [17].

Unsere Ergebnisse weisen darauf hin, dass Computer-based Training mit differenzierten Rückmeldungen nicht nur zum Drillen von Frames, sondern auch zum Aufbau expliziten Wissens geeignet ist, und dass eine entsprechende subjektive Akzeptanz seitens der Studierenden gegeben ist. Vergleichsstudien hinsichtlich Aufwand und Ergebnissen bei anderen E-Learning-Formaten sind jedoch notwendig, um eine Evidenz-basierte didaktische Weiterentwicklung gewährleisten zu können.

Frau Pamela Bauer sei für die exakte Aufbereitung des Datenmaterials gedankt.