gms | German Medical Science

50. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie (gmds)
12. Jahrestagung der Deutschen Arbeitsgemeinschaft für Epidemiologie (dae)

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie
Deutsche Arbeitsgemeinschaft für Epidemiologie

12. bis 15.09.2005, Freiburg im Breisgau

Evaluierung des Lernfeldes „Medizinische Statistik“ im Lehr- und Lernsystem NUMAS

Meeting Abstract

Suche in Medline nach

  • Konrad Neumann - Charité - Universitätsmedizin Berlin, Institut für Medizinische Informatik, Biometrie und Epidemiologie, Berlin
  • P. Martus - Charité - Universitätsmedizin Berlin, Institut für Medizinische Informatik, Biometrie und Epidemiologie, Berlin

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie. Deutsche Arbeitsgemeinschaft für Epidemiologie. 50. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie (gmds), 12. Jahrestagung der Deutschen Arbeitsgemeinschaft für Epidemiologie. Freiburg im Breisgau, 12.-15.09.2005. Düsseldorf, Köln: German Medical Science; 2005. Doc05gmds488

Die elektronische Version dieses Artikels ist vollständig und ist verfügbar unter: http://www.egms.de/de/meetings/gmds2005/05gmds415.shtml

Veröffentlicht: 8. September 2005

© 2005 Neumann et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielf&aauml;ltigt, verbreitet und &oauml;ffentlich zug&aauml;nglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Gliederung

Text

Einleitung und Fragestellung

Von Januar 2002 bis Juni 2004 wurde am Institut für Medizinische Informatik, Biometrie und Epidemiologie der FU Berlin das Lernfeld „Medizinische Statistik“ des Internet gestützten Lehr- und Lernsystems „NUMAS“ entwickelt und implementiert (http://www.numas.de/). Das Lernfeld „Medizinische Statistik“, behandelt die Themenkreise „Überlebensanalyse“, „Diagnostische Tests“ und „Studiendesign“ (siehe auch [1], [2]).

Im Sommersemester 2004 wurde von den Autoren die Evaluierung dieses Teiles von NUMAS im Rahmen des Biomathematikkurses mit Medizinstudenten an der Freien Universität Berlin durchgeführt.

Methoden

Insgesamt wurden 114 Studenten aus fünf Kursen zur Evaluierung herangezogen. Die Studenten wurden nach Kursen stratifiziert in zwei gleich große Evaluierungsarme „Lernen mit NUMAS“ (im Folgenden NUMAS-Gruppe) und „Lernen aus einem Skript“ (im Folgenden Kontroll-Gruppe) randomisiert. Der Lernstoff, den sich die Studenten auf die eine oder andere Weise aneignen sollten, stammte aus dem Themenkreis „Validitätsparameter für Diagnoseverfahren und ROC-Analyse“. Diese Lerninhalte eignen sich besonders gut für die Evaluierung, da der Stoffumfang während einer Sitzung von zwei Stunden behandelt werden kann und das Thema inhaltlich weitgehend in sich abgeschlossen ist. Auch andere computergestützte Lernsysteme, wie z.B. der „Methodenlehre-Baukasten“, behandeln diese Begriffe und wurden anhand dieses Themenkreises evaluiert [3].

Die NUMAS-Gruppe sollte sich den Lernstoff mit Hilfe des NUMAS-Lernsystems aneignen. Die Kontroll-Gruppe erhielt ein Skript mit dem Text und den Graphiken aus dem entsprechenden Lernobjekt in NUMAS. Beide Gruppen verfügten also inhaltlich über das gleiche Schulungsmaterial. Die NUMAS-Gruppe konnte jedoch zusätzlich die interaktiven Elemente (Interaktionen, interaktive Funktionen der Graphiken) von NUMAS nutzen und arbeitete den Lernstoff am Computer durch. Der Lernerfolg wurde durch einen schriftlichen Test festgestellt. An die Teilnehmer der NUMAS-Gruppe wurde zusätzlich noch ein Fragebogen ausgehändigt, in dem nach dem subjektiven Eindruck, den sich die Teilnehmer während der Evaluierung von den unterschiedlichen Aspekten des Lernsystems machen konnten, gefragt wurde.

Im Einzelnen sollte untersucht werden, ob sich die beiden Gruppen hinsichtlich folgender drei Punkte unterschieden:

1.
Grundverständnis. Wurden die Begriffe „Sensitivität“, „Spezifität“, „prädiktive Werte“ und „Prävalenz“ verstanden?
2.
Beherrschung von Lerninhalten, die in NUMAS von Interaktionen illustrierend begleitet werden.
3.
Allgemeines Leistungsniveau.

Ergebnisse

Von den 114 projektierten Teilnehmern erhielten wir 82 (72 %) auswertbare Testergebnisse.

Zu 1.: Insgesamt hatten 74 % der Studenten den Lernstoff in Grundzügen verstanden. In der NUMAS-Gruppe lag dieser Prozentsatz etwas höher als in der Kontrollgruppe (78% gegen 71%). Dieser Unterschied ist nicht signifikant auf dem 5% Niveau (p=0,61, Exakter Test nach Fisher).

Zu 2.: Das Lernsystem NUMAS enthält eine Interaktion, in der die Abhängigkeit von Sensitivität und Spezifität vom Schwellenwert illustriert wird. Der Anwender kann mit einem Schieber den Schwellenwert verändern und erhält vom Programm die zugehörigen Werte der beiden Validitätsparameter angezeigt. Die Interaktion ist mit einer Graphik versehen, aus der deutlich wird, welche Fälle über bzw. unter dem Schwellenwert liegen. Die Teilnehmer der Kontrollgruppe erhielten diese Graphik nur für eine Einstellung des Schwellenwertes. Die Frage war nun, ob interaktives Lernen das Verständnis dieses Zusammenhangs fördert. Der Lernerfolg wurde auf einer Skala von 0 bis 2,5 gemessen (sechs Stufen). Die Mediane der Gruppen lagen bei 2,5 (NUMAS-Gruppe) und 2,0 (Kontrollgruppe). Der Unterschied zwischen den Gruppen war signifikant auf dem 5% -Niveau (p=0,003, Mann-Whitney-Test).

Zu 3.: Schließlich wurde noch das allgemeine Leistungsniveau beider Randomisierungsarme verglichen. Insgesamt konnten zwischen 0 und 19 Punkte erzielt werden. Die Mediane in den Gruppen waren 10,5 (NUMAS-Gruppe) und 9,5 (Kontroll-Gruppe). Auch hier schnitten die Teilnehmer der NUMAS-Gruppe etwas besser ab als die Kontrollen. Der Unterschied war allerdings nicht signifikant auf dem 5% Niveau (p=0,29, Mann-Whitney-Test).

Der Fragebogen zur Zufriedenheit mit dem Lernsystem wurde nur an die Studenten der NUMAS-Gruppe verteilt. Es hatten 38 von 41 Teilnehmern den Fragebogen ausgefüllt. Insgesamt ergab sich folgendes Ergebnis (Bewertungsskala von 1 bis 6, wobei 1= sehr unzufrieden, 6= sehr zufrieden): siehe Tabelle 1 [Tab. 1].

Diskussion

Beim Vergleich der beiden Randomisierungsarme hinsichtlich des Leistungsniveaus konnte eine leichte Überlegenheit des Lernens mit NUMAS über das Lernen mit einem Skript festgestellt werden. Allerdings waren die Unterschiede so gering, dass sie bei der zur Verfügung stehenden Fallzahl nicht signifikant nachgewiesen werden konnten. Ein bemerkenswerter Unterschied zwischen den Studienarmen ergab sich bei Punkt 2. In NUMAS wurde der Zusammenhang zwischen Schwellenwert und Validitätsparametern durch eine interaktive Graphik illustriert. Das führte dazu, dass Aufgaben, die sich auf diesen Zusammenhang bezogen, signifikant besser von der NUMAS-Gruppe gelöst wurden als von den Kontrollen.

Bei den Scores, die die Zufriedenheit und den subjektiven Eindruck mit dem System erfassen sollten, wurden nur mittlere Werte erreicht. Ein möglicher Grund könnte die Ausstattung mit alten Computern, bei denen sich die Graphiken und Interaktionen nur mit einer nicht unwesentlichen Verzögerung aufbauten, eine Rolle spielen. Zumindest deuten Kommentare von Studenten darauf hin, dass das als störend empfunden wurde. Nachdenklich stimmt auch, dass nur wenige Studenten NUMAS und auch allgemeiner computergestütztem Lernen eine praktische Bedeutung zumessen. Nur eine Minderheit würden sich beispielsweise mit einem Lernsystem auf eine Prüfung vorbereiten wollen.


Literatur

1.
Neumann K, Engeln-Müllges G, Niederdrenk K, Martus P. Das multimediale Lernsystem für Medizinische Statistik, Rechnergestützte Lehr- und Lernsysteme in der Medizin, Proceedings zum 7. Workshop der GMDS AG, Computergestützte Lehr- und Lernsysteme in der Medizin, Universität Würzburg 3-4. April 2003: Shaker Verlag, Aachen 2003: 147-52.
2.
Neumann K, Engeln-Müllges G, Niederdrenk K, Martus P. Numas - Ein Lernsystem für Medizinische Statistik, Rechnergestützte Lehr- und Lernsysteme in der Medizin, Proceedings zum 8. Workshop der GMDS AG, Computergestützte Lehr- und Lernsysteme in der Medizin, Universität zu Lübeck, 25.-26. März 2004: Shaker Verlag, Aachen 2004: 251-54.
3.
Kundt G, Tamm J. Erfahrung mit der Lernsoftware "Anwendung statistischer Methoden in der klinisch experimentellen Forschung", Rechnergestützte Lehr- und Lernsysteme in der Medizin, Proceedings zum 8. Workshop der GMDS AG, Computergestützte Lehr- und Lernsysteme in der Medizin, Universität zu Lübeck, 25.-26. März 2004: Shaker Verlag, Aachen 2004: 185-91.