gms | German Medical Science

51. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e. V. (gmds)

10. - 14.09.2006, Leipzig

Zur Evaluation von Lehrsystemen

Meeting Abstract

Suche in Medline nach

  • Günther Kundt - Universität Rostock, Rostock
  • Jörg Müller - Universität Rostock, Rostock

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V. (gmds). 51. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie. Leipzig, 10.-14.09.2006. Düsseldorf, Köln: German Medical Science; 2006. Doc06gmds170

Die elektronische Version dieses Artikels ist vollständig und ist verfügbar unter: http://www.egms.de/de/meetings/gmds2006/06gmds310.shtml

Veröffentlicht: 1. September 2006

© 2006 Kundt et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielf&aauml;ltigt, verbreitet und &oauml;ffentlich zug&aauml;nglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Gliederung

Text

Einleitung und Fragestellung

In den vergangenen Jahren sind unter Verwendung neuer Medien zahlreiche Lernprogramme zur Unterstützung und Modifizierung der Ausbildung von Studenten der Human- und Zahnmedizin entstanden [1], [2], [3]. Dass damit in der Ausbildung bessere, zumindest jedoch gleich gute Ergebnisse erzielt werden wird erhofft, ist aber nicht selbstverständlich und muss mit wissenschaftlichen Methoden nachgewiesen werden [4]. Wie dabei optimal vorzugehen ist bedarf gründlicher Überlegungen. Zur Prüfung der Effizienz steht prinzipiell eine Reihe von Konzepten zur Verfügung, die beschreibende und vergleichende Vorgehensweisen beinhalten. Sie sind in ihrer Mehrheit angelehnt an dem Konzept der „clinical trials“, das ursprünglich zur Beurteilung verschiedener medizinischer Behandlungsverfahren diente und methodisch sehr ausgereift ist. Da die Vermittlung von Wissen auch eine „Intervention“ darstellt, lag der Versuch der Übertragung des „clinical trial“-Konzepts auf der Hand. Seine Eignung wird jedoch nicht durchgehend positiv diskutiert [5]. Manche dabei vorgetragenen Argumente lassen Zweifel aufkommen, ob das methodisch nicht einfache Konzept der „clinical trials“ in jedem Fall ausreichend tiefgründig verstanden worden ist. Deshalb sollen die einzelnen Teilbereiche des „clinical-trial“-Konzepts zusammenhängend vorgestellt, auf ihre 1:1 Übertragungsfähigkeit überprüft und gegebenenfalls Modifizierungen vorgeschlagen werden.

Methodik

Für die Planung, Durchführung, Auswertung und Berichterstattung von Studien nach dem Arzneimittelgesetz (AMG) oder Medizinproduktegesetz (MPG) gibt es viele Vorschriften und einheitliche Standards. Neben der sorgfältigen Definition von Ein- und Ausschlusskriterien sind u.a. Festlegungen

  • zur notwendigen Anzahl zu rekrutierender Patienten/Probanden,
  • zur Durchführung der Randomisierung,
  • zu den durchzuführenden „Interventionen“,
  • zu Zielkriterien sowie
  • zur Verwendung statistischer Verfahren zur Beurteilung der Wertigkeit verschiedener „Interventionen“

erforderlich.

Bei der Übertragung dieses Konzepts auf das Problem der Evaluation von Lehrsystemen wären u.a. modifizierte Antworten zu folgenden Fragen zu finden:

1.
Wie viele Studenten sind in eine vergleichende Studie mehrerer (mindestens zwei) Lehrkonzepte aufzunehmen? Was wird dabei als „relevanter Vorteil“ eines Lehrkonzepts gegenüber (mindestens) einem anderen angesehen? Sollte der Nachweis von Gleichwertigkeit unterschiedlicher Lehrkonzepte angestrebt werden, wie groß wäre dann der „Irrelevanzbereich“ zu definieren? Welche Genauigkeit ist mit einer bestimmten (kleineren) Anzahl von Studenten bezüglich einer Vergleichsaussage überhaupt erreichbar?
2.
Wie kann man die notwendige Strukturgleichheit für einen unverzerrten Vergleich erreichen? Welches Randomisierungsverfahren wird dazu verwendet und soll überhaupt, und wenn ja, bezüglich welcher Faktoren stratifiziert werden [6]?
3.
Wie sollen die unterschiedlichen Lehrkonzepte zur Anwendung kommen? Wie wird die „Compliance“ kontrolliert, d.h. ob nur ein bestimmtes Konzept zur Wissensaufnahme Verwendung fand?
4.
Wie soll die Wertigkeit unterschiedlicher Lehrkonzepte überhaupt eine Beurteilung erfahren? Geschieht dies innerhalb einer Prüfung und sind die verwendeten Aufgaben geeignet gewesen? Welche der verwendeten Aufgaben besitzen einen besseren „Trenneffekt“?
5.
Soll eine Verallgemeinerung der Resultate der Lehr/Lernstudie über die teilnehmenden Studenten hinaus vorgenommen werden? Das ist sicher empfehlenswert, bedarf aber der Festlegung für die Verwendung eines bestimmten statistischen Tests.

Auch die Evaluierung von Lehrsystemen benötigt damit eine gründliche Planung, für die sich ausreichend Zeit genommen werden muss. Ansonsten werden Resultate erhalten, die die Realität nicht unverzerrt widerspiegeln und damit eher einen Beitrag zur „Verwirrung“ als zur Klärung des (unbestritten) wichtigen Anliegens darstellen. Eine Reihe schlecht geplanter und nicht mit der notwendigen Akkuratesse durchgeführter klinischer Studien bieten ein alarmierendes Beispiel, zeigen aber auch, wie schwierig und zeitaufwendig ein solches Unterfangen ist.


Literatur

1.
Kundt G, Tamm J, Sander M. Das Rostocker Biometriesystem „ROBISYS“ - Erfahrungen, aktueller Stand und Vorstellungen zur Weiterentwicklung. In: Klar R, Köpcke W, Kuhn K, Lax H, Weiland S, Zeiß A, Hrsg. Tagungsband der 50. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie (GMDS) und der 12. Jahrestagung der Deutschen Arbeitsgemeinschaft für Epidemiologie (DAE), Freiburg. 2005: 54-5.
2.
Neumann K, Engeln-Müllges G, Niederdrenk K, Martus, P. Das multimediale Lernsystem für Medizinische Statistik. In: Puppe, F., Albert, J., Bernauer, J., Fischer, M., Klar, R., Leven, J. (Hrsg): 7. GMDS-Workshop ”Rechnergestützte Lehr- und Lernsysteme in der Medizin”. Aachen: Shaker Verlag; 2002: 147-152.
3.
Köpcke W, Heinecke A. Die Java unterstützte Münsteraner Biometrie Oberfläche (JUMBO): Ein HTML-basiertes Lehr- und Lernsystem für die Übungen in Medizinischer Biometrie. In: Greiser, E., Wischnewski, M. (Hrsg): Methoden der Medizinischen Informatik, Biometrie und Epidemiologie in der modernen Informationsgesellschaft (43. Jahrestagung der GMDS Bremen, September 1998). MMV Medien & Medizin Verlag; 1998: 266-269. http://medweb.uni-muenster.de/institute/imib/lehre/skripte/biomathe/jumbo.html
4.
Best Evidence Medical Education (BEME) (editorial). Medical teacher 1999; 21(5): 242-5.
5.
Lechner SK. Evaluation of teaching and learning strategies. Med Educ [serial online]2001; 6:4.
6.
Kundt G, Tamm J. Der Modul „Randomisierung in klinischen Studien“ in der Lernsoftware „Anwendung statistischer Methoden in der klinisch experimentellen Forschung“: ein Beitrag zur Evaluation von Lernsystemen. In: Ammenwerth E, Gaus W, Haux R, Lovis C, Pfeiffer KP, Tilg B, Wichmann HE, Hrsg. Kooperative Versorgung, Vernetzte Forschung, Ubiquitäre Information. Niebüll: Verlag videel OHG; 2004: 468-40