gms | German Medical Science

Kostenfreie elektronische Lernmodule im World Wide Web (WWW) sind ein reizvolles Angebot zur Ergänzung des Medizinstudiums. Der Zugriff auf geeignete Module gestaltet sich jedoch schwierig: Zuerst gilt es, passende Kandidaten in der Flut von Informationsangeboten zu finden, um anschließend deren Eignung für die gegebene Lernsituation zu überprüfen. Hilfestellung versprechen Kataloge, die elektronische Lernmodule sammeln, verschlagworten und zur Recherche bereitstellen. Die Qualität dieser Kataloge ist jedoch unbekannt. Ziel unserer Untersuchung war es daher, die Vollständigkeit von vier Diensten zu bestimmen, die einen Zugriff auf entsprechende Kataloge anbieten:

• Computer aid learning reviews (CAL reviews) aus der Universität Cambridge (http://axis.cbcu.cam.ac.uk/calreviews/)

• Kommentierte E-Learning Datenbank: Medizin (KELDAmed) aus der Universität Heidelberg und der Fakultät für Klinische Medizin Mannheim (http://www.ma.uni-heidelberg.de/bibl/KELDAmed/)

• Lernmodule im Internet aus der Ludwig-Maximilians-Universität München (im folgenden als LMU abgekürzt) (http://link.medinn.med.uni-muenchen.de/instruct/de/casus/wwwcbt.html)

• Learning Resource Server Medizin (LRSMed) aus dem Universitätsklinikum Essen (http://mmedia.medizin.uni-essen.de/portal/)

Der LRSMed wird von den Autoren betrieben.

Die Qualität einer Recherche kann über die Maße Vollständigkeit (Recall) und Genauigkeit (Präzision) beschrieben werden. Voraussetzung für die Bestimmung der Vollständigkeit ist die Kenntnis aller wahren Lernmodule, Voraussetzung für die Bestimmung der Genauigkeit die Festlegung der wahren Lernmodule unter allen recherchierten. Beides bereitet in unserem Falle Schwierigkeiten. Einerseits sind die wahren Lernmodule unbekannt; ebenso fehlt ein Referenzbestand. Andererseits besteht über die Definition eines Lernmoduls keine einheitliche Auffassung.

Wir haben uns daher entschieden, in einem ersten Schritt die Vollständigkeit paarweise zu bestimmen und somit auf die Heranziehung eines "Goldstandards" zu verzichten. Hierzu wurden am 3.3.2004 von jedem Dienst 20 unterschiedliche Lernmodule zufällig gezogen, bei CAL reviews und KELDAmed je eines aus 20 zufällig ausgewählten medizinischen Fachgebieten. Bei CAL reviews wurden nur WWW-Ressourcen akzeptiert, keine CD-ROMs oder Bücher. Die Verfügbarkeit der 80 Lernmodule wurde unabhängig von 2 Personen (Autoren 1 und 2) in allen vier Diensten ohne Kenntnis der Quelle in den folgenden 10 Tagen recherchiert. Unterschiedliche Ergebnisse wurden gemeinsam analysiert und eine endgültige Bewertung durch den Erstautor getroffen.

Von 80 Modulen konnten 6 über die angegebene URL nicht erreicht werden (1 von KELDAmed, 5 von LMU). Damit lag die Verfügbarkeit bei 93 %. In der eigenen Quelle wurden alle Module identifiziert. Initial gab es bei 296 Möglichkeiten (je 4 Bewertungen von 74 erreichbaren Lernmodulen) in 24 Fällen eine unterschiedliche Bewertung. Zusätzlich wurden 5 Möglichkeiten von einem Untersucher als nicht bewertbar beschrieben. Abzüglich dieser 5 Möglichkeiten betrug der Kappa-Wert als Maß der Übereinstimmung 0,83. Die folgenden Angaben beziehen sich auf das bereinigte Ergebnis.

Von 74 verbleibenden Modulen konnten in CAL reviews 33, in KELDAmed 45, in LMU 26 und im LRSMed 42 wiedergefunden werden. Tabelle 1 [Tab. 1] zeigt die Vollständigkeit der Dienste untereinander. Die höchste mittlere Vollständigkeit weist KELDAmed mit 47 % auf. 7 Lernmodule konnten in allen Diensten recherchiert werden, 16 in allen Diensten aus Deutschland. Von CAL reviews wurden insgesamt 5 Module in den anderen Dienste gefunden (25 %), von KELDAmed 9 (47 %), von LMU 12 (80 %) und vom LRSMed 16 (80 %).

Die Vollständigkeit der untersuchten Kataloge kann nicht zufrieden stellen. Aus dem gepoolten Bestand von 74 verfügbaren Modulen konnten bei der Nutzung eines Dienstes maximal 61 % recherchiert werden. Die Menge an katalogisierten Lernmodulen bestimmt die Reihenfolge der deutschen Anbieter, KELDAmed mit insgesamt 1083, LRSMed mit 439 und LMU mit 223 Lernmodulen (Stand bei Ziehung). Der nur knappe Vorsprung von KELDAmed erklärt sich durch die hohe Zahl der dort berücksichtigten pdf-Dokumente, die in den anderen Diensten nicht als Lernmodul wahrgenommen werden. Die Ergebnisse zu den Lernmodulen von CAL reviews zeigen, dass die Abdeckung englischsprachiger Module bei allen deutschen Anbietern noch unzureichend ist. Das mäßige Abschneiden der CAL reviews erklärt sich durch die Nichtberücksichtigung deutschsprachiger Angebote.

Die Übereinstimmung der Autoren bei der Recherche war sehr gut. Eine Einschränkung unserer Untersuchung liegt allerdings im geringen Anteil ausgewählter Lernmodule bei KELDAmed (2 %) und bei CAL reviews. Zu letzterem wird keine Angabe über die Gesamtzahl der Module gegeben. Die Ergebnisse sind jedoch auch in bezug auf diese beiden Dienste plausibel und spiegeln deren Besonderheiten, pdf-Dokumente bei KELDAmed und rein englischsprachige Module bei CAL reviews, wider. Kompromisse mussten bei der Bewertung von Modulen eingegangen werden, die unterhalb oder oberhalb eines Links aus dem untersuchten Dienst angesiedelt sind. Im Regelfall wurde ein allgemeinerer Link als Treffer anerkannt, ein tieferer Link jedoch nicht.

Vollständigkeit ist nur ein Kriterium zur Bewertung der Dienste. Als weiteres Maß der Güte bestimmt die Genauigkeit deren Qualität. Hier denken wir an eine Überprüfung von Rechercheergebnissen gemessen an den Standards des jeweiligen Anbieters, z. B. in bezug auf ein medizinisches Fachgebiet. Der praktische Nutzen wird darüber hinaus auch durch die Verfügbarkeit des Dienstes, dessen Aktualität und den Komfort der Benutzerschnittstelle bestimmt. Angesichts der unzureichenden Abdeckung steht aus unserer Sicht derzeit die Frage nach Vollständigkeit und Genauigkeit allerdings im Vordergrund.

Derzeit muss dem Studierenden empfohlen werden, sich mehrerer Dienste zu bedienen, falls er auf das Angebot möglichst vieler Lernmodule Wert legt. Für eine denkbare Metasuchmaschine in den Katalogen bietet bislang nur der LRSMed mit dem Simple Object Access Protocol (SOAP)eine Schnittstelle an. Bedauerlich ist auch, dass drei Kataloge ohne wechselseitigen Austausch parallel an Universitäten in Deutschland betrieben werden.

Die Entwicklung des LRSMed wurde im Verbundvorhaben Vision 2003 (www.vision2003.de) vom BMBF im Rahmen des Programms "Neue Medien in der Bildung" gefördert.