gms | German Medical Science

In den vergangenen Jahren sind unter Verwendung neuer Medien zahlreiche Lernprogramme zur Unterstützung und Modifizierung der Ausbildung von Studenten der Human- und Zahnmedizin entstanden [Ref. 1], [Ref. 2], [Ref. 3]. Dass damit in der Ausbildung bessere, zumindest jedoch gleich gute Ergebnisse erzielt werden wird erhofft, ist aber nicht selbstverständlich und muss mit wissenschaftlichen Methoden nachgewiesen werden [Ref. 4]. Wie dabei optimal vorzugehen ist bedarf gründlicher Überlegungen. Zur Prüfung der Effizienz steht prinzipiell eine Reihe von Konzepten zur Verfügung, die beschreibende und vergleichende Vorgehensweisen beinhalten. Sie sind in ihrer Mehrheit angelehnt an dem Konzept der „clinical trials“, das ursprünglich zur Beurteilung verschiedener medizinischer Behandlungsverfahren diente und methodisch sehr ausgereift ist. Da die Vermittlung von Wissen auch eine „Intervention“ darstellt, lag der Versuch der Übertragung des „clinical trial“-Konzepts auf der Hand. Seine Eignung wird jedoch nicht durchgehend positiv diskutiert [Ref. 5]. Manche dabei vorgetragenen Argumente lassen Zweifel aufkommen, ob das methodisch nicht einfache Konzept der „clinical trials“ in jedem Fall ausreichend tiefgründig verstanden worden ist. Deshalb sollen die einzelnen Teilbereiche des „clinical-trial“-Konzepts zusammenhängend vorgestellt, auf ihre 1:1 Übertragungsfähigkeit überprüft und gegebenenfalls Modifizierungen vorgeschlagen werden.

Für die Planung, Durchführung, Auswertung und Berichterstattung von Studien nach dem Arzneimittelgesetz (AMG) oder Medizinproduktegesetz (MPG) gibt es viele Vorschriften und einheitliche Standards. Neben der sorgfältigen Definition von Ein- und Ausschlusskriterien sind u.a. Festlegungen

• zur notwendigen Anzahl zu rekrutierender Patienten/Probanden,
• zur Durchführung der Randomisierung,
• zu den durchzuführenden „Interventionen“,
• zu Zielkriterien sowie
• zur Verwendung statistischer Verfahren zur Beurteilung der Wertigkeit verschiedener „Interventionen“

erforderlich.

Bei der Übertragung dieses Konzepts auf das Problem der Evaluation von Lehrsystemen wären u.a. modifizierte Antworten zu folgenden Fragen zu finden:

1.

Wie viele Studenten sind in eine vergleichende Studie mehrerer (mindestens zwei) Lehrkonzepte aufzunehmen? Was wird dabei als „relevanter Vorteil“ eines Lehrkonzepts gegenüber (mindestens) einem anderen angesehen? Sollte der Nachweis von Gleichwertigkeit unterschiedlicher Lehrkonzepte angestrebt werden, wie groß wäre dann der „Irrelevanzbereich“ zu definieren? Welche Genauigkeit ist mit einer bestimmten (kleineren) Anzahl von Studenten bezüglich einer Vergleichsaussage überhaupt erreichbar?

2.

Wie kann man die notwendige Strukturgleichheit für einen unverzerrten Vergleich erreichen? Welches Randomisierungsverfahren wird dazu verwendet und soll überhaupt, und wenn ja, bezüglich welcher Faktoren stratifiziert werden [Ref. 6]?

3.

Wie sollen die unterschiedlichen Lehrkonzepte zur Anwendung kommen? Wie wird die „Compliance“ kontrolliert, d.h. ob nur ein bestimmtes Konzept zur Wissensaufnahme Verwendung fand?

4.

Wie soll die Wertigkeit unterschiedlicher Lehrkonzepte überhaupt eine Beurteilung erfahren? Geschieht dies innerhalb einer Prüfung und sind die verwendeten Aufgaben geeignet gewesen? Welche der verwendeten Aufgaben besitzen einen besseren „Trenneffekt“?

5.

Soll eine Verallgemeinerung der Resultate der Lehr/Lernstudie über die teilnehmenden Studenten hinaus vorgenommen werden? Das ist sicher empfehlenswert, bedarf aber der Festlegung für die Verwendung eines bestimmten statistischen Tests.

Auch die Evaluierung von Lehrsystemen benötigt damit eine gründliche Planung, für die sich ausreichend Zeit genommen werden muss. Ansonsten werden Resultate erhalten, die die Realität nicht unverzerrt widerspiegeln und damit eher einen Beitrag zur „Verwirrung“ als zur Klärung des (unbestritten) wichtigen Anliegens darstellen. Eine Reihe schlecht geplanter und nicht mit der notwendigen Akkuratesse durchgeführter klinischer Studien bieten ein alarmierendes Beispiel, zeigen aber auch, wie schwierig und zeitaufwendig ein solches Unterfangen ist.