gms | German Medical Science

Der Bekanntheitsgrad von evidenzbasierter Medizin (EBM) nimmt weltweit zu, und die Akzeptanz für das Konzept wächst. Im Januar 2007 führte das British Medical Journal eine Online-Abstimmung zu den 15 bedeutendsten medizinischen Meilensteinen durch, und EBM erreichte Platz sieben, unmittelbar hinter Keimtheorie und oraler Empfängnisverhütung, aber vor Computern und medizinischer Bildgebung [1], [2]. Die Förderung einer Kultur der EBM und ihre Implementierung in die Praxis setzt jedoch die Fähigkeit zur Identifizierung und kritischen Bewertung von Literatur voraus [3], [4], [5]. Gewisse Kenntnisse über Wahrscheinlichkeit und Statistik sind dafür zwingend erforderlich, wie auch für das Verständnis von Leitlinien und Evidenz-Synthesen, die Bewertung von Marketing- und Werbemaßnahmen der Industrie, Interpretation von Ergebnissen eines Screening-Tests oder der Lektüre von wissenschaftlichen Publikationen, um auf dem neuesten Stand der Entwicklung von Behandlungen zu bleiben; darüber hinaus sind Kenntnisse der Biostatistik notwendig, um numerische Daten zu analysieren, Patienten über Behandlungsrisiken aufzuklären, und nicht zuletzt, um auf Situationen vorbereitet zu sein, in denen Patienten Literatur unterschiedlichster Qualität aus dem Internet präsentieren [6], [7]. Tatsächlich stellt sich die Frage nicht länger, ob EBM unterrichtet werden soll, sondern wie [8] und wann. Abgesehen von verschiedenen pädagogischen Methoden wie z.B. „Training-on-the-job“, problembasiertem oder selbstgesteuertem Lernen [9] kann das Konzept der EBM als Ganzes, aber auch getrennt nach einzelnen der fünf Schritte vermittelt werden; diese sind:

1.

Stellen einer klinischen Frage,

2.

Suche nach der besten Evidenz,

3.

kritische Bewertung der Evidenz,

4.

Anwenden der Evidenz bei Patienten,

5.

Selbstbewertung [8].

Es gibt eine große Anzahl von Kursen zur Einführung in Datenbankrecherchen durch Bibliothekare [9] oder in Lerngruppen zum Trainieren der kritischen Bewertung von Literatur [9], [10], [11]. Um den Wissenszuwachs durch den Besuch von EBM-Kursen zu messen, sind objektive Methoden von größerem Wert als Selbstbewertungen, die zu erheblichen Überschätzungen führen [12], [13].

In früheren Studien wurde der Effekt von EBM-Kursen überwiegend durch Selbstauskünfte der Teilnehmer gemessen [4], [11] oder in Form von Fragebögen mit Multiple-Choice-Fragen [14]. Zusätzlich zu Selbstbewertungen war das Ziel der vorliegenden Studie eine gewisse Objektivität infolge des Vergleichs von Bewertungen durch Studenten mit Experten-Bewertungen als Referenzstandard.

Primäres Ziel war die Untersuchung der Anwendbarkeit verschiedener Instrumente zur Bewertung der methodischen Qualität von publizierten Studien durch Studenten im dritten Studienjahr nach einem Kurzlehrgang in EBM. Sekundäre Ziele waren Übereinstimmung mit Experten-Bewertungen sowie Kenntnisse und Kompetenzen der Studenten.

Es wurden Medizinstudenten der medizinischen Fakultät unmittelbar nach Abschluss der Vorklinik und Studenten im Masterprogramm Medizinmanagement der wirtschaftswissenschaftlichen Fakultät der Universität Duisburg-Essen in die Untersuchung eingeschlossen. Im Kontext einer Vorlesungsreihe zur Gesundheitsökonomie, durchgeführt durch den Lehrstuhl für Medizinmanagement und Pflichtveranstaltung für Medizinstudenten, wurden den Studenten im Wintersemester 2013/2014 in vier Veranstaltungen zu jeweils 90 Minuten die Prinzipien der EBM vermittelt. Die Anzahl der Teilnehmer war auf 20 Studenten pro Termin beschränkt. Ein Glossar mit Begriffen zur Schnellsuche wurde ausgehändigt (siehe Anhang 1 [Anh. 1]).

Auf der Basis eines Health Technology Assessment Berichts wurde der Fokus auf generische Instrumente publiziert nach dem Jahr 2000 zur Komponentenbewertung der Qualität von Evidenz gerichtet [15]. Mit einem Instrument zur Komponentenbewertung werden alle Aspekte, die zu Bias führen können, wie z.B. Randomisierung oder Art der Verblindung erfasst. Fünf Instrumente wurden eingesetzt [16], [17], [18], [19], [20], die sich in der Anzahl von Domänen, Fragen innerhalb von Domänen und Antwortmöglichkeiten unterschieden (siehe Tabelle 1 [Tab. 1]).

In einem zweiten Schritt wurden die Studenten gebeten, das Gesamtrisiko für Bias auf einer fünfstufigen Likert-Skala (sehr gering, gering, mäßig, hoch, sehr hoch) auf der Basis der einzelnen Biasrisiko-Bewertungen zu beurteilen. Jeder Student hatte fünf Publikationen über fünf randomisierte kontrollierte Studien (RCTs) auszuwerten. Die Bewertung von fünf RCTs durch fünf Instrumente ergab 25 Kombinationen von RCTs mit Instrumenten. Um den Aufwand für die Studenten zu reduzieren, musste jede RCT nur mit einem Instrument, das zufällig ausgewählt war, bewertet werden, soadass jeder Student lediglich fünf Auswertungen vornehmen musste. Dabei wurde mithilfe einer Permutation sichergestellt, dass jede RCT mit jedem Instrument durch dieselbe Anzahl von Studenten bewertet wurde.

Parallel dazu wurden die fünf RCTs von fünf Experten mit jeweils einem Instrument, das zufällig zugeteilt wurde, bewertet (siehe Tabelle 2 [Tab. 2] zur Zuordnung von Bewertungsinstrument und RCT zu Experten). Diese Bewertungen dienten als Referenz-Standard (Goldstandard). Die Experten mussten folgende Kriterien erfüllen: Unabhängigkeit von der Universität Duisburg-Essen, mehr als zehnjährige Erfahrung in der kritischen Bewertung von klinischen Studien, berufliche Position mit der Verantwortung für derartige Bewertungen.

Zu Beginn wurde das Konzept der EBM und seine fünf Schritte anhand eines Einzelfallbeispiels detailliert vorgestellt. Wesentliche Begriffe wurden theoretisch und nach traditionellem pädagogischen Ansatz erklärt: interne und externe Validität, Qualitätsparameter wie Randomisierung, verdeckte Gruppenzuteilung, Verblindung, Drop-out/lost to follow-up, intention-to-treat (ITT)-Analyse, Evidenzlevel von Studiendesigns, PICO-Schema und verschiedene Arten von Bias. Zusätzlich wurde die Struktur von wissenschaftlichen Publikationen erläutert und auf Textabschnitte hingewiesen, in denen die Beschreibung oder Diskussion von Validitätsaspekten üblicherweise erfolgt.

Im Anschluss daran führten die Studenten eine praktische Übung auf Basis der gegebenen Informationen durch. Als Hilfe wurde eine Folie gezeigt, auf der ein Glossar mit Begriffen zur Schnellsuche abgebildet war (siehe Anhang 1 [Anh. 1]).

Die zweite Veranstaltung began mit einer Wiederholung und Vertiefung der gewonnenen Kenntnisse. Zu diesem Zweck wurden die Teilnehmer gebeten, sich in Gruppen aufzuteilen und Schlüsselbegriffe Qualitätsparametern zuzuordnen. Im Anschluss an interne Diskussionen fand mittels Flipchart eine Posterpräsentation statt, während der die zugeordneten Begriffe und Qualitätsparameter den jeweils anderen Gruppen erläutert werden mussten. Zum weiteren Verständnis wurden Simulationen von Randomisierung, Verblindung, verdeckter Gruppenzuteilung, Stratifizierung, Drop-out/ lost to follow-up und verschiedenen Arten von Analysen wie z.B. ITT durchgeführt.

In der dritten Veranstaltung wurden zunächst die Komponentensysteme zur Qualitätsbewertung vorgestellt und einzelne Fragen zu den Instrumenten diskutiert. Anschließend wendeten die Teilnehmer die Systeme auf quasi zufällig ausgewählte RCTs zu den häufigsten chronischen Erkrankungen gemäß Definition der WHO an, und die Ergebnisse wurden diskutiert.

In der letzten Veranstaltung wurden die Fähigkeiten der Studenten durch Anwendung der Komponentensysteme auf ein weiteres Set von kürzlich publizierten RCTs getestet. Auch hier wurde mittels Permutation sichergestellt, dass die Zuordnung von Instrumenten zu den RCTs balanciert war. Die Analysen der methodischen Studie basieren auf diesen Bewertungen.

Die Häufigkeiten der Bewertungen der Medizin- und Medizinmanagementstudenten wurden für jede RCT und jedes Instrument berechnet. Zusätzlich wurden die Übereinstimmungsraten zwischen den Teilnehmern und den Experten bestimmt. Eine Übereinstimmung lag vor, wenn die Bewertung des Teinehmers um maximal einen Punkt auf der Likert-Skala von der Bewertung des Experten abwich. Generalisierte Schätzgleichungen (Generalized estimation equations) wurden verwendet, um den Einfluss des Instruments, der Studentengruppe und der RCT auf die Übereinstimmungsrate zu untersuchen. In einer zweiten Analyse wurde der Effekt des Instruments und der Studentengruppe pro RCT untersucht. In einer weiteren Analyse wurde der Einfluss der Faktoren „Erfahrung mit kritischen Bewertungen“ und „Englischkenntnisse“ untersucht. Alle Analysen wurden mit der Software SAS 9.2 (SAS Institute Inc., Cary, NC, USA) durchgeführt.

Insgesamt nahmen 167 Studenten an den EBM-Kursen teil, von denen 142 Medizinstudenten im dritten Studienjahr und 25 Studenten des Masterprogramms Medizinmanagement waren (siehe Tabelle 3 [Tab. 3]).

Die Untersuchung des primären Zielparameters, Anwendbarkeit verschiedener Instrumente zur Bewertung von methodischer Studienqualität, erbrachte weder Evidenz zur Verständlichkeit der Instrumente, noch zu den ggf. vorhandenen Hinweisen zum Gebrauch der Instrumente oder zur Dauer des Bewertungsprozesses.

Hinsichtlich der sekundären Zielparameter werden lediglich signifikante Ergebnisse zur Übereinstimmung mit Experten-Bewertungen berichtet. In Abbildung 1 [Abb. 1] sind die prozentualen Anteile der fünf Bewertungen nach RCT und Instrument der Medizinstudenten dargestellt.

Der schwarze Balken stellt die Expertenbewertung dar; z.B. identifizierte der Experte für RCT 1 [21] ein hohes Potential für Bias, für RCT 2 [22] mit dem IQWiG-Instrument ein niedriges Potential für Bias. Die Höhe des Balkens zeigt den Anteil der Bewertungen der Studenten gemäß der Likert-Skala. Die Höhe des schwarzen Balkens zeigt, wieviele Studenten die gleiche Bewertung wie der Experte wählten. Die Bewertungen der gleichen Studie durch verschiedene Experten mit verschiedenen Instrumenten wiesen einige Variabilität auf. Um dem Rechnung zu tragen, wurde als Übereinstimung der Studentenbewertungen mit den Expertenbewertungen eine Toleranz von +/-1 Punkt auf der Likert-Skala als gleich akzeptiert. Der Großteil der Bewertungen zeigte eine Übereinstimmungsrate im Bereich von 66% bis über 80% und wurde als adäquat angesehen.

In Tabelle 4 [Tab. 4] sind die Übereinstimmungsraten für die „Übereinstimmung mit +/-1“ nach Studentengruppe für die verschiedenen RCTs und die fünf Instrumente dargestellt. Über die RCTs hinweg zeigte sich ein deutlicher Effekt durch die Wahl des Instruments auf die Übereinstimmung (p=0.0158), wohingegen die Studentengruppe und die verschiedenen RCTs keinen Einfluss zeigten (p=0.3856, bzw. p=0.2425). In den Analysen nach RCT zeigte sich ein Einfluss des Instruments auf die Übereinstimmungsrate in den RCTs 1, 2 und 3 (p=0.0146, p=0.0263 und p<0.0001). Für den Endpunkt „Übereinstimmung +/-1“ wurde kein Einfluss der Faktoren „Erfahrung mit kritischen Bewertungen“ und „Englischkenntnisse“ gefunden. Zu beachten ist dabei, dass viele Details in den Publikationen mit sehr unterschiedlicher Detailtiefe beschrieben waren. So wurde z.B. zur Randomisierung in einem Fall ausgeführt: „the allocation code was concealed in sequentially numbered, opaque, sealed envelopes“ [21], in einer anderen Publikation wurde lediglich erwähnt, dass eine Randomisierung durchgeführt wurde ohne Nennung weiterer Details [23].

Eine nicht systematische Über- und Unterschätzung des Bias-Risikos ohne erkennbare Richtung konnte im Vergleich der Experten-Bewertungen mit Studenten-Bewertungen festgestellt werden. Dies entspricht auf gewisse Weise den Antworten, die die Studenten am Ende der vier Veranstaltungen zur EBM auf die Frage nach gewonnenen Kenntnissen gaben: 73% der Medizinstudenten bewerteten diese als schwach oder gering. Unsere Ergebnisse stehen in starkem Widerspruch zu denen vieler anderer Erhebungen am Ende von EBM-Kursen für nicht graduierte Studenten. In einem Vorher-Nachher-Vergleich konnten Weberschock et al. [14] einen signifikanten Leistungsanstieg bei 124 deutschen Medizinstudenten im dritten Studienjahr von 2,37 Score-Punkten vor dem Seminar und 9,85 Score-Punkten nach dem Seminar beobachten (95% KI [8,94; 10,77], p<0,001). In einer kontrollierten Studie zeigten Ghali et al. [11] einen signifikanten Unterschied für Literaturrecherche (p<0.002) und Fähigkeiten zur kritischen Bewertung (p<0.0002) zwischen Medizinstudenten aus Boston, die entweder vier Veranstaltungen zur EBM oder traditionelle Lehrveranstaltungen zu unterschiedlichen klinischen Themengebieten besucht hatten. Einem systematischen Review [4] über den Effekt von Lehrveranstaltungen zu kritischer Bewertung mit zehn eingeschlossenen klinischen Studien zufolge sowie einem vor kurzem publizierten Review [9] mit 14 eingeschlossenen RCTs über Lehrmethoden der EBM für Medizinstudenten konnte in allen Studien ein Anstieg der Kompetenzen nach der Intervention festgestellt werden. Ein Grund für diese Unterschiede im Vergleich zu den Ergebnissen der vorliegenden Studie kann die Selbstselektion hoch motivierter Teilnehmer im Gegensatz zu unseren Studenten, die eine Pflichtveranstaltung besuchten, sein. Zusätzlich dazu war die Objektivität der Evaluationen nicht immer gegeben, die aus vollständigen Selbstauskünften, einer Art Fragebogen mit Multiple-Choice-Fragen [14] und validierten Tests bestanden. Wie von Fritsche et al. 2002 [24] angeführt, die die Effekte von EBM-Kursen auf Experten, postgraduierte Ärzte und Medizinstudenten verglichen, ist eine objektive Evaluation von EBM-Kursen schwierig aber unentbehrlich, denn die Korrelation zwischen subjektiver Wahrnehmung von Wissen und objektiver Bewertung ist schwach [3].

In unserer Studie wurden die Bewertungen der Studenten mit einem Referenzstandard verglichen, der von Experten gesetzt war und daher eine gewisse Objektivität garantierte, die zugegebenermaßen immer auch durch individuelle Erfahrungen und Ansichten geprägt ist; zusätzlich wurden Eigenangaben über den Wissenszuwachs erhoben.

Da jeder Experte nur jeweils eine Studie mit einem Instrument bewertete, konnte die Reliabilität nicht getestet werde. An dieser Stelle sei erwähnt, dass Reliabilität und Validität der meisten gängigen Bewertungsinstrumente nicht überprüft sind [25]. Mit Ausnahme von zwei Instrumenten [16], [20] trifft das auch auf die in der vorliegenden Studie verwendeten Instrumente zu. Bei der Bewertung des Risk-of-Bias-Tool der Cochrane Collaboration [16] stellten Hartling et al. [26] eine große Spannweite der Interrater-Reliabilität bei Expertenbewertungen in einzelnen Domänen fest, die von leicht bis substantiell reichte (gewichtetes κ=0,13-0,74). Aufgrund der Tatsache, dass die Autoren alle in demselben Institut und Review-Team arbeiten, vermuten sie eine deutlich größere Variabilität zwischen verschiedenen Forschungseinrichtungen. Als Erklärung für die große Spannweite in den Übereinstimmungen zwischen Bewertern diskutieren die Autoren den Bedarf für verständliche und detaillierte Ausfüllhinweise, um die Reliabilität zu verbessern [26].

Wie der Abbildung 1 [Abb. 1] zu entnehmen ist, führen die unterschiedlichen Instrumente zu unterschiedlichen Expertenbewertungen derselben Studie. Grund dafür können die verschiedenen Domänen sein, zusätzliche Informationen, die durch manche Instrumente erhoben werden, aber auch die unterschiedliche Tiefe von Fragen. Es mag zu diskordanten Schlussfolgerungen führen, wenn gewisse Aspekte durch manche Instrumente nicht abgefragt werden, anstelle dessen aber andere. Um diese Unsicherheit zu berücksichtigen, wurde eine weniger enge Definition von Übereinstimmung in der Weise vorgenommen, dass eine Bewertung +/- einen Punkt als Übereinstimmung gewertet wurde. Selektionsbias in Form von Publikationsbias und Berichtsbias kann für alle oben beschriebenen Studien angenommen werden, in denen eindeutig positive Effekte von EBM-Kursen festgestellt wurden.

Das Ausmaß und die Verständlichkeit, mit der einzelne Punkte in den Publikationen beschrieben waren, variierte stark und stellte zum Teil eine unlösbare Aufgabe für unerfahrene nicht graduierte Studenten dar, die auch zu einer Verzerrung der Analyse geführt haben kann.

Es ist bemerkenswert, dass die Beschreibung mancher Aspekte in höher rangigen Zeitschriften (RCT 3 and 4 [27], [23]), die die Einhaltung spezieller Statements zur Berichtsqualität erfordern, für die Studenten weniger verständlich waren als die in Zeitschriften mit einem geringeren Einfluss. Auf die Tatsache, dass eine kritische Bewertung immer auch Subjektivität durch Interpretation beinhaltet, genauso wie auch Scoringsysteme lediglich objektiv erscheinen, aber eine explizite oder implizite Gewichtung ohne empirische Basis [28] bedeuten, sei an dieser Stelle hingewiesen.

Die Anzahl von fünf verschiedenen Bewertungsinstrumenten mag zu hoch gewesen sein. Andererseits führte die Wiederholung von Begriffen auch zu größerer Vertrautheit, und es wurde lediglich Schritt 3 des EBM-Konzepts detailliert behandelt, wodurch die Wissensleistung stark fokussiert war. Insbesondere kann das Trainieren von Schritt 1, der Formulierung einer Forschungsfrage, die operationalisiert werden kann, für nicht graduierte Studenten ohne Erfahrung in wissenschaftlichem Arbeiten viel Zeit beanspruchen. Dasselbe gilt für Schritt 2, der Literaturrecherche in elektronischen Datenbanken.

Das von uns gewählte separate Unterrichten der kritischen Bewertung ist weit verbreitet und auch bekannt als „Journal Club“, für den Teilnehmer unter der Anleitung eines Experten Artikel kritisch lesen und bewerten [4]. Um auf dem neuesten Stand zu bleiben, müssen klinisch tätige Ärzte täglich zahlreiche Artikel lessen, und um das bewältigen zu können, ist ein Training erforderlich [29]. Aus diesem Grund und aufgrund von Empfehlungen dieses Formats für das Unterrichten von EBM unter bestimmten Bedingungen [10] wurde Schritt 3 des EBM-Konzepts in den Fokus genommen. Allerdings wurden dadurch andere Schwierigkeiten hervorgerufen, denn kritische Bewertung schließt Kenntnisse in Epidemiologie, Informatik und Biostatistik ein [9].

Obwohl der Besuch von Vorlesungen in Epidemiologie und Psychologie, in denen anteilig auch Statistik gelehrt wird, in den ersten beiden Studienjahren in Deutschland verpflichtend ist, berichteten 69% unserer Medizinstudenten über schwache oder geringe Kenntnisse in Statistik und/oder Epidemiologie, was zeigt, dass Einstellungen gegenüber einer Sache und Kenntnisse nicht in gleicher Weise verteilt sind, und dass das Unterrichten von EBM die Bedürfnisse unterschiedlich Lernender berücksichtigen muss [8]. Möglicherweise sind Schritt 1 und 2 des EBM-Konzepts für eine Einführung und zur Förderung einer wissenschaftlichen Denkweise besser geeignet. Als Alternative dazu und auch, um dem Vorwurf einer Loslösung von klinischer Praxis zu begegnen [30], kann das Unterrichten von Schritt 4, der Anwendung der Evidenz auf einzelne Fälle, in Betracht gezogen werden. Allerdings ist das bei nicht Graduierten, denen praktische Erfahrung fehlt und für die das konkrete Ziel nur eine vage Idee darstellt, kaum sinnvoll. Diese Tatsache wird durch langjährige Erfahrungen aus Duke und Stanford unterstrichen, die zu einem Curriculum führten, in dem klinisches Training Bedingung für Forschungerfahrungen ist, weil Studenten dadurch besser darauf vorbereitet sind, das klinische und translationale Potential ihrer Forschungsprojekte zu verstehen [31]. Um Unvoreingenommenheit und eine bessere Bewertung zu erreichen, wäre es ebenfalls günstig, wenn Studenten mit dem ganzen Entwicklungsprozess einer klinischen Studie und der Bedeutung seiner einzelnen Aspekte vertraut wären [32].

Die Fähigkeit, medizinische Literatur zu identifizieren und kritisch zu bewerten, ist unabdingbare Voraussetzung dafür, die beste verfügbare Evidenz bei klinischen Entscheidungen anwenden zu können [13]. Ohne Hintergrundwissen in Methodik und Statistik sind Ärzte einem hohen Risiko ausgesetzt, Evidenz falsch zu interpretieren, wodurch Behandlungsfehler und unerwünschte Ereignisse hervorgerufen werden [28].

Swift et al. [6] untersuchten die Ansichten von 130 Ärzten über Aus- und Weiterbildungsmaßnahmen in Statistik und deren Bedarf für die tägliche Praxis. Als Studenten hatten mehr als die Hälfte der Befragten (60%) den Wert des Fachs für die ärztliche Arbeit unterschätzt, wohingegen die Mehrheit (73%) die Bedeutung im Laufe ihrer Karriere erkannt hatte. Entgegen der wachsenden Überzeugung hinsichtlich der Relevanz von EBM liegt Evidenz für weiterhin bestehende Wissenslücken bei grundlegenden statistischen Konzepten unter praktizierenden Ärzten und in der Medizin forschenden Wissenschaftlern vor [32]. Ebenfalls fehlt es bei einer Mehrheit des Gesundheitspersonals, inklusive von Ärzten, translationalen Forschern, Pflegepersonal und anderen Gesundheitsfachberufen, an Basiswissen über methodologische Schlüsselbegriffe und Quellen der EBM [12], [13]. Um diese Situation zu verbessern, müssen insbesondere Studenten dabei unterstützt werden, die Überzeugung von der Bedeutung dieser Fächer für die klinische Praxis gewinnen zu können [32]. Es bleibt zu hoffen, dass zukünftige Ärzte Forschungsergebnisse besser bewerten können und dazu beitragen, den klinischen Bereich durch Forschung voranzubringen [33].

Wir danken Tobias Goeke, Angelika Gohlke, Anja Hagen, Beate Lux und Monika Nothacker für ihre Experten-Bewertungen.

Inhalt und Struktur des Seminars waren durch den Dekan genehmigt. Es gab keinen Kontakt zu Patienten.

Die Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.