Artikel
Edukative Interventionen zur Verbesserung systematischer Recherchefähigkeiten – Diskussion der Ergebnisse eines Scoping Reviews
Educational interventions to improve systematic research skills – discussion of the results of a scoping review
Suche in Medline nach
Autoren
Veröffentlicht: | 22. Dezember 2020 |
---|
Gliederung
Zusammenfassung
Als eine Grundlage für Systematic Reviews und damit für evidenzbasierte klinische Entscheidungsfindung weisen durchgeführte Literaturrecherchen häufig methodische Schwächen und Fehler auf. Edukative Interventionen wie Schulungen oder Workshops stellen eine potentielle Möglichkeit dar, die Recherchefähigkeiten zu verbessern und die methodische Qualität der Literaturrecherchen im Gesundheitsbereich zu erhöhen. In einem Scoping Review wurde untersucht, welche edukativen Interventionen zur Verbesserung von Recherchefähigkeiten bekannt sind, anhand welcher Zielgrößen derartige Interventionen evaluiert werden und wie gut die Qualität ihrer Berichterstattung ist. In diesem Artikel werden die wichtigsten Ergebnisse zusammengefasst und diskutiert sowie Implikationen für die zukünftige Forschung und Praxis gegeben.
Abstract
As a basis for systematic reviews and thus for evidence-based clinical decision making, conducted literature searches often show methodological weaknesses and errors. Educational interventions such as training or workshops are a potential way to improve searching skills and enhance the methodological quality of literature searches in the health care sector. In a scoping review, we investigated what is known about educational interventions to improve searching skills, what the objectives of such interventions are and how good the quality of their reporting is. This article summarizes and discusses the main findings and provides implications for future research and practice.
Einleitung
Eine Kernkomponente der evidenzbasierten Praxis (EbP) ist die klinische Entscheidungsfindung auf Basis aktueller wissenschaftlicher Erkenntnisse. Als Entscheidungsgrundlage dienen Systematic Reviews, in denen die zur Beantwortung einer Fragestellung relevanten Studien systematisch recherchiert und evaluiert werden [1], [2]. Die Grundvoraussetzung für aussagekräftige Systematic Reviews sind nach methodisch hochwertigen Standards durchgeführte Literaturrecherchen mit dem Ziel, möglichst alle für ein Thema relevanten Studien zu identifizieren [3]. Analysen zeigen jedoch, dass viele Literaturrecherchen diesen Qualitätsanforderungen nur unzureichend gerecht werden und Fehler enthalten, die sich negativ auf das Gesamtergebnis des Systematic Reviews und damit potenziell auf die klinische Entscheidungsfindung auswirken können [4], [5], [6].
Edukative Interventionen wie Trainings oder Workshops stellen eine Möglichkeit dar, Kenntnisse bezüglich systematischer Literaturrecherche zu vermitteln bzw. zu verfestigen und somit die Durchführung qualitativ hochwertiger Systematic Reviews zu fördern. Häufig sind solche Schulungsinterventionen Bestandteil von EbP-Kursen, in denen Literaturrecherche einen inhaltlichen Abschnitt neben anderen Methoden der EbP darstellt [7], was eine isolierte Evaluation der einzelnen Komponenten und des Nutzens erschwert. Die Ergebnisse eines 2003 durchgeführten Reviews deuten zwar darauf hin, dass edukative Interventionen die Recherchefähigkeiten verbessern können, die Aussagekraft erscheint aufgrund der geringen methodischen Qualität der identifizierten Studien sowie des Alters der Arbeit jedoch eingeschränkt [8].
Mit dem Ziel, den Forschungsstand über edukative Interventionen zur Verbesserung der Recherchefähigkeiten zu aktualisieren, haben wir einen Scoping Review durchgeführt. Im Fokus standen die Fragestellungen, was über diese Interventionen bekannt ist, mit welchen Zielgrößen sie evaluiert werden und wie vollständig ihre Berichterstattung ist. Die Literaturrecherche umfasste eine Datenbankrecherche (CINAHL, Embase, MEDLINE, PsycINFO, Web of Science), Zitationssuche, freie Websuche sowie Kontaktierung von Fachpersonen und konzentrierte sich auf Interventionsstudien aus dem Gesundheitsbereich mit einem ausschließlichen Schwerpunkt auf Literaturrecherche und objektiven Outcomes zur Evaluation. Zur strukturierten Erfassung der Berichterstattung der Interventionen wurde das Template for Intervention Description and Replication (TIDieR) verwendet. Eine ausführlichere Beschreibung der methodischen Vorgehensweise ist der Publikation von Hirt et al. [9] zu entnehmen. Im Folgenden werden einige der wichtigsten Ergebnisse diskutiert und Implikationen für die Forschung und Praxis abgeleitet.
Darstellung und Diskussion der Ergebnisse des Scoping Reviews
Aus insgesamt 8.484 durchsuchten Treffern konnten 14 Studien eingeschlossen werden, von denen drei ein randomisiert-kontrolliertes, drei ein kontrolliertes und acht ein Vorher-Nachher-Design aufwiesen. Die zwischen 1989 und 2019 publizierten Studien fanden im universitären Setting (n=10) oder im Krankenhaussetting (n=4) statt, zeigten mit neun bis 300 große Unterschiede in den Teilnehmerzahlen und hatten entweder fertig ausgebildete/angehende Mediziner(innen) (n=5) oder Studierende/Angehörige verschiedener Gesundheitsfachberufe (n=9) teilweise durchmischt als Zielgruppe. In keiner Studie wurden Bibliothekspersonal bzw. Information Specialists als Teilnehmende eingeschlossen. Eine mögliche Begründung ist der fehlende Einbezug bibliotheksspezifischer Fachdatenbanken in die Recherche, eine andere das Fehlen von systematisch evaluierten edukativen Interventionen für diese Zielgruppe.
In elf Studien sind eindeutig Bibliothekspersonal bzw. Information Specialists in die Durchführung der jeweiligen Interventionen involviert. Dies verdeutlicht, welchen bedeutenden Stellenwert diese Gruppe in der Lehre von Recherchefähigkeiten einnimmt. Der professionelle Hintergrund bzw. die Erfahrungen der Durchführenden wurden allerdings nur in drei Studien ausreichend beschrieben. Eine derartige Beschreibung wäre aber notwendig, um zu erfahren, welche Voraussetzungen eine Person mitbringen muss, um die jeweilige Intervention durchführen zu können. Hinsichtlich weiterer Kriterien der Interventionsbeschreibung wurden in der Mehrheit der Studien das (Lehr-)Format (n=14), das Procedere (n=12) und der Umfang (n=11) der jeweiligen Intervention ausreichend beschrieben. Hinsichtlich des Formats wurden sehr inkonsistente Begrifflichkeiten wie Workshop, Training, Kurs oder Instruktion zur Benennung verwendet, ohne dass eine klare Trennschärfe dieser Begriffe in der Beschreibung der Interventionen bzw. deren Ablauf ersichtlich war.
Insgesamt sind die Interventionen in Umfang und Procedere zu heterogen, um zusammenfassende Aussagen bezüglich der verwendeten Methoden machen zu können. Als grundlegende Inhalte lassen sich jedoch die Entwicklung von Suchstrategien, Fähigkeiten im Umgang mit Fachdatenbanken oder eine Kombination von Beidem zusammenfassen. Auf diese Schwerpunkte waren auch die Zielgrößen bzw. die Zielgrößen-Erfassung ausgerichtet. Bezüglich der Entwicklung von Suchstrategien wurden bspw. die Identifikation/Anwendung von adäquaten Suchkomponenten, Booleschen Operatoren, Stich- und Schlagwörtern oder Suchfiltern sowie Recherchequalität und -fehler evaluiert. Bei den Fähigkeiten im Umgang mit Fachdatenbanken wurden sowohl allgemeine Grundlagen als auch der Umgang mit speziellen Fachdatenbanken oder die Qualität der durchgeführten Recherche darin evaluiert. Als Evaluationsinstrumente dienten in vielen Studien selbstentwickelte Fragebögen, Tests oder Checklisten, was auf einen allgemeinen Mangel an standardisierten Evaluationsinstrumenten für derartige Interventionen hindeutet. Eine Übersicht über die eingeschlossenen Studien bezüglich Interventionen, Zielgruppen, Durchführenden und Outcomes findet sich in Tabelle 1 [Tab. 1].
Deutliche Defizite zeigen sich in weiteren Bereichen der Interventionsberichterstattung. Bedeutend weniger Studien beschrieben adäquat die für die Durchführung der Interventionen verwendeten Materialien (n=8), ob eine Individualisierung stattgefunden hat (n=3), ob eine Anpassung der Intervention im Studienverlauf nötig war (n=0) oder wie gut die Intervention im Hinblick auf die geplante (n=0) oder tatsächliche Interventionstreue (n=1) gelaufen ist. Aufgrund dieser Defizite in der Berichterstattung gestaltet sich eine Replikation problematisch. Erschwerend kommt hinzu, dass viele Studien in diesem Bereich nicht rezent sind. Seit dem Vorhandensein elektronischer Fachdatenbanken in den späten 1970er Jahren gibt es fundamentale Veränderungen in den Funktionalitäten und Oberflächen elektronischer Recherchemöglichkeiten und eine permanente Weiterentwicklung dieser, zuletzt bspw. bei der Cochrane Library und PubMed [10]. Daher erscheint eine Übertragbarkeit vieler Interventionen auf die heutigen Gegebenheiten nur eingeschränkt möglich.
Hinsichtlich der Wirksamkeit deuten sich in allen Studien Verbesserungen der Recherchefähigkeiten durch edukative Interventionen an. In vielen Studien, besonders in den hochwertigeren kontrollierten und randomisiert-kontrollierten Designs, waren die positiven Effekte jedoch nicht statistisch signifikant. In nur fünf Studien wurde evaluiert, wie sich die Interventionen auf längere Sicht auswirken, wobei die Zeiträume bis zum Follow-up sehr deutlich zwischen einem und neun Monaten variierten. Daher lassen sich keine zusammenfassenden Aussagen zur Langzeitwirksamkeit der Interventionen treffen. Allerdings deuten die Ergebnisse eines anderen Reviews mit dem ausschließlichen Fokus auf Medizinstudierende und weiter gefassten interventionsbezogenen Einschlusskriterien darauf hin, dass sich Recherchefähigkeiten über längere Zeit hinweg wieder verschlechtern [11]. Obwohl im Scoping Review keine systematische Bewertung der Studienqualität vorgenommen wurde, ist diese insgesamt als gering einzuschätzen, womit die Ergebnisse zur Wirksamkeit nur begrenzt aussagekräftig erscheinen.
Fazit und Implikationen für zukünftige Forschung und Praxis
Obwohl sich die Entwicklung von Suchstrategien und der Umgang mit Fachdatenbanken als schwerpunktmäßige Inhalte im Rahmen dieses Scoping Reviews herauskristallisiert haben, machen es die Heterogenität der untersuchten edukativen Interventionen in Umfang und Ausführung sowie die niedrige Studienqualität schwierig, verallgemeinernde Aussagen zur Wirksamkeit zu treffen. Eine Replikation vieler Interventionen erscheint zudem durch die teilweise unzureichende Berichterstattung und die eingeschränkte Übertragbarkeit auf moderne Recherchemöglichkeiten schwierig. Dennoch liefert der Scoping Review einen Überblick über potentielle Inhalte sowie Gestaltungs- und Evaluationsmöglichkeiten für edukative Interventionen zur Verbesserung von Recherchefähigkeiten und dient somit als Ausgangsbasis für weitere wissenschaftliche Evaluationen.
Zukünftige Forschungen sollten die Wirksamkeit edukativer Interventionen mit methodisch hochwertigem Studiendesign evaluieren, d.h. in Form von randomisiert-kontrollierten Studien und mit ausreichend großen Stichproben. Zur Evaluation sollten möglichst objektive Outcomes verwendet werden, da Selbsteinschätzungen der Recherchefähigkeiten häufig nur wenig mit objektiven Einschätzungen korrelieren [12]. In diesem Zusammenhang erscheint es sinnvoll, möglichst generalisierbare bzw. vielseitig anwendbare Evaluationsinstrumente zu entwickeln, die nicht nur auf eine spezifische Intervention zugeschnitten sind, sondern eine objektive Auswertung verschiedener Interventionen ermöglichen. Da es wichtig ist, dass edukative Interventionen von den Zielgruppen möglichst gut angenommen werden, ist die ergänzende Erhebung subjektiver Outcomes empfehlenswert, bspw. Feedback zum eingeschätzten Nutzen oder zu den pädagogischen Methoden. Zudem sollte eine Langzeitevaluation der Wirksamkeit erfolgen, um Erkenntnisse darüber zu erhalten, ob bzw. unter welchen Voraussetzungen einmal erworbene Fähigkeiten längerfristig erhalten werden können.
Hinsichtlich der inhaltlichen und methodischen Ausrichtung edukativer Interventionen zur Verbesserung von Recherchefähigkeiten erscheint eine stärkere Zielgruppenorientierung sinnvoll. Bspw. haben Bibliothekspersonal bzw. Information Specialists und in der klinischen Praxis tätiges Personal unterschiedliche Arbeitsumfelder, Arbeitsschwerpunkte und für Literaturrecherche zur Verfügung stehende Ressourcen. Diese gruppenspezifischen Gegebenheiten müssen berücksichtigt werden, um die Interventionen bedarfsgerecht und damit nutzenbringend zu gestalten. Zudem sollten Überlegungen und Konzepte entwickelt werden, um einen Erhalt bzw. eine Festigung der erworbenen Recherchefähigkeiten über einen längeren Zeitraum hinweg zu gewährleisten. Möglichkeiten diesbezüglich sind Auffrischungskurse bzw. -übungen, aber auch die Einbeziehung von Materialien, die als Nachschlagewerke für gelernte Inhalte oder Recherchemöglichkeiten dienen, bspw. das Cochrane Handbook for Systematic Reviews [13], das Manual RefHunter [14] oder der Praxisleitfaden Systematische Literaturrecherche [15].
Neben angemessenen und zielgruppenspezifischen edukativen Interventionen und Materialien zur Literaturrecherche sind zudem weitere, davon unabhängige Voraussetzungen zu schaffen, um qualitativ hochwertige Literaturrecherchen zu gewährleisten. Dazu zählt etwa, besonders an der Edukation beteiligte Personengruppen wie Bibliothekspersonal bzw. Information Specialists ausreichend für die Vermittlung der entsprechenden Inhalte zu befähigen. Weitere unterstützende Voraussetzungen sind bspw. die Formulierung von aussagekräftigen, englischsprachigen Titeln und Abstracts von Publikationen, um deren gute Auffindbarkeit zu gewährleisten, die Entwicklung von hochwertigen, wissenschaftlich validierten Suchfiltern oder die Weiterentwicklung bedarfsorientierter, einfach bedienbarer Suchoberflächen.
Abkürzungen
- CINAHL: Cumulative Index to Nursing and Allied Health Literature
- EbP: Evidenzbasierte Praxis
- MEDLINE: Medical Literature Analysis and Retrieval System Online
- TIDieR: Template for Intervention Description and Replication
Anmerkung
Interessenkonflikte
Die Autoren erklären, dass sie keine Interessenkonflikte in Zusammenhang mit diesem Artikel haben.
Literatur
- 1.
- Abbas Z, Raza S, Ejaz K. Systematic reviews and their role in evidence-informed health care. J Pak Med Assoc. 2008 Oct;58(10):561-7.
- 2.
- Greenhalgh T. How to read a paper: The basics of evidence-based medicine and healthcare. 6th ed. Hoboken: Wiley-Blackwell; 2019.
- 3.
- Hirt J, Neyer S, Nordhausen T. Umfassende Literaturrecherchen – ein Kurzüberblick. GMS Med Bibl Inf. 2019;19(1-2):Doc05. DOI: 10.3205/mbi000430
- 4.
- Sampson M, McGowan J. Errors in search strategies were identified by type and frequency. J Clin Epidemiol. 2006 Oct;59(10):1057-63. DOI: 10.1016/j.jclinepi.2006.01.007
- 5.
- Salvador-Oliván JA, Marco-Cuenca G, Arquero-Avilés R. Errors in search strategies used in systematic reviews and their effects on information retrieval. J Med Libr Assoc. 2019 Apr;107(2):210-21. DOI: 10.5195/jmla.2019.567
- 6.
- Faggion CM Jr, Huivin R, Aranda L, Pandis N, Alarcon M. The search and selection for primary studies in systematic reviews published in dental journals indexed in MEDLINE was not fully reproducible. J Clin Epidemiol. 2018 Jun;98:53-61. DOI: 10.1016/j.jclinepi.2018.02.011
- 7.
- Hecht L, Buhse S, Meyer G. Effectiveness of training in evidence-based medicine skills for healthcare professionals: a systematic review. BMC Med Educ. 2016 Apr;16:103. DOI: 10.1186/s12909-016-0616-2
- 8.
- Garg A, Turtle KM. Effectiveness of training health professionals in literature search skills using electronic health databases – a critical appraisal. Health Info Libr J. 2003 Mar;20(1):33-41. DOI: 10.1046/j.1471-1842.2003.00416.x
- 9.
- Hirt J, Nordhausen T, Meichlinger J, Braun V, Zeller A, Meyer G. Educational interventions to improve literature searching skills in the health sciences: a scoping review. J Med Libr Assoc. 2020 Oct;108(4):534-46. DOI: 10.5195/jmla.2020.954
- 10.
- Reed JG, Baxter PM. Using Reference Databases. In: Cooper H, Hedges LV, Valentine JC, editors. The Handbook of Research Synthesis and Meta-Analysis. 2nd ed. New York: Russell Sage Foundation; 2009. p. 73-102.
- 11.
- Just ML. Is literature search training for medical students and residents effective? A literature review. J Med Libr Assoc. 2012 Oct;100(4):270-6. DOI: 10.3163/1536-5050.100.4.008
- 12.
- Lai NM, Teng CL. Self-perceived competence correlates poorly with objectively measured competence in evidence based medicine among medical students. BMC Med Educ. 2011 May;11:25. DOI: 10.1186/1472-6920-11-25
- 13.
- Higgins JPT, Thomas J, editors. Cochrane Handbook for Systematic Reviews of Interventions: Version 6. 2nd ed. Hoboken: Wiley Online Library; 2019. Available from: https://training.cochrane.org/handbook
- 14.
- Nordhausen T, Hirt J. RefHunter. Manual zur Literaturrecherche in Fachdatenbanken. Version 5.0. 2020. Available from: https://refhunter.eu/download/
- 15.
- Bayer O, Cascant Ortolano L, Hoffmann D, Schweizer S. Praxisleitfaden Systematische Literaturrecherche der Universitätsmedizin Mainz. Version 1. 2020. Available from: https://teamweb.uni-mainz.de/sites/bbum/downloads/Praxisleitfaden-Systematische-Literaturrecherche.pdf
- 16.
- Bradigan PS, Mularski CA. End-user searching in a medical school curriculum: an evaluated modular approach. Bull Med Libr Assoc. 1989 Oct;77(4):348-56.
- 17.
- Brettle A, Raynor M. Developing information literacy skills in pre-registration nurses: an experimental study of teaching methods. Nurse Educ Today. 2013 Feb;33(2):103-9. DOI: 10.1016/j.nedt.2011.12.003
- 18.
- Carlock D, Anderson J. Teaching and assessing the database searching skills of student nurses. Nurse Educ. 2007 Nov-Dec;32(6):251-5. DOI: 10.1097/01.NNE.0000299477.57185.ba
- 19.
- Erickson S, Warner ER. The impact of an individual tutorial session on MEDLINE use among obstetrics and gynaecology residents in an academic training programme: a randomized trial. Med Educ. 1998 May;32(3):269-73. DOI: 10.1046/j.1365-2923.1998.00229.x
- 20.
- Grant KL, Herrier RN, Armstrong EP. Teaching a systematic search strategy improves literature retrieval skills of pharmacy students. Am J Pharm Educ. 1996;60(3):281-6.
- 21.
- Grant MJ, Brettle AJ. Developing and evaluating an interactive information skills tutorial. Health Info Libr J. 2006 Jun;23(2):79-86. DOI: 10.1111/j.1471-1842.2006.00655.x
- 22.
- Gruppen LD, Rana GK, Arndt TS. A controlled comparison study of the efficacy of training medical students in evidence-based medicine literature searching skills. Acad Med. 2005 Oct;80(10):940-4. DOI: 10.1097/00001888-200510000-00014
- 23.
- Haynes RB, Johnston ME, McKibbon KA, Walker CJ, Willan AR. A program to enhance clinical use of MEDLINE. A randomized controlled trial. Online J Curr Clin Trials. 1993 May:Doc56.
- 24.
- Hobbs DL, Guo R, Mickelsen W, Wertz CI. Assessment of library instruction to develop student information literacy skills. Radiol Technol. 2015 Jan-Feb;86(3):344-9.
- 25.
- Rosenfeld P, Salazar-Riera N, Vieira D. Piloting an information literacy program for staff nurses: lessons learned. Comput Inform Nurs. 2002 Nov-Dec;20(6):236-41. DOI: 10.1097/00024665-200211000-00009
- 26.
- Sikora L, Fournier K, Rebner J. Exploring the impact of individualized research consultations using pre and posttesting in an academic library: a mixed methods study. Evid Based Libr Inf Pract. 2019;14(1):2-21. DOI: 10.18438/eblip29500
- 27.
- Vogel EW, Block KR, Wallingford KT. Finding the evidence: teaching medical residents to search MEDLINE. J Med Libr Assoc. 2002 Jul;90(3):327-30.
- 28.
- Wallace MC, Shorten A, Crookes PA. Teaching information literacy skills: an evaluation. Nurse Educ Today. 2000 Aug;20(6):485-9. DOI: 10.1054/nedt.1999.0439
- 29.
- Qureshi A, Bokhari SA, Pirvani M, Dawani N. Understanding and practice of evidence based search strategy among postgraduate dental students: a preliminary study. J Evid Based Dent Pract. 2015 Jun;15(2):44-9. DOI: 10.1016/j.jebdp.2014.08.002