gms | German Medical Science

GMS Medizin — Bibliothek — Information.

Arbeitsgemeinschaft für Medizinisches Bibliothekswesen (AGMB)

ISSN 1865-066X

Edukative Interventionen zur Verbesserung systematischer Recherchefähigkeiten – Diskussion der Ergebnisse eines Scoping Reviews

Educational interventions to improve systematic research skills – discussion of the results of a scoping review

Fachbeitrag Online-Jahrestagung der AGMB 2020

Search Medline for

  • corresponding author Thomas Nordhausen - Institut für Gesundheits- und Pflegewissenschaft, Medizinische Fakultät, Martin-Luther-Universität Halle-Wittenberg, Halle (Saale), Deutschland
  • Julian Hirt - Institut für Gesundheits- und Pflegewissenschaft, Medizinische Fakultät, Martin-Luther-Universität Halle-Wittenberg, Halle (Saale), Deutschland; Institut für Angewandte Pflegewissenschaft, Departement Gesundheit, OST (ehemals FHS St.Gallen), St.Gallen, Schweiz

GMS Med Bibl Inf 2020;20(3):Doc26

doi: 10.3205/mbi000483, urn:nbn:de:0183-mbi0004833

Published: December 22, 2020

© 2020 Nordhausen et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. See license information at http://creativecommons.org/licenses/by/4.0/.


Zusammenfassung

Als eine Grundlage für Systematic Reviews und damit für evidenzbasierte klinische Entscheidungsfindung weisen durchgeführte Literaturrecherchen häufig methodische Schwächen und Fehler auf. Edukative Interventionen wie Schulungen oder Workshops stellen eine potentielle Möglichkeit dar, die Recherchefähigkeiten zu verbessern und die methodische Qualität der Literaturrecherchen im Gesundheitsbereich zu erhöhen. In einem Scoping Review wurde untersucht, welche edukativen Interventionen zur Verbesserung von Recherchefähigkeiten bekannt sind, anhand welcher Zielgrößen derartige Interventionen evaluiert werden und wie gut die Qualität ihrer Berichterstattung ist. In diesem Artikel werden die wichtigsten Ergebnisse zusammengefasst und diskutiert sowie Implikationen für die zukünftige Forschung und Praxis gegeben.

Schlüsselwörter: Edukation, Literaturrecherche, Recherchefähigkeiten, Gesundheitsbereich, Scoping Review

Abstract

As a basis for systematic reviews and thus for evidence-based clinical decision making, conducted literature searches often show methodological weaknesses and errors. Educational interventions such as training or workshops are a potential way to improve searching skills and enhance the methodological quality of literature searches in the health care sector. In a scoping review, we investigated what is known about educational interventions to improve searching skills, what the objectives of such interventions are and how good the quality of their reporting is. This article summarizes and discusses the main findings and provides implications for future research and practice.

Keywords: education, literature search, searching skills, healthcare, scoping review


Einleitung

Eine Kernkomponente der evidenzbasierten Praxis (EbP) ist die klinische Entscheidungsfindung auf Basis aktueller wissenschaftlicher Erkenntnisse. Als Entscheidungsgrundlage dienen Systematic Reviews, in denen die zur Beantwortung einer Fragestellung relevanten Studien systematisch recherchiert und evaluiert werden [1], [2]. Die Grundvoraussetzung für aussagekräftige Systematic Reviews sind nach methodisch hochwertigen Standards durchgeführte Literaturrecherchen mit dem Ziel, möglichst alle für ein Thema relevanten Studien zu identifizieren [3]. Analysen zeigen jedoch, dass viele Literaturrecherchen diesen Qualitätsanforderungen nur unzureichend gerecht werden und Fehler enthalten, die sich negativ auf das Gesamtergebnis des Systematic Reviews und damit potenziell auf die klinische Entscheidungsfindung auswirken können [4], [5], [6].

Edukative Interventionen wie Trainings oder Workshops stellen eine Möglichkeit dar, Kenntnisse bezüglich systematischer Literaturrecherche zu vermitteln bzw. zu verfestigen und somit die Durchführung qualitativ hochwertiger Systematic Reviews zu fördern. Häufig sind solche Schulungsinterventionen Bestandteil von EbP-Kursen, in denen Literaturrecherche einen inhaltlichen Abschnitt neben anderen Methoden der EbP darstellt [7], was eine isolierte Evaluation der einzelnen Komponenten und des Nutzens erschwert. Die Ergebnisse eines 2003 durchgeführten Reviews deuten zwar darauf hin, dass edukative Interventionen die Recherchefähigkeiten verbessern können, die Aussagekraft erscheint aufgrund der geringen methodischen Qualität der identifizierten Studien sowie des Alters der Arbeit jedoch eingeschränkt [8].

Mit dem Ziel, den Forschungsstand über edukative Interventionen zur Verbesserung der Recherchefähigkeiten zu aktualisieren, haben wir einen Scoping Review durchgeführt. Im Fokus standen die Fragestellungen, was über diese Interventionen bekannt ist, mit welchen Zielgrößen sie evaluiert werden und wie vollständig ihre Berichterstattung ist. Die Literaturrecherche umfasste eine Datenbankrecherche (CINAHL, Embase, MEDLINE, PsycINFO, Web of Science), Zitationssuche, freie Websuche sowie Kontaktierung von Fachpersonen und konzentrierte sich auf Interventionsstudien aus dem Gesundheitsbereich mit einem ausschließlichen Schwerpunkt auf Literaturrecherche und objektiven Outcomes zur Evaluation. Zur strukturierten Erfassung der Berichterstattung der Interventionen wurde das Template for Intervention Description and Replication (TIDieR) verwendet. Eine ausführlichere Beschreibung der methodischen Vorgehensweise ist der Publikation von Hirt et al. [9] zu entnehmen. Im Folgenden werden einige der wichtigsten Ergebnisse diskutiert und Implikationen für die Forschung und Praxis abgeleitet.


Darstellung und Diskussion der Ergebnisse des Scoping Reviews

Aus insgesamt 8.484 durchsuchten Treffern konnten 14 Studien eingeschlossen werden, von denen drei ein randomisiert-kontrolliertes, drei ein kontrolliertes und acht ein Vorher-Nachher-Design aufwiesen. Die zwischen 1989 und 2019 publizierten Studien fanden im universitären Setting (n=10) oder im Krankenhaussetting (n=4) statt, zeigten mit neun bis 300 große Unterschiede in den Teilnehmerzahlen und hatten entweder fertig ausgebildete/angehende Mediziner(innen) (n=5) oder Studierende/Angehörige verschiedener Gesundheitsfachberufe (n=9) teilweise durchmischt als Zielgruppe. In keiner Studie wurden Bibliothekspersonal bzw. Information Specialists als Teilnehmende eingeschlossen. Eine mögliche Begründung ist der fehlende Einbezug bibliotheksspezifischer Fachdatenbanken in die Recherche, eine andere das Fehlen von systematisch evaluierten edukativen Interventionen für diese Zielgruppe.

In elf Studien sind eindeutig Bibliothekspersonal bzw. Information Specialists in die Durchführung der jeweiligen Interventionen involviert. Dies verdeutlicht, welchen bedeutenden Stellenwert diese Gruppe in der Lehre von Recherchefähigkeiten einnimmt. Der professionelle Hintergrund bzw. die Erfahrungen der Durchführenden wurden allerdings nur in drei Studien ausreichend beschrieben. Eine derartige Beschreibung wäre aber notwendig, um zu erfahren, welche Voraussetzungen eine Person mitbringen muss, um die jeweilige Intervention durchführen zu können. Hinsichtlich weiterer Kriterien der Interventionsbeschreibung wurden in der Mehrheit der Studien das (Lehr-)Format (n=14), das Procedere (n=12) und der Umfang (n=11) der jeweiligen Intervention ausreichend beschrieben. Hinsichtlich des Formats wurden sehr inkonsistente Begrifflichkeiten wie Workshop, Training, Kurs oder Instruktion zur Benennung verwendet, ohne dass eine klare Trennschärfe dieser Begriffe in der Beschreibung der Interventionen bzw. deren Ablauf ersichtlich war.

Insgesamt sind die Interventionen in Umfang und Procedere zu heterogen, um zusammenfassende Aussagen bezüglich der verwendeten Methoden machen zu können. Als grundlegende Inhalte lassen sich jedoch die Entwicklung von Suchstrategien, Fähigkeiten im Umgang mit Fachdatenbanken oder eine Kombination von Beidem zusammenfassen. Auf diese Schwerpunkte waren auch die Zielgrößen bzw. die Zielgrößen-Erfassung ausgerichtet. Bezüglich der Entwicklung von Suchstrategien wurden bspw. die Identifikation/Anwendung von adäquaten Suchkomponenten, Booleschen Operatoren, Stich- und Schlagwörtern oder Suchfiltern sowie Recherchequalität und -fehler evaluiert. Bei den Fähigkeiten im Umgang mit Fachdatenbanken wurden sowohl allgemeine Grundlagen als auch der Umgang mit speziellen Fachdatenbanken oder die Qualität der durchgeführten Recherche darin evaluiert. Als Evaluationsinstrumente dienten in vielen Studien selbstentwickelte Fragebögen, Tests oder Checklisten, was auf einen allgemeinen Mangel an standardisierten Evaluationsinstrumenten für derartige Interventionen hindeutet. Eine Übersicht über die eingeschlossenen Studien bezüglich Interventionen, Zielgruppen, Durchführenden und Outcomes findet sich in Tabelle 1 [Tab. 1].

Deutliche Defizite zeigen sich in weiteren Bereichen der Interventionsberichterstattung. Bedeutend weniger Studien beschrieben adäquat die für die Durchführung der Interventionen verwendeten Materialien (n=8), ob eine Individualisierung stattgefunden hat (n=3), ob eine Anpassung der Intervention im Studienverlauf nötig war (n=0) oder wie gut die Intervention im Hinblick auf die geplante (n=0) oder tatsächliche Interventionstreue (n=1) gelaufen ist. Aufgrund dieser Defizite in der Berichterstattung gestaltet sich eine Replikation problematisch. Erschwerend kommt hinzu, dass viele Studien in diesem Bereich nicht rezent sind. Seit dem Vorhandensein elektronischer Fachdatenbanken in den späten 1970er Jahren gibt es fundamentale Veränderungen in den Funktionalitäten und Oberflächen elektronischer Recherchemöglichkeiten und eine permanente Weiterentwicklung dieser, zuletzt bspw. bei der Cochrane Library und PubMed [10]. Daher erscheint eine Übertragbarkeit vieler Interventionen auf die heutigen Gegebenheiten nur eingeschränkt möglich.

Hinsichtlich der Wirksamkeit deuten sich in allen Studien Verbesserungen der Recherchefähigkeiten durch edukative Interventionen an. In vielen Studien, besonders in den hochwertigeren kontrollierten und randomisiert-kontrollierten Designs, waren die positiven Effekte jedoch nicht statistisch signifikant. In nur fünf Studien wurde evaluiert, wie sich die Interventionen auf längere Sicht auswirken, wobei die Zeiträume bis zum Follow-up sehr deutlich zwischen einem und neun Monaten variierten. Daher lassen sich keine zusammenfassenden Aussagen zur Langzeitwirksamkeit der Interventionen treffen. Allerdings deuten die Ergebnisse eines anderen Reviews mit dem ausschließlichen Fokus auf Medizinstudierende und weiter gefassten interventionsbezogenen Einschlusskriterien darauf hin, dass sich Recherchefähigkeiten über längere Zeit hinweg wieder verschlechtern [11]. Obwohl im Scoping Review keine systematische Bewertung der Studienqualität vorgenommen wurde, ist diese insgesamt als gering einzuschätzen, womit die Ergebnisse zur Wirksamkeit nur begrenzt aussagekräftig erscheinen.


Fazit und Implikationen für zukünftige Forschung und Praxis

Obwohl sich die Entwicklung von Suchstrategien und der Umgang mit Fachdatenbanken als schwerpunktmäßige Inhalte im Rahmen dieses Scoping Reviews herauskristallisiert haben, machen es die Heterogenität der untersuchten edukativen Interventionen in Umfang und Ausführung sowie die niedrige Studienqualität schwierig, verallgemeinernde Aussagen zur Wirksamkeit zu treffen. Eine Replikation vieler Interventionen erscheint zudem durch die teilweise unzureichende Berichterstattung und die eingeschränkte Übertragbarkeit auf moderne Recherchemöglichkeiten schwierig. Dennoch liefert der Scoping Review einen Überblick über potentielle Inhalte sowie Gestaltungs- und Evaluationsmöglichkeiten für edukative Interventionen zur Verbesserung von Recherchefähigkeiten und dient somit als Ausgangsbasis für weitere wissenschaftliche Evaluationen.

Zukünftige Forschungen sollten die Wirksamkeit edukativer Interventionen mit methodisch hochwertigem Studiendesign evaluieren, d.h. in Form von randomisiert-kontrollierten Studien und mit ausreichend großen Stichproben. Zur Evaluation sollten möglichst objektive Outcomes verwendet werden, da Selbsteinschätzungen der Recherchefähigkeiten häufig nur wenig mit objektiven Einschätzungen korrelieren [12]. In diesem Zusammenhang erscheint es sinnvoll, möglichst generalisierbare bzw. vielseitig anwendbare Evaluationsinstrumente zu entwickeln, die nicht nur auf eine spezifische Intervention zugeschnitten sind, sondern eine objektive Auswertung verschiedener Interventionen ermöglichen. Da es wichtig ist, dass edukative Interventionen von den Zielgruppen möglichst gut angenommen werden, ist die ergänzende Erhebung subjektiver Outcomes empfehlenswert, bspw. Feedback zum eingeschätzten Nutzen oder zu den pädagogischen Methoden. Zudem sollte eine Langzeitevaluation der Wirksamkeit erfolgen, um Erkenntnisse darüber zu erhalten, ob bzw. unter welchen Voraussetzungen einmal erworbene Fähigkeiten längerfristig erhalten werden können.

Hinsichtlich der inhaltlichen und methodischen Ausrichtung edukativer Interventionen zur Verbesserung von Recherchefähigkeiten erscheint eine stärkere Zielgruppenorientierung sinnvoll. Bspw. haben Bibliothekspersonal bzw. Information Specialists und in der klinischen Praxis tätiges Personal unterschiedliche Arbeitsumfelder, Arbeitsschwerpunkte und für Literaturrecherche zur Verfügung stehende Ressourcen. Diese gruppenspezifischen Gegebenheiten müssen berücksichtigt werden, um die Interventionen bedarfsgerecht und damit nutzenbringend zu gestalten. Zudem sollten Überlegungen und Konzepte entwickelt werden, um einen Erhalt bzw. eine Festigung der erworbenen Recherchefähigkeiten über einen längeren Zeitraum hinweg zu gewährleisten. Möglichkeiten diesbezüglich sind Auffrischungskurse bzw. -übungen, aber auch die Einbeziehung von Materialien, die als Nachschlagewerke für gelernte Inhalte oder Recherchemöglichkeiten dienen, bspw. das Cochrane Handbook for Systematic Reviews [13], das Manual RefHunter [14] oder der Praxisleitfaden Systematische Literaturrecherche [15].

Neben angemessenen und zielgruppenspezifischen edukativen Interventionen und Materialien zur Literaturrecherche sind zudem weitere, davon unabhängige Voraussetzungen zu schaffen, um qualitativ hochwertige Literaturrecherchen zu gewährleisten. Dazu zählt etwa, besonders an der Edukation beteiligte Personengruppen wie Bibliothekspersonal bzw. Information Specialists ausreichend für die Vermittlung der entsprechenden Inhalte zu befähigen. Weitere unterstützende Voraussetzungen sind bspw. die Formulierung von aussagekräftigen, englischsprachigen Titeln und Abstracts von Publikationen, um deren gute Auffindbarkeit zu gewährleisten, die Entwicklung von hochwertigen, wissenschaftlich validierten Suchfiltern oder die Weiterentwicklung bedarfsorientierter, einfach bedienbarer Suchoberflächen.


Abkürzungen

  • CINAHL: Cumulative Index to Nursing and Allied Health Literature
  • EbP: Evidenzbasierte Praxis
  • MEDLINE: Medical Literature Analysis and Retrieval System Online
  • TIDieR: Template for Intervention Description and Replication

Anmerkung

Interessenkonflikte

Die Autoren erklären, dass sie keine Interessenkonflikte in Zusammenhang mit diesem Artikel haben.


Literatur

1.
Abbas Z, Raza S, Ejaz K. Systematic reviews and their role in evidence-informed health care. J Pak Med Assoc. 2008 Oct;58(10):561-7.
2.
Greenhalgh T. How to read a paper: The basics of evidence-based medicine and healthcare. 6th ed. Hoboken: Wiley-Blackwell; 2019.
3.
Hirt J, Neyer S, Nordhausen T. Umfassende Literaturrecherchen – ein Kurzüberblick. GMS Med Bibl Inf. 2019;19(1-2):Doc05. DOI: 10.3205/mbi000430 External link
4.
Sampson M, McGowan J. Errors in search strategies were identified by type and frequency. J Clin Epidemiol. 2006 Oct;59(10):1057-63. DOI: 10.1016/j.jclinepi.2006.01.007 External link
5.
Salvador-Oliván JA, Marco-Cuenca G, Arquero-Avilés R. Errors in search strategies used in systematic reviews and their effects on information retrieval. J Med Libr Assoc. 2019 Apr;107(2):210-21. DOI: 10.5195/jmla.2019.567 External link
6.
Faggion CM Jr, Huivin R, Aranda L, Pandis N, Alarcon M. The search and selection for primary studies in systematic reviews published in dental journals indexed in MEDLINE was not fully reproducible. J Clin Epidemiol. 2018 Jun;98:53-61. DOI: 10.1016/j.jclinepi.2018.02.011 External link
7.
Hecht L, Buhse S, Meyer G. Effectiveness of training in evidence-based medicine skills for healthcare professionals: a systematic review. BMC Med Educ. 2016 Apr;16:103. DOI: 10.1186/s12909-016-0616-2 External link
8.
Garg A, Turtle KM. Effectiveness of training health professionals in literature search skills using electronic health databases – a critical appraisal. Health Info Libr J. 2003 Mar;20(1):33-41. DOI: 10.1046/j.1471-1842.2003.00416.x External link
9.
Hirt J, Nordhausen T, Meichlinger J, Braun V, Zeller A, Meyer G. Educational interventions to improve literature searching skills in the health sciences: a scoping review. J Med Libr Assoc. 2020 Oct;108(4):534-46. DOI: 10.5195/jmla.2020.954 External link
10.
Reed JG, Baxter PM. Using Reference Databases. In: Cooper H, Hedges LV, Valentine JC, editors. The Handbook of Research Synthesis and Meta-Analysis. 2nd ed. New York: Russell Sage Foundation; 2009. p. 73-102.
11.
Just ML. Is literature search training for medical students and residents effective? A literature review. J Med Libr Assoc. 2012 Oct;100(4):270-6. DOI: 10.3163/1536-5050.100.4.008 External link
12.
Lai NM, Teng CL. Self-perceived competence correlates poorly with objectively measured competence in evidence based medicine among medical students. BMC Med Educ. 2011 May;11:25. DOI: 10.1186/1472-6920-11-25 External link
13.
Higgins JPT, Thomas J, editors. Cochrane Handbook for Systematic Reviews of Interventions: Version 6. 2nd ed. Hoboken: Wiley Online Library; 2019. Available from: https://training.cochrane.org/handbook External link
14.
Nordhausen T, Hirt J. RefHunter. Manual zur Literaturrecherche in Fachdatenbanken. Version 5.0. 2020. Available from: https://refhunter.eu/download/ External link
15.
Bayer O, Cascant Ortolano L, Hoffmann D, Schweizer S. Praxisleitfaden Systematische Literaturrecherche der Universitätsmedizin Mainz. Version 1. 2020. Available from: https://teamweb.uni-mainz.de/sites/bbum/downloads/Praxisleitfaden-Systematische-Literaturrecherche.pdf External link
16.
Bradigan PS, Mularski CA. End-user searching in a medical school curriculum: an evaluated modular approach. Bull Med Libr Assoc. 1989 Oct;77(4):348-56.
17.
Brettle A, Raynor M. Developing information literacy skills in pre-registration nurses: an experimental study of teaching methods. Nurse Educ Today. 2013 Feb;33(2):103-9. DOI: 10.1016/j.nedt.2011.12.003 External link
18.
Carlock D, Anderson J. Teaching and assessing the database searching skills of student nurses. Nurse Educ. 2007 Nov-Dec;32(6):251-5. DOI: 10.1097/01.NNE.0000299477.57185.ba External link
19.
Erickson S, Warner ER. The impact of an individual tutorial session on MEDLINE use among obstetrics and gynaecology residents in an academic training programme: a randomized trial. Med Educ. 1998 May;32(3):269-73. DOI: 10.1046/j.1365-2923.1998.00229.x External link
20.
Grant KL, Herrier RN, Armstrong EP. Teaching a systematic search strategy improves literature retrieval skills of pharmacy students. Am J Pharm Educ. 1996;60(3):281-6.
21.
Grant MJ, Brettle AJ. Developing and evaluating an interactive information skills tutorial. Health Info Libr J. 2006 Jun;23(2):79-86. DOI: 10.1111/j.1471-1842.2006.00655.x External link
22.
Gruppen LD, Rana GK, Arndt TS. A controlled comparison study of the efficacy of training medical students in evidence-based medicine literature searching skills. Acad Med. 2005 Oct;80(10):940-4. DOI: 10.1097/00001888-200510000-00014 External link
23.
Haynes RB, Johnston ME, McKibbon KA, Walker CJ, Willan AR. A program to enhance clinical use of MEDLINE. A randomized controlled trial. Online J Curr Clin Trials. 1993 May:Doc56.
24.
Hobbs DL, Guo R, Mickelsen W, Wertz CI. Assessment of library instruction to develop student information literacy skills. Radiol Technol. 2015 Jan-Feb;86(3):344-9.
25.
Rosenfeld P, Salazar-Riera N, Vieira D. Piloting an information literacy program for staff nurses: lessons learned. Comput Inform Nurs. 2002 Nov-Dec;20(6):236-41. DOI: 10.1097/00024665-200211000-00009 External link
26.
Sikora L, Fournier K, Rebner J. Exploring the impact of individualized research consultations using pre and posttesting in an academic library: a mixed methods study. Evid Based Libr Inf Pract. 2019;14(1):2-21. DOI: 10.18438/eblip29500 External link
27.
Vogel EW, Block KR, Wallingford KT. Finding the evidence: teaching medical residents to search MEDLINE. J Med Libr Assoc. 2002 Jul;90(3):327-30.
28.
Wallace MC, Shorten A, Crookes PA. Teaching information literacy skills: an evaluation. Nurse Educ Today. 2000 Aug;20(6):485-9. DOI: 10.1054/nedt.1999.0439 External link
29.
Qureshi A, Bokhari SA, Pirvani M, Dawani N. Understanding and practice of evidence based search strategy among postgraduate dental students: a preliminary study. J Evid Based Dent Pract. 2015 Jun;15(2):44-9. DOI: 10.1016/j.jebdp.2014.08.002 External link