gms | German Medical Science

Einleitung: Ausgangspunkt für ein Literaturreview zu Indikatoren für empirische Forschungsvorhaben war eine Leitlinie zum adaptiven Management von Datenqualität der vernetzten medizinischen Forschung [1]. Neben der Beschreibung von Indikatoren zur Datenqualität lag ein Schwerpunkt der Leitlinie auf der Verzahnung von Qualitätsmessung mit Schwachstellenanalyse und qualitätsverbessernden Maßnahmen. Die initiale Entwicklung der Leitlinie war durch ein Evidenz-basiertes Vorgehen mit Durchführung einer systematischen Literaturrecherche und Ergänzung durch Interviews mit externen Experten gekennzeichnet. In ihrer zweiten Auflage von 2014 umfasste die Leitlinie 51 Indikatoren zur Datenqualität. Allerdings gab es Diskussionen zu deren Eignung und Aktualität. Es wurde daher ein Projekt zur Fortschreibung der Indikatoren gestartet. Hierzu sollte der internationale Stand zu Kennzahlen, zur Struktur ihrer Definitionen, zu Qualitätsdimensionen und zur Berücksichtigung von Geschlechtergerechtigkeit und Diversität erhoben werden. In diesem Beitrag werden Vorgehen und erste Erkenntnisse berichtet.

Methodik: Für die Fortschreibung der Indikatoren wurde ein Top-Down-Ansatz mit einem Literaturreview umgesetzt. Das Vorgehen sollte sich an Empfehlungen für ein Scoping Review orientieren [2]. Vier Informationsquellen wurden berücksichtigt: Medline, Scopus, Web of Science und Cochrane Library. Die Literaturrecherche wurde auf die Sprachen Englisch und Deutsch beschränkt. Es wurden nur Publikationen seit 2013 berücksichtigt, da dieses Jahr den Abschluss der Literaturrecherche für die letzte Version der Leitlinie darstellte. Die Suchanfragen der bisherigen Ausgaben der Leitlinie wurden für jede eingeschlossene Informationsquelle explorativ weiterentwickelt. Die Treffer in den vier Informationsquellen wurden von zwei Reviewern zu vorab festgelegten Kriterien bewertet. Hierbei waren drei Fragen zu beantworten.

1.

Befasst sich dir Arbeit mit strukturierten Daten aus der empirischen Forschung?

2.

Behandelt die Arbeit das Thema Datenqualität?

3.

Ist die Arbeit für die Ziele dieses Projekts relevant?

Grundlage der ersten Bewertungsrunde waren Titel und Abstract der Treffer. Die anstehende Bewertungsrunde wird dann die Volltexte berücksichtigen, um über den endgültigen Einschluss der Evidenzquellen zu entscheiden.

Ergebnisse: Die Recherche wurde Ende Januar und Anfang Februar 2024 durchgeführt. Das Ergebnis umfasste 3.419 Datensätze, von denen nach Ausschluss von Duplikaten 2.748 übrigblieben. Angesichts dieser großen Anzahl von Datensätzen wurde die erste Bewertungsrunde zweigeteilt. Zunächst wurde eine grobe Bewertung durchgeführt, wobei zwei Bewerter für jeweils die Hälfte der Treffer zuständig waren. Zusätzlich wurde eine 10%ige Überschneidung erzeugt, um Angaben zur Übereinstimmung der Bewertungen abzuleiten. Die Entscheidung über die weitere Bearbeitung eines Datensatzes beruhte jedoch auf der Bewertung eines Reviewers. Jeder der beiden Reviewer bewertete 1.512 Treffer. Aufgrund der Ergebnisse wurden 734 Datensätze für einen zweiten Auswahlschritt ebenfalls auf Grundlage von Titel und Zusammenfassung mit komplett paralleler Bewertung durch zwei Reviewer ausgewählt. Hierbei wurden 429 Beiträge abgelehnt, 183 angenommen und in 122 Fällen eine Konsensfindung durchgeführt. Schließlich qualifizierten sich 221 Beiträge für die anstehende, zweite Bewertungsrunde.

Diskussion/Schlussfolgerung: Der Qualität von Daten wird in der Forschung immer mehr Aufmerksamkeit geschenkt. Mit diesem Projekt soll der aktuelle internationale Stand zum Thema Datenqualität in eine aktualisierte Zusammenstellung von Indikatoren eingearbeitet werden. Dabei sollen insbesondere die Aspekte Qualitätsdimensionen, Struktur von Indikatoren und der Bezug zu Geschlechtergerechtigkeit und Diversität beachtet werden.

Die Autoren geben an, dass kein Interessenkonflikt besteht.

Die Autoren geben an, dass kein Ethikvotum erforderlich ist.