Article
Jenseits statistischer Signifikanz: wie nicht-signifikante Ergebnisse bedeutsamer Unterschiede in systematischen Übersichtsarbeiten interpretiert werden
Search Medline for
Authors
-
Dominic Ledinger
- Universität für Weiterbildung Krems, Department für Evidenzbasierte Medizin und Evaluation, Krems, Österreich
-
Emma Persad
- Universität für Weiterbildung Krems, Department für Evidenzbasierte Medizin und Evaluation, Krems, Österreich; Karolinska Institute, Department of Women’s and Children’s Health, Schweden
-
Robert Emprechtinger
- Universität für Weiterbildung Krems, Department für Evidenzbasierte Medizin und Evaluation, Krems, Österreich
-
Andrea Chapman
- Universität für Weiterbildung Krems, Department für Evidenzbasierte Medizin und Evaluation, Krems, Österreich
-
Arianna Gadinger
- Universität für Weiterbildung Krems, Department für Evidenzbasierte Medizin und Evaluation, Krems, Österreich
-
Johanna Feyertag
- Universität für Weiterbildung Krems, Department für Evidenzbasierte Medizin und Evaluation, Krems, Österreich
-
Gerald Gartlehner
- Universität für Weiterbildung Krems, Department für Evidenzbasierte Medizin und Evaluation, Krems, Österreich; RTI International, USA
| Published: | March 12, 2024 |
|---|
Outline
Text
Hintergrund/Fragestellung: Seit Jahrzehnten kritisieren Statistiker:innen und Methodiker:innen nachdrücklich die übermäßige Orientierung an einem strengen Schwellenwert des P-Wertes (üblicherweise 0,05) und die Missinterpretation statistischer Signifikanz in der medizinischen Forschung. Auch für viele Entscheidungsträger:innen ist dies zu einer praktikablen Heuristik für die Interpretation von Studienergebnissen geworden, die oftmals Grundlage für gesundheitspolitische Entscheidungen sind. Ziel unserer Studie war es, die sprachliche Formulierung in Cochrane-Reviews zu bewerten, um festzustellen wie Autor:innen Unterschiede in bedeutsamen Behandlungseffekten hervorheben, auch wenn keine statistische Signifikanz vorliegt.
Methoden: Alle Cochrane-Reviews zu Interventionen von November 2017–2022 wurden auf nicht-signifikante Effektschätzer hin durchsucht, die von Autor:innen als bedeutsam interpretiert wurden. Wir klassifizierten ihre Interpretationen qualitativ und bewerteten sie quantitativ, indem wir die Flächen unter der Kurve (AUC) der Teile der Konfidenzintervalle berechnet haben, die den Nullwert oder einen minimalen wichtigen Unterschied überschreiten, was auf eine größere Wirkung einer Intervention hinweist.
Ergebnisse: Wir analysierten 2.337 Cochrane-Reviews und identifizierten 139 Fälle, in denen bedeutsame Unterschiede bei nicht-signifikanten Ergebnissen formuliert wurden. Am häufigsten verwendeten die Autor:innen relativierende Worte (z.B. kann/könnte), um Ungewissheit auszudrücken (47,5%). Manchmal fügten sie eine Aussage hinzu, die die fehlende statistische Signifikanz betonte (19,4%). In 27% der Fälle stellten die Autor:innen absolute Behauptungen über die größere Wirksamkeit oder Schädlichkeit einer Intervention auf, ohne die statistische Ungewissheit zu erwähnen. AUC-Analysen weisen darauf hin, dass einige Autor:innen die Bedeutung nicht-signifikanter Unterschiede überbewerten, während andere bedeutsame Unterschiede nicht-signifikanter Effektschätzern übersehen könnten.
Schlussfolgerung: Nuancierte Interpretationen statistisch nicht-signifikanter Ergebnisse waren in Cochrane-Reviews selten. Die Autor:innen von Übersichtsarbeiten sollten bei der Interpretation von nicht-signifikanten Effektschätzern einen nuancierteren Ansatz wählen. Dadurch kann sichergestellt werden, dass bedeutsame Unterschiede nicht übersehen werden und, dass die gezogenen Schlussfolgerungen so ausgewogen und informativ wie möglich sind, um Kliniker:innen und Entscheidungsträger:innen die bestmögliche Entscheidungsgrundlage zu bieten.
Interessenkonflikte: Die Autor:innen haben keine Interessenskonflikte zu diesem Abstract offenzulegen.
