gms | German Medical Science

Einleitung und Fragestellung: Die Frage nach der Reproduktion/Replizierbarkeit von Ergebnissen aus Computerprogrammen rückte in der Biostatistik in den letzten Jahren vermehrt in den Fokus. Computerprogramme werden mittlerweile als essentieller Bestandteil einer statistischen Analyse wahrgenommen und dem entsprechend wird ihre Offenlegung im Publikationsprozeß gefordert [z.B. [1]]. Bestärkt wird diese Sicht durch extreme Beispiele wie dem Ince-Skandal [2], wo durch fehlerhaften Umgang mit Software und Daten die Aussage einer Studie unbewußt verfälscht wurde. Obwohl für die Auswertung von klinischen Studien exzellente und bewährte Goldstandards in Form von SOPs für die Datenverarbeitung und -auswertung existieren, ist ihre Umsetzung in vielen Bereichen des akademischen Alltags aus Ressourcen- oder Zeitmangel oft nicht möglich, oder sogar nicht gewünscht, um den kreativen Freiraum des Methodikers nicht einzuschränken [3]. Weiter ist der akademische Alltag unserer Erfahrung nach oft geprägt von Beratungsfällen und Kollaborationen, die sich aus einer kleineren Auswertung organisch langfristige Projektbeteiligungen entwickeln oder die sich durch eine dynamisch ändernde Gruppenstruktur charakterisieren.

Material und Methoden: Anhand von Befragungen von Kollegen mit unterschiedlichen Hintergründen und Erfahrungen erarbeiteten wir die Bandbreite von individuellen Arbeitsabläufen, täglichen Problemen und individuellen “Best practices”. Angereichert wurden diese Ergebnisse aus einer Bewertung der administrativ erfassten technischen Probleme im Zusammenhang mit der Datenanalyse, die an unserem Institut mittels eines Ticketsystems erfasst wurden. Die dort erfassten Daten erlauben Rückschlüsse auf langfristige Probleme, z.B. veraltete Datenformate und Softwareversionen. Mittels einer Literaturrecherche wurde nach existierenden Lösungen für die ermittelten Problematiken gesucht, wobei der Fokus nicht nur auf die Biostatistik gelegt wurde, sondern fachübergreifend gesucht wurde, da die beschriebene Problemstellung prinzipiell in allen Disziplinen zu finden sind, die mithilfe von Software empirische Daten auswerten. Bestehende Softwarelösungen wurden auf ihre Praxistauglichkeit evaluiert.

Ergebnisse: Bei der qualitativen Auswertung der Benutzerbefragung wurde eine Reihe von wiederkehrenden Problemen aufgedeckt: (1) mangelnde Dokumentationsfähigkeit von Daten, (2) Probleme bei der Zusammenarbeit im Team und (3) schwere Zugänglichkeit. Die Literatursuche zeigte, dass für Teilbereiche viele Werkzeuge existieren, ohne diese aber in ein nutzbares Gesamtkonzept zu integrieren. Ideale Gesamtsysteme sind formuliert, ohne aber real umgesetzt zu sein [4], [5]. Wir konnten eine Spezifikation für ein Framework erarbeiten, das die Replizierbarkeit von berechneten Ergebnissen wesentlich erhöhen kann, ohne wesentlichen zeitlichen Mehraufwand des Forschers für die Datenverwaltung und –dokumentation. Dabei sind die folgenden Punkte essentiell:

• Abdeckung aller Arbeitsschritte von Datentransformation bis zur finalen Analyse
• Nutzbar in Arbeitsgruppen (kollaborativer Ansatz)
• Werkzeuge für zentrale Archivierung und Backup
• Revisionskontrolle: jede Änderung ist nachvollziehbar.
• Leichter Zugang, Integration aller Komponenten und einfache Bedienbarkeit

Diskussion: Für jeden der erarbeiteten Punkte gibt es etablierte und oft stabile Konzepte oder Werkzeuge. Allerdings ist deren Integration in den Alltag entweder zeitintensiv in der Anwendung oder aufgrund der Komplexität und Vielfalt mit einer sehr hohen Einstiegshürde versehen. Nach unserer Einschätzung können Systeme zur Unterstützung der Replizierbarkeit nur dann zu Akzeptanz im akademischen Betrieb führen, wenn sie einfach zu erlernen und zu bedienen sind sowie hinreichend flexibel sind, um verschiedene Arbeitsweisen abzubilden.