gms | German Medical Science

Einleitung: In der klinischen Forschung ist die präzise Definition von Studienmetadaten zur Sicherstellung der Datenintegrität eine wichtige Aufgabe. Das Clinical Data Interchange Standards Consortium (CDISC) Operational Data Model (ODM) dient als Standard für den Austausch klinischer Daten und wird durch visuelle Modellierungswerkzeuge, wie z.B. den ODM-Editor von OpenEDC unterstützt [1], [2], [3]. Trotz der Verfügbarkeit dieser Werkzeuge erfordert die technische Validierung von Studiendatenbanken derzeit hohe Aufwände für überwiegend manuelle Tests. Ziel dieser Arbeit ist es daher, automatisierte Testverfahren für ODM-basierte Studiendatenbanken zu entwickeln.

Methodik: Bei der Entwicklung unseres Werkzeugs (ODM-AutoAssess) konzentrieren wir uns auf die automatisierte Generierung und Durchführung von Testfällen. Unser Kernansatz besteht darin, Metadaten aus ODM-Dateien zu extrahieren und automatisiert komplexe Testdatensätze zu erstellen. Dies geschieht durch Python-Skripte. Die erstellten Tests werden daraufhin in der simulierten OpenEDC-Umgebung weiterverarbeitet. Der Algorithmus zur Erstellung der Testfälle analysiert die Struktur und Beziehungen der ODM-Metadaten, extrahiert eingebettete Berechnungsformeln und prüft Bedingungen und Einschränkungen der Datenfelder. Er identifiziert abhängige Datenpunkte und führt Berechnungen auf Basis der definierten Formeln und Regeln durch. Dabei berücksichtigt er zulässige Wertebereiche und Pflichtfelder, um sicherzustellen, dass die generierten Testfälle diesen Bedingungen entsprechen. Die Testfälle werden automatisch in Selenium-Testskripte transformiert, die im OpenEDC-System ausgeführt und auf korrekte Ausgabe überprüft werden können. Zusätzlich wird eine technische Dokumentation der ODM-Datei, der Testfälle und der Testergebnisse (Jest/Allure) in tabellarischer Form erzeugt.

Ergebnisse: Es konnte ein spezialisiertes Analysewerkzeug entwickelt werden, das zur Optimierung und Validierung von ODM-Metadaten in der klinischen Forschung dienen kann. Eingesetzt für zwei klinische Datenbanken in Heidelberg, identifizierte es in mehreren Iterationszyklen Fehlfunktionen. Hierzu gehörten die falsche Anwendung mathematischer Methoden, redundante und fehlerhafte Berechnungsformeln, Erhebungsbedingungen und Auswahlmöglichkeiten sowie Verweise auf nichtexistierende Items. Zudem wurden fehlende Definitionen von Wertebereichen und Maßeinheiten festgestellt. Das Werkzeug bietet einen detaillierten Überblick über die Metadaten und weist auf Fehlerquellen hin. Dadurch können Definitionsfehler minimiert werden. Die automatisierte Generierung von Testfällen und deren Transformation in automatisierte Softwaretests für das OpenEDC-System kann die Datenintegrität fördern. Der direkte Export von Metadatentabellen, Testfällen und -ergebnissen erleichtert zudem die Dokumentation und den Informationsaustausch im Forschungsteam.

Diskussion: Die zunehmende Bedeutung von Daten im klinischen Alltag erfordert Systeme mit hoher Datenqualität. Eine klare Übersicht der Studienstruktur und die Testfallgenerierung können Forschende beim Design von Studiendatenbanken unterstützen. Während visuelle Editoren die manuelle Bearbeitung der Metadaten erleichtern, ermöglicht unser Werkzeug eine systematische Überprüfung durch die Simulation von Dateneingabeprozessen. Die automatisierte Testfallgenerierung und -durchführung erhöhen die Datenqualität und -integrität und tragen zur Effizienz der Studienvorbereitung bei. Durch die frühzeitige Erkennung und Korrektur potenzieller Fehler in den Metadaten können Zeit- und Kosten gespart werden [4], [5]. Die Limitationen wie automatisierte Validierung der medizinischen Relevanz von Metadaten oder individuellen Anpassungen der Testfälle, werden durch zukünftige Entwicklungen angegangen. Diese beinhalten die Untersuchung der Einsatzmöglichkeiten für automatisierte Dokumentation und Validierung zur Einhaltung regulatorischer Anforderungen wie der europäischen Medizinprodukteverordnung (MDR) einzusetzen. Gleichzeitig wird die Benutzerfreundlichkeit kontinuierlich erforscht und verbessert. Nach Abschluss der internen Tests wird das Werkzeug als Open Source veröffentlicht.

Schlussfolgerung: Automatisierte Analyse, Validierung und Testung von CDISC ODM-Metadaten kann zur Risikominimierung von Definitionsfehlern und zur Datenqualität in Studiendatenbanken beitragen.

Die Autoren geben an, dass kein Interessenkonflikt besteht.

Die Autoren geben an, dass kein Ethikvotum erforderlich ist.