gms | German Medical Science

Einleitung: In Beobachtungsstudien ist es eine Herausforderung, eine geeignete Vergleichsgruppe zu finden. Daher kommt häufig Matching zum Einsatz, um wichtige Merkmale in den Gruppen abzugleichen und Verzerrungen im Gruppenvergleich zu vermeiden. Ein effizientes Matching für eine Vielzahl von Charakteristika erfolgt oft mithilfe eines Propensity Score, der mittels logistischer Regression geschätzt wird [1], [2]. Zur Unterstützung beim Matching, insbesondere der Schätzung eines Propensity Scores, haben wir eine Applikation, den EpiSelector, entwickelt. Ziel des EpiSelectors ist es, sowohl erfahrene als auch weniger routinierte Wissenschaftler:innen bei der Durchführung von validen und reproduzierbaren Matchings für Beobachtungsstudien evidenzbasiert zu unterstützen. Um Benutzerfreundlichkeit und Verbesserungspotenzial des EpiSelectors zu ermitteln, haben wir eine Usability Studie durchgeführt.

Methodik: Für die Usability-Studie wurden N=10 Teilnehmende aus verschiedenen Fachbereichen (Medizin, Epidemiologie, Medizinische Informatik) an insgesamt sieben Institutionen rekrutiert, um die Anwendung aus verschiedenen Perspektiven und mit unterschiedlichen Vorkenntnissen zu testen. Hierzu wurden die E-Mail-Verteiler der GMDS, des DKFZ, der Clinical Data Science Group im DKTK sowie der Heimatfakultät genutzt. Die Teilnehmenden erhielten den EpiSelector als Webanwendung. Die Usability-Tests umfassten drei Phasen:

1.

Virtuelle Einzelinterviews (N=10), bei denen die Teilnehmenden die Anwendung eigenständig nutzten, um vier vordefinierte Matching-Aufgaben zu bearbeiten und ihre ersten Gedanken, Eindrücke, Probleme und Fragen laut äußerten. Der Fokus lag hierbei auf der intuitiven Bedienbarkeit unabhängig vom Kenntnisstand.

2.

Verwendung von UEQ- und Health-ITUES-Fragebögen (N=10) zur Erfassung quantitativer Daten zur Benutzerfreundlichkeit [3], [4].

3.

Virtuelles Fokusgruppeninterview (N=3) zur Diskussion über die Zukunftsperspektiven der Anwendung.

Ergebnisse: Die Einzelinterviews erbrachten eine größtenteils positive Resonanz. Insbesondere lobten die Teilnehmenden die klare Struktur und den übersichtlichen Ablauf der Anwendung. Die durchschnittliche Bearbeitungszeit pro Matching-Aufgabe lag zwischen 1:30 und maximal 4:00 Minuten. Bereits nach dem ersten Durchlauf einer Matching-Aufgabe waren die Nutzer:innen mit der Anwendung so vertraut, dass die Bearbeitungszeit für die nachfolgenden Aufgaben abnahm. Die Effizienz der Anwendung motivierte die Anwender:innen, die Anwendung für weitere Matching-Aufgaben zu nutzen. Über 90% der Benutzer:innen bewerteten die Applikation nach den UEQ- und Health-ITUES-Fragebögen als sehr unterstützend, während 85% sie als übersichtlich, einfach und effizient empfanden. Die Originalität der Anwendung wurde von 65% als neuartig, originell und interessant bewertet. Trotz der positiven Bewertungen wurden einige Bereiche identifiziert, die Verbesserungspotenzial aufweisen, darunter ein anwendungsübergreifender einheitlicher Matching-Ablauf und die Aufklärung über Limitationen der Applikation und der Matching-Ergebnisse. Diese identifizierten Problembereiche werden anschließend aufgearbeitet.

Diskussion: Bei der Ergebnisinterpretation ist zu bedenken, dass sich die Teilnehmenden auf unseren Aufruf freiwillig gemeldet haben, was ein Interesse am Thema und hohe Motivation zur Nutzung einer wissenschaftlichen Anwendung nahelegt.

Schlussfolgerung: Der EpiSelector hat sich als effizientes und anwenderorientiertes Instrument herausgestellt. Ebenso hat sich die Usability-Studie insgesamt als sehr hilfreich erwiesen. Durch die gewonnenen Erkenntnisse ist es möglich, die Anwendung so zu optimieren, dass sowohl erfahrene als auch weniger erfahrene Wissenschaftler:innen valide und reproduzierbare Ergebnisse erzielen können. Nach Optimierung des EpiSelectors wird die Anwendung Open-Source veröffentlicht. Wir empfehlen vergleichbare Untersuchungen, insbesondere die frühzeitige Einbeziehung von späteren Nutzern im Vorfeld, auch bei der Entwicklung von anderen wissenschaftlichen Anwendungen, bei denen Nutzerfreundlichkeit oft nur nachrangig berücksichtigt wird.

Die Autoren geben an, dass kein Interessenkonflikt besteht.

Die Autoren geben an, dass ein positives Ethikvotum vorliegt.