gms | German Medical Science

Hintergrund: Zunehmend werden im Gesundheitswesen digitale, interaktive Systeme entwickelt, um die Gesundheitsversorgung von Patient:innen zu verbessern. Im Mittelpunkt sollten dabei bereits in frühen Phasen der Entwicklung potentielle Nutzer:innen stehen. Qualitative Methoden wie Usability-Tests mittels Think-Aloud-Technik sind dabei geeignete, aber in der Literatur wenig beschriebene Tools zur Evaluation von Prototypen.

Fragestellung und Zielsetzung: Wie kann ein Remote-Usability-Test umgesetzt werden? Welchen Mehrwert bietet Think-Aloud? Anforderungen an Planung, Durchführung und Auswertung werden am Beispiel des Projekts SATURN (Smartes Arztportal für Betroffene mit unklarer Erkrankung) vorgestellt.

Methode: Im Projekt SATURN wird auf Basis eines User-Centered-Design-Prozesses ein Portal für Hausarztpraxen entwickelt, das KI-basiert Unterstützung bei der Diagnose von unklaren und Seltenen Erkrankungen anbieten soll. Fünf Hausärzt:innen werden in diesen Prozess von Beginn an iterativ eingebunden. Mittels Remote-Usability-Tests wird die Nutzerfreundlichkeit der Portaloberfläche untersucht.

Zur Vorbereitung des Tests wurde ein Ablaufplan erstellt, eine Fallvignette mit drei Testaufgaben entwickelt sowie zwei Pretests durchgeführt. Während der Testsitzungen bearbeitetet die Hausärzt:innen in individuellen Online-Sitzungen an ihrem PC das Fallbeispiel (Eingabe von Symptomen etc.) und verbalisierten dabei ihre Vorgehensweise. Eine Moderatorin erläuterte den Ablauf und die Technik des Think-Aloud. Bildschirminhalt der Testpersonen und Ton der Testsitzungen wurden aufgezeichnet. Die Videoaufnahmen wurden später vom Studienteam ausgewertet (Beobachtungen, Zitate). Im Testbericht wurden Usability-Probleme detailliert beschrieben, kategorisiert und Lösungsvorschläge erstellt. Ferner wurden Systemfehler (Bugs) und positive Usability-Befunde festgehalten.

Ergebnisse: Die Durchführung der Remote-Tests mittels Videokonferenz erwies sich als unproblematisch und erforderte von den Teilnehmer:innen lediglich einen PC-Zugang. Mit wenigen Probanden konnten qualitativ hochwertige Informationen zu Usability-Problemen des Prototyps gewonnen werden, die den Kategorien Benutzerfreundlichkeit, Layout, Inhalt, Verständlichkeit, Navigation und Feedback zugeordnet und im Hinblick auf ihren Schweregrad bewertet wurden. Der Testbericht diente den Entwickler:innen als Basis für die Überarbeitung des Prototypen.

Implikation für Forschung und/oder (Versorgungs-)Praxis: Remote-Usability-Tests sind im Vergleich zu Labortests schnell und kosteneffizient sowie ortsunabhängig durchführbar. Sie finden in der natürlichen Umgebung statt und können bei der Entwicklung von digitalen Gesundheitsinterventionen wertvolles Feedback geben. Durch die Verbalisierungen der Teilnehmer:innen konnten Beobachtungen besser verstanden, zusätzlich erläutert und Probleme leichter gewichtet werden. Alle Teilnehmer:innen meisterten die ungewohnte Situation des „laut Denkens“ sehr gut und mussten nur selten von der Moderatorin zum Weitersprechen ermuntert werden. Die Erstellung eines ausführlichen Testberichts mit exakter, allgemeinverständlicher Beschreibung der Beobachtungen und korrespondierenden Zitaten der Testteilnehmer ist empfehlenswert und sollte in enger Abstimmung mit den Entwickler:innen erfolgen, ebenso wie die Entwicklung der darin enthaltenen Lösungsvorschläge.

Förderung: Einzelförderung (BMG, DRV, BMBF, DFG, etc); Projektname: Smart physician portal for patients with unclear diseas (SATURN); Fördernummer: ZMI1-2520DAT02B