Article
Praxisverwaltungssysteme: Deutschlandweite Ergebnisse zu Usability, Nutzerzufriedenheit und Wechselbereitschaft aus 10.245 Bewertungen
Practice management systems: Germany-wide results on usability, user satisfaction, and willingness to switch from 10,245 evaluations
Search Medline for
Authors
Published: | December 4, 2024 |
---|
Outline
Zusammenfassung
Hintergrund: Praxisverwaltungssysteme (PVS) sind elementar für Dokumentation und Abrechnung ambulant-ärztlicher/-psychotherapeutischer Leistungen. Sie sind zudem Teil der Telematik-Infrastruktur (TI), indem sie Funktionalitäten zu deren Nutzung bereitstellen und darauf basierend die Digitalisierung der medizinischen Versorgung unterstützen. Die Effizienz und Zufriedenheit im beruflichen Alltag werden maßgeblich durch deren Funktionalität beeinflusst, da eine reibungslose und fehlerfreie Systemnutzung die tägliche Arbeit erleichtert und unnötigen Aufwand reduziert. Dennoch war es bisher kaum möglich, PVS mit Fokus auf die Erfüllung der Bedürfnisse der Nutzenden objektiviert zu identifizieren. Diese Arbeit untersucht, ob die Usability und Zufriedenheit valide und reliabel gemessen werden können, wie die PVS in Bezug auf diese beiden Faktoren bewertet werden sowie welche Einflussgrößen es hierbei gibt.
Methode: Bundesweit wurden Ärzt:innen, Psychotherapeut:innen und angestelltes Personal in der vertragsärztlichen Versorgung in einem querschnittlichen Online-Survey befragt. Anhand von 10.245 Bewertungen wurden Validität und Reliabilität der System-Usability-Scale (SUS) und des Net-Promoter-Scores (NPS) geprüft. In Regressionsanalysen wurden SUS/NPS sowie die Bereitschaft zum PVS-Wechsel durch persönliche, praxisbezogene Faktoren sowie PVS-Fehlersituationen vorhergesagt. Zudem wurde die Nutzerzufriedenheit in einer weiteren Regressionsanalyse über die Usability, einen gegebenenfalls vorangegangenen PVS-Wechsel sowie die Information, ob zu einem PVS mit im Durchschnitt höher oder niedriger bewerteter Usability gewechselt wurde, vorhergesagt.
Ergebnisse: SUS und NPS sind geeignete Messinstrumente für die Erfassung von Usability und Nutzerzufriedenheit von PVS. Es gibt deutliche Unterschiede zwischen den PVS. PVS-Fehlersituationen und -häufigkeiten hängen maßgeblich negativ mit SUS/NPS und positiv mit der Bereitschaft zum PVS-Wechsel zusammen. Die Nutzerzufriedenheit hängt zudem positiv mit der individuell eingeschätzten Usability sowie mit einem kürzlichen PVS-Wechsel zusammen, wobei ein Wechsel zu einem PVS mit im Durchschnitt höher bewerteter Usability diesen Effekt nochmals verstärkt.
Diskussion: Die Ergebnisse deuten darauf hin, dass die Usability und Nutzerzufriedenheit von PVS mit der PVS-Wechselbereitschaft zusammenhängen. Breit eingesetzte PVS erzielen teils ausgeprägt negative Bewertungen. Der Zusammenhang von PVS-Fehlersituationen mit SUS, NPS und der Bereitschaft zum PVS-Wechsel weist auf die Notwendigkeit kontinuierlicher Verbesserungen und deren Messung hin. Die Förderung eines Wechsels zu anwenderfreundlicheren PVS ist zu erwägen.
Abstract
Background: Practice management systems (PMS) are essential for the documentation and billing of outpatient medical and psychotherapeutic services. They are also the medium for implementing the telematics infrastructure (TI) and the subsequent digitalization of medical care. The functionality of these systems significantly influences professional practice and satisfaction. However, it has previously been challenging to objectively identify practice management systems with good user orientation. This study examines whether usability and satisfaction can be measured validly and reliably, how the practice management systems are rated, and which influencing factors exist.
Method: Physicians, psychotherapists, and employed staff in practices across Germany were surveyed in a cross-sectional online survey. Using 10,245 ratings, the validity and reliability of the System Usability Scale (SUS) and the Net Promoter Score (NPS) were examined. In regression analyses, SUS/NPS and willingness to switch were predicted by personal/practice-related factors and practice management systems error situations.
Results: SUS and NPS are suitable measurement tools for assessing usability and user satisfaction of practice management systems. There are significant differences between practice management systems. PMS error situations and their frequencies are strongly negatively correlated with SUS/NPS and positively correlated with the willingness to switch.
Conclusion: The results highlight the importance of user-friendly, satisfactory practice management systems. Widely used practice management systems often receive markedly negative ratings. The correlation of SUS/NPS and willingness to switch with PMS error frequency indicates a lack of standardization, emphasizing the need both for continuous improvements and their measurement. Promoting a switch to more user-friendly PMS should be considered.
Einleitung
Praxisverwaltungssysteme (PVS) sind ein notwendiges Instrument für die Dokumentation und Abrechnung ambulant-ärztlicher Leistungen, welche auf den Vorgaben des SGB V (§ 294) und der Kassenärztlichen Bundesvereinigung beruhen. Um die gesetzlich vorgegebene Dokumentationspflicht nach SGB V (§ 294) sowie die Vorgaben der Kassenärztlichen Vereinigung und der Kassenärztlichen Bundesvereinigung zur Abrechnung von Leistungen umsetzen zu können, sind niedergelassene Ärztinnen und Ärzte auf die Verwendung von PVS angewiesen. Auf dem deutschen Markt waren im zweiten Quartal 2023 insgesamt 130 Softwareprodukte für PVS mit 118.630 Installationen verzeichnet. Hierbei gibt es enorme Unterschiede, mit Installationszahlen zwischen 1 und 11.233 [1]. Auch die Funktionalitäten und Anwendungsbereiche von PVS sind einer großen Bandbreite unterworfen. Für Nutzer:innen ist es daher nicht immer nachvollziehbar, welches PVS sie im Arbeitsalltag am besten unterstützen kann.
Im Zuge der politisch forcierten Digitalisierung der medizinischen Versorgung zeigen aktuelle Erhebungen, dass die Funktionalität der PVS insbesondere bei der Nutzung von Anwendungen der Telematik-Infrastruktur (TI) erhebliche Auswirkungen auf die Berufsausübung und die Berufszufriedenheit hat. Während eine fehlerfreie Funktionalität der TI-Anwendungen und des PVS die Arbeit im Praxisalltag erleichtert und Ressourcen schont, bewirkt eine hohe Fehleranfälligkeit eine Beeinträchtigung der medizinischen Versorgung [2], [3]. Auch in der internationalen Forschung wurde gezeigt, dass PVS mit geringer Usability und eingeschränkter Funktionalität bei Medizinerinnen und Medizinern nicht nur zu Zeit- und Ressourcenverlusten sowie Burnout führen können [4], [5], sondern auch das Risiko für Fehler während der Patientenversorgung erhöhen könnten [6], [7]. Es ist daher sowohl für die Nutzer:innen als auch für die Patient:innen von großer Relevanz, dass den Praxen performante PVS zur Verfügung stehen.
Usability, Nutzerzufriedenheit und Bereitschaft zum PVS-Wechsel
Usability und Nutzerzufriedenheit sind zwei wesentliche Konzepte für die Einschätzung der Angemessenheit und Anwendbarkeit eines Softwareprodukts [8], [9]. Der Begriff Usability beschreibt, inwieweit Nutzer:innen ein Produkt in einem bestimmten Kontext effektiv, effizient und zufriedenstellend verwenden können [10]. Die Nutzerzufriedenheit umfasst eine subjektive Bewertung der Qualität eines Produkts [9].
Für die Erfassung der Usability von Praxisverwaltungssystemen wurde empirisch bereits die System Usability Scale (SUS) genutzt [11], [12], auf dem deutschen Markt allerdings bisher nur hinsichtlich PVS der Augenheilkunde. Bisher gibt es nur eine validierte deutsche Version der SUS, welche jedoch laut Experteneinschätzung unnatürliche Formulierungen enthält, darüber hinaus liegen verschiedene nicht validierte SUS-Fragebögen für den deutschsprachigen Raum vor [13]. Der Net Promoter Score (NPS) erfasst die Zufriedenheit und wird häufig für die Bewertung von Softwareprodukten eingesetzt [9], auch wenn es an der Berechnung dieses Maßes Kritik gibt. So wird die Skalenbildung, auf welcher Personen mit Werte-Angaben von 0–6 als Detraktoren (das Produkt negativ bewertend) und Werte von 9–10 als Promotoren (das Produkt positiv bewertend) eingeordnet werden, kritisiert [14]. Dennoch stellt der NPS eine weitläufig akzeptierte Skala zur Nutzerzufriedenheit dar. Im Gegensatz zur Usability liegen gezielte quantitative Untersuchungen zur Nutzerfreundlichkeit von PVS in Deutschland bislang nicht vor, in zwei qualitativen Studien bei Hausärzt:innen wurden jedoch Unzufriedenheiten dokumentiert [15], [16].
Die Bereitschaft zum Wechsel eines Softwareprodukts wird von der Nutzererfahrung beeinflusst, wie am Beispiel von Enterprise-Resource-Planning-Systemen oder Online-Plattformen gezeigt wurde [17], [18]. Die Wechselbereitschaft beschreibt, inwiefern die Nutzer:innen aufgrund von beispielsweise geringer Usability oder Nutzerfreundlichkeit den Entschluss gefasst haben, ein Produkt auszutauschen.
Faktoren für negative Nutzererfahrungen
Als Faktoren für negative Nutzererfahrungen wurden in bisherigen qualitativen Befragungen deutscher Hausärzt:innen technische Grenzen der PVS sowie mangelnde Praktikabilität und unklare Funktionalitäten beschrieben [15], [16]. International wurde gezeigt, dass Langsamkeit sowie hohe Komplexität zur Unzufriedenheit beitragen können [19]. In unserer Studie werden erstmalig Fehlersituationen und Fehlerhäufigkeiten bei PVS in Deutschland erhoben, welche bei Softwareprodukten einen wesentlichen Faktor für die Nutzererfahrung darstellen [19]. Daneben können auch persönliche oder praxisbezogene Faktoren einen Einfluss haben, wie beispielsweise die Tendenz, dass mit ansteigendem Alter Produkte positiver bewertet werden [20] oder auch mit höherer Nutzungsdauer positivere Bewertungen auftreten können [21].
Forschungsfragen
Um die Usability und Nutzerzufriedenheit von PVS abbilden zu können, braucht es angemessene Messinstrumente. Zusätzlich ist es aus Anwendersicht relevant, zu erfahren, wie die PVS von Anderen eingeschätzt werden und welche Faktoren mit niedrigen beziehungsweise hohen Bewertungen bei Usability, Nutzerzufriedenheit und der Bereitschaft zum PVS-Wechsel zusammenhängen. Unsere Forschungsfragen lauteten daher:
A) Können SUS und NPS für die Bewertung von PVS valide und reliabel eingesetzt werden?
B) Welche Unterschiede gibt es hinsichtlich der PVS bei Usability, Nutzerzufriedenheit und der PVS-Wechselbereitschaft?
C) Welche Faktoren auf persönlicher, praxisbezogener und PVS-Fehler-assoziierter Ebene hängen mit Usability, Nutzerzufriedenheit und PVS-Wechselbereitschaft zusammen?
D) Wird die Nutzerzufriedenheit durch einen Wechsel des PVS vorhergesagt, und welche Rolle spielen die Usability des alten sowie des neuen PVS hierbei?
Methode
Studiendesign und Stichprobe
Im März/April 2024 wurden über einen Online-Survey im ambulanten Bereich niedergelassene und angestellt tätige Ärzt:innen und Psychotherapeut:innen sowie angestelltes Praxispersonal befragt. Die Befragung wurde als querschnittlicher Online-Survey mit Convenience Sampling [22] angelegt und über Homepages und hauseigene Magazine der Kassenärztlichen Vereinigungen (KVen) sowie der Kassenärztlichen Bundesvereinigung (KBV) beworben. Einige KVen führten Nachfassaktionen durch. Der Online-Fragebogen wurde mit LimeSurvey Version 5 erstellt und durchgeführt. Eine Mehrfachteilnahme wurde durch Cookie-Setzung verhindert.
Der Fragebogen wurde 2023 in der Region der Kassenärztlichen Vereinigung Berlin getestet und für die bundesweite Befragung angepasst [23]. Der aktualisierte Fragebogen bestand aus 23 Fragen für niedergelassene und angestellte Ärzt:innen und Psychotherapeut:innen sowie 24 Fragen für angestelltes Praxispersonal sowie für Teilnehmer:innen ohne Angabe der Profession. Der Fragebogen erfasste in acht Teilabschnitten demographische und praxisbezogene Angaben, Informationen zum PVS, Usability, Nutzerzufriedenheit, PVS-Wechselbereitschaft sowie Fehlersituationen und Fehlerhäufigkeiten. Weitere Fragen umfassten das Thema Telematik-Infrastruktur sowie Freitextangaben für offene Anmerkungen.
Maße
Personen- und Arztpraxis-bezogene Faktoren
Das Alter wurde in Jahren und das Geschlecht in drei Kategorien (männlich, weiblich, divers) erfasst. Die Geschlechtskategorie „divers“ wurde aufgrund geringer Häufigkeit bei geschlechtsbezogenen Analysen nicht ausgewertet. Zusätzlich floss die Berufsgruppe mit den Kategorien „Niedergelassene Ärzt:in“, „Angestellte Ärzt:in“, „Niedergelassene Psychotherapeut:in“, „Angestelltes Praxispersonal“ in die Analysen ein. Die Versorgungsebene wurde anhand der angegebenen Fachgruppe gebildet, mit den Werten „hausärztliche Versorgung“, „allgemeine fachärztliche Versorgung“, „spezialisierte fachärztliche Versorgung“ oder „gesonderte fachärztliche Versorgung“.
PVS, Nutzungsdauer
Aus einer Liste von 126 im Januar 2024 zugelassenen PVS konnten die Befragten das von ihnen verwendete PVS auswählen oder frei benennen. Die Freitextangaben wurden, wo möglich, den in der Liste vorhandenen PVS zugeordnet. Es wurde zudem erfragt, seit wie vielen Jahren das PVS genutzt wird.
Fehlersituationen und Fehlerhäufigkeiten
Die abgefragten Fehlersituationen bezogen sich auf verschiedene Funktionalitäten der PVS mit einem Schwerpunkt auf Telematik-Infrastruktur (TI)-Anwendungen. Der Frage „In welcher Situation treten Fehler/Probleme im PVS auf?“ folgte die Darstellung von elf möglichen Fehlersituationen, welche durch Ankreuzen ausgewählt werden konnten. Die Fehlersituationen finden sich im Fragebogen (Anhang 1 [Anh. 1]) unter der Nummer F1. Sechs Telematik-Infrastruktur-Facetten wurden zur Variable „Bei der Nutzung von Funktionalitäten der Telematik-Infrastruktur“ zusammengefasst.
Der vielfach untersuchte Negativity Bias besagt, dass negative Eindrücke eine Bewertung stärker beeinflussen als positive Eindrücke [24]. Zudem gibt es Hinweise darauf, dass das reine Fehlen von negativen Eindrücken nicht in positiven Bewertungen mündet [25]. Daher ist davon auszugehen, dass die Abwesenheit von Fehlern keinen signifikanten Einfluss auf SUS, NPS oder die PVS-Wechselbereitschaft von Nutzenden hat – weder im positiven noch im negativen Sinne. Hingegen ist zu erwarten, dass das Auftreten von Fehlern diese Faktoren negativ beeinflussen kann. Dabei betrachten wir die beiden Szenarien „Abwesenheit von Fehlern aufgrund einer fehlerfreien Funktionalität“ versus „Abwesenheit von Fehlern aufgrund der Nichtnutzung der Funktionalität“ als vergleichbar in ihrer Relevanz für die subjektive Bewertung von PVS. Aus diesem Grund wurde die Information, ob eine Funktionalität der Telematik-Infrastruktur genutzt wird, nicht bei der Operationalisierung der Variable „Bei der Nutzung von Funktionalitäten der Telematik-Infrastruktur“ berücksichtigt.
Wenn mindestens eine Fehlersituation indiziert wurde, so konnte die Fehlerhäufigkeit mithilfe der Antwortkategorien „Ein paar Mal im:“ „…Jahr“, „…Quartal“, „…Monat“ oder „…Woche“ oder „(Fast) jeden Tag“ spezifiziert werden. Wenn keine Fehler angeben wurden, so wurde dies der Häufigkeitsvariablen als „Keine Fehlersituationen“ zugeordnet. Die Fehlerhäufigkeit wurde anschließend in drei Kategorien zusammengefasst: „Seltener als einmal pro Quartal“, „Mehrmals pro Quartal oder Monat“ und „Mehrmals pro Woche oder täglich“.
Usability und Nutzerzufriedenheit
Die Usability wurde mit Hilfe des SUS-Werts erfasst, welcher aus zehn Einzel-Items generiert wird [26] und wurde unter Wahl der Übersetzung von Rummel erfragt [11]. Der genaue Wortlaut der Fragen ist im Fragebogen zu finden, welcher als Anhang 1 [Anh. 1] vorliegt (Fragenblock D1). Die Items wurden anhand einer fünfstufigen Antwortskala vom Likert-Typ „Stimme überhaupt nicht zu“ bis „Stimme voll und ganz zu“ eingeschätzt. Zur Analyse wurden die Antworten für nicht revers kodierte Items in eine Skala von 0 (stimme überhaupt nicht zu) bis 4 (stimme voll und ganz zu) umgewandelt, für revers kodierte Items wurden die Antworten zu einer Skala von 4 (stimme überhaupt nicht zu) bis 0 (stimme voll und ganz zu) rekodiert. Anschließend wurde der SUS-Wert bei allen Bewertungen, die mindestens acht Items beantwortet haben, gebildet. Dafür wurden die rekodierten Werte aufsummiert, und in den prozentualen Wert der möglichen Maximalsumme umgerechnet. Somit ergibt sich eine mögliche Spanne von 0 bis 100 für den SUS-Wert [26].
Die Nutzerzufriedenheit wurde anhand des NPS gemessen, welcher aus einem Item besteht und mit der Frage „Wie wahrscheinlich ist es, auf einer Skala von 0 bis 10, dass Sie das PVS einer Kollegin/einem Kollegen weiterempfehlen würden?“ nach van Riet und Kirsch erfasst wurde [9]. Die Antwortmöglichkeit wurde auf einer 11-stufigen Skala (von 0 bis 10) dargeboten. In der Produktforschung wird diesem NPS-Rohwert anschließend eine von drei Kategorisierungen zugewiesen: Detraktoren (NPS-Rohwert 0–6), Indifferente (NPS-Rohwert 7–8) sowie Promotoren (NPS 9–10). Anschließend kann auf Ebene des bewerteten Systems der prozentuale Überhang der Promotoren im Vergleich zu den Detraktoren errechnet werden. Dieser kann einen Wert zwischen –100 (keine Promotoren, ausschließlich Detraktoren) sowie +100 (ausschließlich Promotoren, keine Detraktoren) erreichen [9]. Bei einem Wert von 0 wäre der prozentuale Anteil von Promotoren versus Detraktoren gleich hoch. In den vorliegenden Analysen wurde bei Analysen auf Ebene der Bewertungen der NPS-Rohwert verwendet und auf Ebene der PVS der NPS einbezogen.
PVS-Wechselbereitschaft, Wechsel des PVS, Verbesserung oder Verschlechterung hinsichtlich Usability
Die PVS-Wechselbereitschaft wurde bei Ärzt:innen und Psychotherapeut:innen mit der Frage „Wären Sie bereit, jetzt oder in den nächsten Jahren, die Praxisverwaltungssoftware zu wechseln?“ erfasst. Die Antwortmöglichkeiten waren hier „Ja“, „Nein“ und „Auf die Entscheidung habe ich keinen Einfluss“. Bei angestelltem Praxispersonal wurde die Frage gestellt „Würden Sie, jetzt oder in den nächsten Jahren, einen Wechsel der Praxisverwaltungssoftware befürworten?“, mit den Antwortoptionen „Ja“, „Nein“ und „Neutral“. Um die Vergleichbarkeit zwischen den Berufsgruppen zu gewährleisten, wurden nur die Antworten „Ja“ oder „Nein“ ausgewertet.
Wenn die Frage nach der PVS-Wechselbereitschaft bejaht oder verneint wurde, so konnte angegeben werden, ob ein Wechsel des PVS in jüngerer Vergangenheit stattgefunden hat und welches PVS zuvor genutzt wurde. Aus dem über alle Bewertungen gewonnenem Mittelwert der Usability (SUS) eines PVS wurde anschließend eine Variable erstellt, welche indiziert, ob der Wechsel zu einem PVS mit im Durchschnitt höher oder geringer bewerteter Usability im Vergleich zum zuvor genutzten PVS stattfand. Die individuelle Einschätzung konnte nicht zum Vergleich herangezogen werden, da nur das aktuell verwendete PVS bewertet wurde, nicht das zuvor verwendete.
Analysen
Die Forschungsfrage A) nach der Validität von SUS und NPS wurde mittels Konstrukt- und Kriteriumsvalidierung sowie die Reliabilität (SUS) über ein Zusammenhangsmaß analysiert, welche im Standardwerk von Moosbrugger und Kelava zur Validierung ausgeführt werden [27].
Konstruktvalidität (SUS und NPS)
Die Konstruktvalidität des SUS-Werts sowie des NPS-Rohwerts in Bezug auf die Unterscheidungskraft hinsichtlich der PVS wurde anhand einer Varianzanalyse (ANOVA) geprüft. Hierbei wurde jeweils der SUS-Wert beziehungsweise der NPS-Rohwert als abhängige Variable und PVS mit mindestens 20 Bewertungen als unabhängige Variablen eingesetzt. Das Eta-Quadrat wurde gebildet, wobei ein Eta-Quadrat größer als 0,14 als großer Effekt verstanden wird, welcher eine zugrundeliegende Konstruktvalidität vermuten lässt [28]. Der aus zehn Items gebildete SUS-Wert wurde zudem faktorenanalytisch geprüft. Zunächst wurde über einen Scree-Plot die Anzahl der Faktoren exploriert, um diese anschließend in einer konfirmatorischen Faktorenanalyse zu bestätigen.
Kriteriumsvalidität (SUS und NPS)
Als externes Kriterium für den SUS-Wert und den NPS-Rohwert wurde die PVS-Wechselbereitschaft gewählt und diese jeweils in einer Korrelation den beiden Werten gegenübergestellt. Korrelationen ab 0,5 gelten in der psychometrischen Literatur als hoch und werden als starker Hinweis auf eine vorliegende Kriteriumsvalidität betrachtet [28].
Reliabilität (SUS)
Die Reliabilität konnte nur für SUS gemessen werden, da die Reliabilität von One-Item-Scores nur über Messwiederholungen geschätzt werden kann [29]. Über alle rekodierten Items der System Usability Scale wurde das Cronbach’s Alpha ermittelt, wobei ein Cronbach’s Alpha von über 0,9 für eine ausgezeichnete Reliabilität spricht [28].
Forschungsfrage B) wurde deskriptiv anhand der SUS-Werte, der NPS-Rohwerte, des NPS sowie der PVS-Wechselbereitschaft untersucht.
Für die Beantwortung der Forschungsfrage C) wurden für den SUS-Wert und den NPS-Rohwert lineare Regressionen, für die Wechselbereitschaft eine logistische Regression durchgeführt. Hierfür wurden persönliche Faktoren (Alter, Geschlecht, Berufsgruppe), praxisbezogene Faktoren (PVS-Nutzungsdauer, Versorgungsebene) sowie PVS-bezogene Faktoren (PVS-Fehlerhäufigkeiten und -Fehlersituationen) aufgenommen. Die optische Begutachtung des Zusammenhangs zwischen Nutzungsdauer und den abhängigen Variablen zeigt bis zu einer Dauer von 30 Jahren (N=10.082) einen anderen Trend als bei einer Nutzungsdauer von mehr als 30 Jahren (N=130). Daher wurde diese Variable segmentiert („0–30 Jahre“ sowie „31 und mehr Jahre“). Fehlende Werte wurden zeilenweise ausgeschlossen. Die Multikollinearität wurde anhand des Variance Inflation Factors überprüft [30].
Die Forschungsfrage D) wurde im Rahmen einer weiteren linearen Regressionsanalyse untersucht. Hier wurde der NPS-Rohwert über die Usability (SUS) des aktuell genutzten PVS, die Information, ob ein Wechsel des PVS in jüngerer Vergangenheit stattgefunden hat, und je eine Variable mit der Information, ob ein Wechsel zu einem PVS mit höherer oder mit geringerer Usability im Vergleich zum vorhergehenden PVS stattfand, vorhergesagt.
Die vorliegende Arbeit wurde anhand der STROBE-Richtlinien für Querschnittsstudien angefertigt [31].
Ergebnisse
Deskription
Insgesamt wurden 11.997 Fragebögen aufgerufen. Nach Ausschluss von 1.752 unvollständigen oder unplausiblen Eingaben verblieben 10.245 Datensätze mit Angaben zu 88 PVS mit bis zu 1.028 Bewertungen. Für PVS-Vergleichsanalysen wurden nur jene 39 PVS mit mindestens 20 Bewertungen berücksichtigt (N=10.040). In Tabelle 1 [Tab. 1] wird ersichtlich, dass die Berufsgruppe der niedergelassenen Ärzt:innen am häufigsten vertreten war (64,3%). Mit insgesamt 6.979 befragten Ärzt:innen liegt der Anteil an allen deutschlandweit ambulant tätigen Ärzt:innen bei 4,15% [32]. Die Anzahl der Bewertungen im prozentualen Vergleich zur Anzahl aller Installation liegt je nach PVS bei 2,8% bis 60,4%. Das Durchschnittsalter betrug 52,6 Jahre und 53,0% der Teilnehmenden waren weiblich. In insgesamt 917 Fällen (9,0%) wurde ein in jüngerer Vergangenheit stattgefundener Wechsel des PVS angegeben. In 773 Fällen konnte das zuvor genutzte PVS mit dem aktuell verwendeten PVS auf Ebene der Usability verglichen werden. Davon nutzten 91,6% nach dem Wechsel ein PVS, welches im Durchschnitt aller Bewertungen eine höhere Usability aufwies im Vergleich zum zuvor verwendeten PVS.
Forschungsfrage A) Validität von SUS/NPS, Reliabilität von SUS
Die Varianzanalyse (ANOVA) mit der Vorhersage des SUS-Werts durch die PVS ergab ein Eta-Quadrat von 0,25, beim NPS-Rohwert betrug dieses 0,32, was jeweils einer hohen Varianzaufklärung entspricht. Die Betrachtung der Eigenwerte über die zehn SUS-Items hinweg legte in der konfirmatorischen Faktorenanalyse eine Ein-Faktor-Lösung nahe. Der Chi-Quadrat-Wert geteilt durch die Freiheitsgrade ergibt 83,16, was nach Moosbrugger und Kelava [27] über dem akzeptablen Wert liegt. Allerdings zeigen die deskriptiven Maße mit einem Comparative Fit Index von 0,95 einen guten sowie bei einem Root Mean Square Error of Approximation von 0,09 einen akzeptablen Fit. Die standardisierten Faktorladungen lagen zwischen 0,55 und 0,85. Die Wechselbereitschaft als externes Kriterium zeigte in der Spearman-Korrelation mit dem SUS-Wert/NPS-Rohwert ein Rho=–0,58 (p<0,001)/–0,67 (p<0,001), beide Werte werden als gut erachtet. Das Cronbach’s Alpha der zehn SUS-Items liegt bei einem als sehr hohen Wert eingestuften 0,92.
Forschungsfrage B) Unterschiede der PVS hinsichtlich Usability, Nutzerzufriedenheit und Wechselbereitschaft
In Abbildung 1 [Abb. 1] werden die 39 PVS mit mindestens 20 Bewertungen hinsichtlich Anzahl der Bewertungen und prozentualer Anteil der Installationen, SUS-Wert, NPS-Rohwert, NPS und Wechselbereitschaft gezeigt. Beim SUS-Wert und NPS-Rohwert sind „tomedo“, „PegaMed“ und „T2med“ jeweils unter den drei bestbewerteten und „TURBOMED“, „QMED.PRAXIS“ und „CGM M1 PRO“ unter den drei am niedrigsten bewerteten PVS. Hinsichtlich des NPS bleiben die Bottom-3 unverändert, die Top-3 bestehen neben „tomedo“ und „T2med“ aus „Praxis-Programm (MediSoftware)“, direkt gefolgt von „PegaMed“. Die PVS-Wechselbereitschaft ist am höchsten bei „KiWi – KIND“, „QMED.PRAXIS“ und „TURBOMED“, am geringsten bei „tomedo“, „T2med“ und „FIDUS“ ausgeprägt. Ein Ausreißer ist beim PVS „KiWi – KIND Praxis EDV für Windows“ zu beobachten, welches eine sehr hohe Varianz beim NPS-Rohwert sowie eine ungewöhnlich hohe PVS-Wechselbereitschaft in Relation zu SUS und NPS besitzt.
Hinsichtlich der Varianz innerhalb der PVS bestehen große Unterschiede, welche jedoch nicht mit der Anzahl der abgegebenen Bewertungen zusammenzuhängen scheint. In einer post-hoc-Analyse zeigt die Mittelwerte-Verteilung in Relation zum Standardfehler keine Auffälligkeiten.
Forschungsfrage C) Mit Usability, Nutzerzufriedenheit und PVS-Wechselbereitschaft zusammenhängende Faktoren
Für den SUS-Wert, den NPS-Rohwert und die PVS-Wechselbereitschaft lag die aufgeklärte Varianz der Regressionsanalysen bei R2=0,31/0,29/0,17. Die Ergebnisse werden in Tabelle 2 [Tab. 2] dargestellt. Die Koeffizienten werden an dieser Stelle zur Vermeidung von Redundanzen nicht zusätzlich aufgeführt. Die Variance Inflation Factors waren in allen Regressionsanalysen kleiner als 10 und weisen daher nicht auf Multikollinearität hin.
Persönliche Faktoren
Das Alter zeigt eine positive Vorhersagekraft in Bezug auf den NPS-Rohwert, und eine negative für die PVS-Wechselbereitschaft. Frauen haben zudem eine signifikant höhere Wahrscheinlichkeit für einen positiven SUS-Wert sowie eine geringere PVS-Wechselbereitschaft. Angestellte Ärzt:innen und niedergelassene Psychotherapeut:innen haben signifikant geringere Werte für SUS und NPS und eine signifikant höhere PVS-Wechselbereitschaft im Vergleich zu niedergelassenen Ärzt:innen, während angestelltes Praxispersonal eine niedrigere PVS-Wechselbereitschaft aufweist, was jedoch nach einer Holm-Bonferroni-Korrektur nicht mehr signifikant ist.
Praxisbezogene Faktoren
Gegenüber der hausärztlichen Versorgung zeigen alle anderen Versorgungsebenen signifikant geringere Werte für SUS/NPS und bis auf die gesonderte fachärztliche Versorgung auch signifikant höhere Werte in der PVS-Wechselbereitschaft. Bei einer ansteigenden Nutzungsdauer bis zu 30 Jahren fällt die Bewertung im SUS/NPS signifikant geringer aus und die PVS-Wechselbereitschaft steigt signifikant. Ab einer Nutzungsdauer von 31 Jahren kehrt sich der Effekt für SUS/NPS um, bei der PVS-Wechselbereitschaft besteht kein signifikanter Zusammenhang mehr.
Fehlerhäufigkeit und Fehlersituationen
Bei höherer Fehlerhäufigkeit sind SUS und NPS signifikant niedriger, die PVS-Wechselbereitschaft ist höher. Signifikant negative Zusammenhänge mit SUS/NPS und signifikant positive Zusammenhänge mit der PVS-Wechselbereitschaft haben die Fehlersituationen „Nach Update des PVS“, „Scannen und Drucken“, „Ausstellen von Rezepten“, „Verbindungsaufbau mit dem Konnektor“, „Erstellung von Quartalsabrechnungen“, „Kodierung von Diagnosen“, „Signaturvorgang“, „Kalenderfunktion“ sowie „Bei der Telematiki-Ifrastruktur“. Der SUS-Wert wird zudem signifikant negativ vorhergesagt beim Vorhandensein der Fehlersituationen „Online-Terminvergabe“. Nach einer Holm-Bonferroni-Korrektur bleiben bis auf die Fehlersituationen „Verbindungsaufbau mit dem Konnektor“ (SUS, NPS und PVS-Wechselbereitschaft) sowie „Online-Terminvergabe“ (SUS), „Bei der Telematik-Infrastruktur“ (NPS) und „Beim Ausstellen von Rezepten“ (PVS-Wechselbereitschaft) alle benannten Variablen signifikant.
Forschungsfrage D) Einfluss des Wechsels und der Usability auf die Nutzerzufriedenheit
In Tabelle 3 [Tab. 3] wird gezeigt, dass neben der individuell eingeschätzten Usability auch der Wechsel des PVS selbst statistisch signifikant positiv mit der Nutzerzufriedenheit zusammenhängt. Ein Wechsel zu einem PVS mit geringerer Usability zeigt keinen signifikanten Effekt, während ein Wechsel zu einem PVS mit höher bewerteter Usability noch einen zusätzlichen positiven statistischen Einfluss auf die Nutzerzufriedenheit hat.
Diskussion
Forschungsfrage A) Validität von SUS und NPS, Reliabilität von SUS
Die hohe Unterscheidungskraft der PVS sowie die hohe Korrelation mit der PVS-Wechselbereitschaft lassen auf eine hohe Konstrukt- und Kriteriumsvalidität von sowohl SUS-Wert als auch NPS-Rohwert schließen. Die faktorielle Validität sowie die Reliabilität von SUS wurde durch eine konfirmatorische Faktorenanalyse und ein hohes Cronbach’s Alpha bestätigt. Die SUS wurde bisher zwar in der deutschen Übersetzung häufig verwendet, jedoch noch nicht für PVS validiert. Eine Validierungsstudie mit einer deutschen Übersetzung der SUS, welche sich von der hier verwendeten Übersetzung aufgrund der Formulierungen spezifisch für PVS unterscheidet, zeigte je nach bewerteter Software unterschiedliche Werte hinsichtlich faktorieller Validität und Reliabilität [33]. Validierungsstudien der englischen Fassung zeigten ebenfalls eine hohe Konstruktvalidität und Reliabilität [26], [34], [35]. Auch der NPS wurde noch nicht weitläufig validiert, zeigt aber in der empirischen Literatur Übereinstimmungen zur Verbraucherstimmung [14], was auf eine Validität der Skala hindeutet. Beide Skalen können demzufolge für die Erforschung von Usability und Nutzerzufriedenheit in Bezug auf PVS im deutschsprachigen Raum verwendet werden.
Forschungsfrage B) Unterschiede der PVS hinsichtlich Usability, Nutzerzufriedenheit und PVS-Wechselbereitschaft
Eine hohe Konsistenz ist zu beobachten: PVS, die hohe Werte im SUS-Wert aufweisen, zeigen ebenso hohe Werte beim NPS-Rohwert und beim NPS, und haben geringere Zustimmungswerte in Bezug auf die PVS-Wechselbereitschaft. Die Software „KiWi-KIND“, welche inkonsistente Werte erzielte, soll möglicherweise in naher Zukunft eingestellt werden (laut Freitextangaben der Bewertenden). Die auffälligen Ergebnisse bei Weiterempfehlung und Wechselbereitschaft werden sehr wahrscheinlich durch dieses Wissen beeinflusst. Die Rangfolgen der PVS in der vorliegenden Studie weisen ähnliche Reihenfolgen im Vergleich zu einer deutschen Usability-Befragung im augenärztlichen Bereich auf [36]. Insgesamt zeigen sich deutliche Unterschiede zwischen den PVS hinsichtlich Usability, Nutzerzufriedenheit und PVS-Wechselbereitschaft, was möglicherweise auf eine variierende Qualität von PVS hindeuten könnte.
In einer Studie, welche unter anderem einen Vergleich der Schnelligkeit, die einen Teil der Usability ausmacht, von fünf PVS vornahm, schnitten TURBOMED und medatixx gut ab [37], diese PVS zeigten in der vorliegenden Studie jedoch im Vergleich unter 39 PVS geringe (TURBOMED) beziehungsweise mittlere (medatixx) Zustimmungswerte bei Usability und Nutzerzufriedenheit. Das deutet daraufhin, dass die Schnelligkeit keinen alleinigen Faktor für die Nutzererfahrung darstellt. Darüber hinaus weist die soeben benannte Vergleichsstudie Limitationen auf: Es wurden nur sehr wenige PVS getestet und die Ergebnisse sind durch beispielsweise Software-Updates volatil. Vor diesem Hintergrund ist es entscheidend, dass die Stabilität der Telematik-Infrastruktur verbessert wird, um verlässlichere Ergebnisse zu erzielen. Mit dem geplanten Gesundheits-Digital-Agentur-Gesetz sollte unter anderem genau diese Stabilität der Telematik-Infrastruktur erhöht werden [38]. Eine Studie aus den USA fand jedoch auch nach einer Zertifizierungspflicht zunächst keine Verbesserungen in Bezug auf die Usability von elektronischen Dokumentationssystemen im Gesundheitswesen [39]. Die Kassenärztliche Bundesvereinigung fordert daher, den Abschluss einer Rahmenvereinbarung für PVS gesetzlich verpflichtend zu regeln, um eine höhere Praxistauglichkeit von PVS zu gewährleisten [40].
Forschungsfrage C) Mit Usability, Nutzerzufriedenheit und PVS-Wechselbereitschaft zusammenhängende Faktoren
Persönliche und praxisbezogene Faktoren spielen für die Varianzaufklärung in der Vorhersage von SUS/NPS und PVS-Wechselbereitschaft eine untergeordnete Rolle, wobei persönliche Faktoren in einer anderen Studie ähnlich ausfielen, in der ebenfalls Frauen sowie ältere Befragte die Tendenz zeigten, PVS im Vergleich zu Männern beziehungsweise jüngeren Befragten positiver zu bewerten [36]. Im Gegensatz dazu zeigen Fehlersituationen eine höhere Varianzaufklärung. Häufigere Fehlersituationen sagen geringere Usability und Nutzerzufriedenheit sowie eine höhere PVS-Wechselbereitschaft vorher. Im Gegensatz zu direkt PVS-bezogenen Fehlersituationen zeigten Fehler beim Update des Betriebssystems und beim Auslesen der eGK keinen statistischen Einfluss auf Usability, Nutzerzufriedenheit und PVS-Wechselbereitschaft, gleiches gilt für die Online-Terminvergabe bei Nutzerzufriedenheit/PVS-Wechselbereitschaft. Das könnte darauf schließen lassen, dass Nutzer:innen Fehler bei der Nutzung von Funktionalitäten der Telematik-Infrastruktur nicht pauschal dem verwendeten PVS zuschreiben und eine differenzierte Meinungsbildung vornehmen.
Zusammenfassend sind PVS-bezogene Fehlersituationen ein wesentlicher Einflussfaktor für Usability, Nutzerzufriedenheit und PVS-Wechselbereitschaft. Hier besteht ein entscheidender Ansatzpunkt für PVS-Hersteller, in Prüfung und Stabilität ihrer Softwareprodukte zu investieren.
Forschungsfrage D) Einfluss des Wechsels und der Usability auf die Nutzerzufriedenheit
Dass die Usability mit der Nutzerzufriedenheit zusammenhängt, konnte auch in anderen Studien gezeigt werden [41], [42]. Aber auch der Wechselvorgang scheint davon unabhängig eine gesteigerte Zufriedenheit mit sich zu bringen, was sich in empirischen Studien hinsichtlich App-Updates bestätigt [43]. Wenn der Wechsel zudem zu einem PVS mit höherer Usability hin stattfand, so steigerte das nochmals die Nutzerzufriedenheit, unabhängig von der individuell eingeschätzten Usability des PVS. Daher könnte das geplante Gesundheits-Digital-Agentur-Gesetz, das den Wechsel zu einem neuen PVS erleichtert, dazu beitragen, die Nutzerzufriedenheit weiter zu erhöhen und somit den Arbeitsalltag in Arztpraxen spürbar zu erleichtern [44].
Limitationen
Limitationen der Studie betreffen die Befragungsmethode, da nicht ausgeschlossen werden kann, dass auch nicht-angesprochene Personenkreise teilgenommen haben. Aufgrund der direkten Bewerbung beim Adressatenkreis und der hohen Teilnehmendenzahl wird das Manipulationsrisiko als gering eingeschätzt. Mehrfachteilnahmen wurden durch Cookie-Setzung verhindert. Die Repräsentativität der Aussagen ist mit einer Teilnahme von 4,93 Prozent der niedergelassenen und ambulant angestellten Ärztinnen und Ärzte beziehungsweise Psychotherapeutinnen und Psychotherapeuten sowie aufgrund des Convenience Samplings allerdings eingeschränkt. Zudem fand die Befragung kurz nach der bundesweit verpflichtenden Einführung von eRezepten statt, die von Störungen begleitet war und die Bewertungen mitbeeinflusst haben könnte. Es muss jedoch hervorgehoben werden, dass die Teilnehmer sich in einem breiten Spektrum mit differenzierten sowohl positiven wie negativen Bewertungen geäußert haben.
Forschungsausblick
Die Usability von PVS kann nicht nur die Berufszufriedenheit maßgeblich beeinflussen, sondern auch, wie schnell und weitreichend Telematik-Infrastruktur-Anwendungen in den Praxen ankommen und in der medizinischen Versorgung genutzt werden können. Häufige Funktionsstörungen können sich disruptiv auf die Qualität der Versorgung auswirken. Vor diesem Hintergrund sollten Daten zur PVS-Usability regelmäßig erhoben werden, um herstellerseitige Verbesserungen oder nutzerseitige PVS-Wechsel zu unterstützen. Diese könnten durch Usability-Messungen in Praxen oder Labortests ergänzt werden, um ergänzende Informationen zur Komplexität und Bearbeitungsdauer standardisierter Vorgänge (z.B. Anlegen eines Patienten, Ausstellen eine eRezepts, Befunddokumentation) zu erhalten. Das Zentralinstitut für die kassenärztliche Versorgung wird eine Umfrage zur Rahmenvereinbarung nach §332b SGB V durchführen, um weitere Schlüsselaspekte der Usability und Nutzerzufriedenheit von PVS zu identifizieren. Auch die Bereiche der Funktionalitäten sowie die systematische Erfassung von Fehlern und deren Auswirkungen sollten vertiefend untersucht werden. Gesundheitspolitisch ist zu erwägen, den Wechsel zu den anwenderfreundlichsten PVS finanziell zu fördern, sofern diese jeweils alle benötigten Funktionalitäten bereitstellen sowie die jeweils geforderten technischen Standards erfüllen.
Anmerkungen
Danksagung
Wir danken Frau Dr. Landgraf, Herrn Dr. Spies und Herrn Dr. Wiesenberg für wertvolle Hinweise bei der Erstellung des Fragebogens.
Interessenkonflikte
Die Autor:innen erklären, dass sie keine Interessenkonflikte in Zusammenhang mit diesem Artikel haben.
Literatur
- 1.
- Kassenärztliche Bundesvereinigung (KBV). Installationsstatistiken von Softwaresystemen. KBV - Installationsstatistiken von Softwaresystemen. 2023 [zugegriffen 6. Juni 2024]. Verfügbar unter: https://www.kbv.de/html/6989.php
- 2.
- Nastansky A, Leibner M. Analyse der Arbeitszufriedenheit von Praxisinhabern in der vertragsärztlichen Versorgung. 2023. Verfügbar unter: https://www.zi.de/fileadmin/Downloads/Service/Publikationen/Zi-Paper_28-2023_Arbeitszufriedenheit.pdf
- 3.
- Schmied J, Baer C, Zschille M, Gierga A, Oettel J, Leibner M. #PraxenKollaps: Repräsentative Befragungsergebnisse zur Lage in Praxen – Ergebnisse auf Bundesebene. 2023 [zugegriffen 21. Juni 2024]. Verfügbar unter: https://www.zi.de/fileadmin/Downloads/Service/Medien/MI/Langfassung-Befragungsergebnisse_08-12-23.pdf
- 4.
- Melnick ER, Dyrbye LN, Sinsky CA, Trockel M, West CP, Nedelec L, Tutty MA, Shanafelt T. The Association Between Perceived Electronic Health Record Usability and Professional Burnout Among US Physicians. Mayo Clin Proc. 2020 Mar;95(3):476-87. DOI: 10.1016/j.mayocp.2019.09.024
- 5.
- Li C, Parpia C, Sriharan A, Keefe DT. Electronic medical record-related burnout in healthcare providers: a scoping review of outcomes and interventions. BMJ Open. 2022 Aug 19;12(8):e060865. DOI: 10.1136/bmjopen-2022-060865
- 6.
- Shneiderman B. Tragic errors: usability and electronic health records. Interactions. 2011;18(6):60-3.
DOI: 10.1145/2029976.2029992
- 7.
- Hautamäki E, Kinnunen U-M, Palojoki S. Health information systems’ usability-related use errors in patient safety incidents. Finnish Journal of eHealth and eWelfare. 2017;9(1):6-17.
DOI: 10.23996/fjhw.60763
- 8.
- Hahn GM. Usability-Forschung. In: Naderer G, Balzer E, Hrsg. Qualitative Marktforschung in Theorie und Praxis. Wiesbaden: Gabler; 2011. p. 505-18.
- 9.
- Van Riet J, Kirsch M. Konzeption und Nutzung des Net Promoter® Score. In: Greve G, Benning-Rohnke E, Hrsg. Kundenorientierte Unternehmensführung: Konzept und Anwendung des Net Promoter® Score in der Praxis. Wiesbaden: Gabler; 2010. p. 35-83.
- 10.
- Bevan N, Carter J, Harker S. ISO 9241-11 Revised: What Have We Learnt About Usability Since 1998? In: Kurosu M, Hrsg. Human-Computer Interaction: Design and Evaluation. Cham: Springer; 2015. (Lecture Notes in Computer Science).
- 11.
- Rummel B. System Usability Scale – jetzt auch auf Deutsch. SAP Community; 2016 [zugegriffen 6. Juni 2024]. Verfügbar unter: https://community.sap.com/t5/additional-blogs-by-sap/system-usability-scale-jetzt-auch-auf-deutsch/ba-p/13487686
- 12.
- Brooke J. SUS: A quick and dirty usability scale. In: Thomas B, Weerdmeester B, McClelland IL, Jordan PW, Hrsg. Usability Evaluation In Industry. London: Taylor & Francis; 1996. p. 189-94.
- 13.
- Brix TJ, Janssen A, Storck M, Varghese J. Comparison of German Translations of the System Usability Scale – Which to Take? In: Röhrig R, Grabe N, Haag M, Hübner U, Sax U, Schmidt CO, Sedlmayr M, Zapf A, Hrsg. German Medical Data Sciences 2023 – Science Close to People. Proceedings of the 68th Annual Meeting of the German Association of Medical Informatics, Biometry, and Epidemiology e.V. (gmds); 2023; Heilbronn, Germany. IOS Press; 2023. p. 96-101. (Studies in Health Technology and Informatics). DOI: 10.3233/SHTI230699
- 14.
- Lewis C, Mehmet M: Does the NPS® reflect consumer sentiment? A qualitative examination of the NPS using a sentiment analysis approach. International Journal of Market Research. 2020;62(1):9-17. DOI: 10.1177/1470785319863623
- 15.
- Richter M, Fleßa S, Chenot JF, Weckmann G, Haase A. Dokumentation in der Hausarztpraxis – eine qualitative Studie [Documentation in Family Practice – a Qualitative Study]. Zeitschrift für Allgemeinmedizin. 2018;94(5):223-8.
DOI: 10.3238/zfa.2018.0223-0228
- 16.
- Kersting C, Herwig A, Weltermann B. Optimierungsbedarf bei Praxisverwaltungssystemen: Ergebnisse einer Fokusgruppe mit Hausärzten und MFA. Zeitschrift für Allgemeinmedizin. 2018;94(2):76-80. DOI: 10.3238/zfa.2018.0076-0080
- 17.
- Jo H, Park DH. A study of user switching intention for ERP systems based on push-pull-mooring model: Focusing on the important role of information quality for users. PLoS One. 2023 Nov 9;18(11):e0289483. DOI: 10.1371/journal.pone.0289483
- 18.
- Xu H, Wang J, Tai Z, Lin HC. Empirical Study on the Factors Affecting User Switching Behavior of Online Learning Platform Based on Push-Pull-Mooring Theory. Sustainability. 2021;13(13):7087. DOI: 10.3390/su13137087
- 19.
- Kaipio J, Lääveri T, Hyppönen H, Vainiomäki S, Reponen J, Kushniruk A, Borycki E, Vänskä J. Usability problems do not heal by themselves: National survey on physicians' experiences with EHRs in Finland. Int J Med Inform. 2017 Jan;97:266-81.
DOI: 10.1016/j.ijmedinf.2016.10.010
- 20.
- Drolet A, Williams P, Lau-Gesk L. Age-related differences in responses to affective vs. rational ads for hedonic vs. utilitarian products. Marketing Letters. 2007;18(4):211-21.
DOI: 10.1007/s11002-007-9016-z
- 21.
- Zhu H, Tu R, Feng W, Xu J. The impacts of evaluation duration and product types on review extremity. Online Information Review. 2018;43(5):694-709.
- 22.
- Kaptein M, Van Den Heuvel E. Statistics for Data Scientists: An Introduction to Probability, Statistics, and Data Analysis. Cham: Springer International Publishing; 2022. (Undergraduate Topics in Computer Science).
- 23.
- Nieporte T, Carnarius S, Witt K, Becker D, Czihal T, von Stillfried D, Spies KP, Landgraf I. Diagnose: Rhythmusstörungen in Praxisverwaltungssystemen. Berliner Ärzt:innen. 2023;(6):28-30. Verfügbar unter: https://magazin.aekb.de/alltag-praxis/diagnose-rhythmusstoerungen-in-praxisverwaltungssystemen
- 24.
- Rozin P, Royzman EB. Negativity Bias, Negativity Dominance, and Contagion. Pers Soc Psychol Rev. 2001;5(4):296-320.
DOI: 10.1207/S15327957PSPR0504_2
- 25.
- Baumeister RF, Bratslavsky E, Finkenauer C, Vohs KD. Bad is Stronger than Good. Review of General Psychology. 2001;5(4):323-70. DOI: 10.1037/1089-2680.5.4.323
- 26.
- Bangor A, Kortum PT, Miller JT. An Empirical Evaluation of the System Usability Scale. International Journal of Human-Computer Interaction. 2008;24(6):574-94.
DOI: 10.1080/10447310802205776
- 27.
- Moosbrugger H, Kelava A. Testtheorie und Fragebogenkonstruktion. 2. aktualisierte und überarbeitete Aufl. Berlin: Springer; 2012. (Springer-Lehrbuch).
- 28.
- Cohen RJ, Swerdlik ME, Sturman ED. Psychological testing and assessment: an introduction to tests and measurement. 8. Aufl. New York, NY: McGraw-Hill; 2013. (McGraw Hill Education).
- 29.
- Crocker LM, Algina J. Introduction To Classical And Modern Test Theory. Mason, OH: Cengage Learning; 2008.
- 30.
- McElreath R. Statistical rethinking: a Bayesian course with examples in R and Stan. 2. Aufl. Boca Raton: CRC Press; 2020. (Chapman & Hall/CRC texts in statistical science series).
- 31.
- von Elm E, Altman DG, Egger M, Pocock SJ, Gøtzsche PC, Vandenbroucke JP; STROBE Initiative. The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) statement: guidelines for reporting observational studies.
J Clin Epidemiol. 2008 Apr;61(4):344-9.
DOI: 10.1016/j.jclinepi.2007.11.008
- 32.
- Bundesministerium für Gesundheit (BMG). Ärztliche Versorgung. [zugegriffen 2. November 2024]. Verfügbar unter: https://www.bundesgesundheitsministerium.de/themen/krankenversicherung/ambulante-versorgung/aerztliche-versorgung.html
- 33.
- Gao M, Kortum P, Oswald FL. Multi-Language Toolkit for the System Usability Scale. International Journal of Human-Computer Interaction. 2020;36:1883-901.
- 34.
- Sauro J, Lewis JR. Quantifying the user experience: practical statistics for user research. 2. Aufl. Cambridge, MA: Elsevier/Morgan Kaufmann; 2016.
- 35.
- Peres SC, Pham T, Phillips R. Validation of the System Usability Scale (SUS): SUS in the Wild. Proceedings of the Human Factors and Ergonomics Society Annual Meeting. 2013;57(1):192-6. DOI: 10.1177/1541931213571043
- 36.
- Fuhrmann L, Schargus M. National survey of user-reported usability of electronic medical record software in ophthalmology in Germany. Graefes Arch Clin Exp Ophthalmol. 2023 Nov;261(11):3325-34. DOI: 10.1007/s00417-023-06139-5
- 37.
- Balaz P, Balaz V. Vergleich der Schnelligkeit und Effizienz der Praxisverwaltungssysteme: Eine neue Testmethode. Zeitschrift für Allgemeinmedizin. 2023;99:415-21.
- 38.
- KBV: Gemischte Bewertung des Gesundheits-Digital-Agentur-Gesetzes. Deutsches Ärzteblatt News. 6. Juni 2024 [zugegriffen 12. Juni 2024]. Verfügbar unter: https://www.aerzteblatt.de/nachrichten/151976/KBV-Gemischte-Bewertung-des-Gesundheits-Digital-Agentur-Gesetzes
- 39.
- Gomes KM, Ratwani RM. Evaluating Improvements and Shortcomings in Clinician Satisfaction With Electronic Health Record Usability. JAMA Netw Open. 2019 Dec 2;2(12):e1916651. DOI: 10.1001/jamanetworkopen.2019.16651
- 40.
- Kassenärztliche Bundesvereinigung (KBV). Gesetz zur Schaffung einer Digitalagentur für Gesundheit – Gesundheits-Digitalagentur-Gesetz (GDAG). [zugegriffen 12. Juni 2024]. Verfügbar unter: https://www.kbv.de/html/69921.php
- 41.
- Eklund R, Eisma MC, Boelen PA, Arnberg FK, Sveen J. The self-help app My Grief: Bereaved parents’ experiences of helpfulness, satisfaction and usability. Internet Interv. 2024 Jan 17;35:100712. DOI: 10.1016/j.invent.2024.100712
- 42.
- Belanche D, Casaló LV, Guinalíu M. Website usability, consumer satisfaction and the intention to use a website: The moderating effect of perceived risk. Journal of Retailing and Consumer Services. 2012;19:124-32.
- 43.
- Kumar A, Bala PK, Chakraborty S, Behera RK. Exploring antecedents impacting user satisfaction with voice assistant app: A text mining-based analysis on Alexa services. Journal of Retailing and Consumer Services. 2024;76(12):103586.
DOI: 10.1016/j.jretconser.2023.103586
- 44.
- Umbau der Gematik beschlossen, PVS-Wechsel soll leichter werden. Deutsches Ärzteblatt News. 17. Juli 2024 [zugegriffen 22. Juli 2024]. Verfügbar unter: https://www.aerzteblatt.de/nachrichten/152954/Umbau-der-Gematik-beschlossen-PVS-Wechsel-soll-leichter-werden