gms | German Medical Science

The aim of health technology assessment (HTA) is to support decision-making in the health sector by assessing health technologies systematically under medical, economic, social, and ethical aspects. In order to do so, two preconditions have to be fulfilled: The reports have to meet qualitative standards and need to have an actual impact on the decision-making process.

The present study aims at identifying ways of enabling the impact of HTA on decision-making processes in the German health sector. Therefore, three research questions are formulated:
(1) Can methods be identified that allow a valid assessment of the impact of HTA reports on the decision-making processes?
(2) Has been shown an impact of HTA reports on decision-making processes in the health sector?
(3) Which are the factors responsible for a high or a low impact of HTA?

The authors include studies that present a methodology to assess the impact of HTA, that investigate the impact of HTA on decision-making processes, or study the factors that might enhance or hinder the impact. Reports that only compile enhancing or hindering factors without being backed up by study results are not included. Conference abstracts are excluded, as they do not provide enough details for critical analysis.

The writers search the following databases: BIOSIS Previews, CINAHL, Current Contents, EMBASE, Sociological Abstracts, PsycInfo, MEDLINE, Science Citation Index, Social Science Citation Index und Arts and Humanities (Web of Science), Cochrane Database of Systematic Reviews, Cochrane Controlled Trials Registry, DARE (Database of Abstracts of Reviews of Effectiveness), NEED (NHS Economic Evaluation Database), HTA (NHS Health Technology Assessment), and the ISTAHC Database. Lists of publications and projects of the European, North American, Canadian, and Australian HTA agencies, as well as the bibliography of the identified articles and documents were looked through. The authors effect a handsearch of the International Journal of Technology Assessment in Health Care and contact 64 HTA agencies by a letter, requesting information on their investigations that might not have been published.

For the first research question the writers extract the data by using a rather open approach because they expect a limited degree of standardisation in methods investigating the impact of HTA. To answer the second question the authors extract the following parameters: the proportion of HTA reports that have an impact, the degree of impact, as well as its kind. From the qualitative studies that employ a holistic approach the position and the relative weight of HTA reports as compared to other factors are to be identified. To respond to the third question the factors that enhance or hindered the impact of HTA must have been drawn from the data and explicitly name by the authors. Also we assess the evidence for the second and third question.

Abstracts from about 5,000 articles are read. 57 articles are ordered as full text, 43 are finally included and 14 excluded.

(1) In eight studies interviews with decision-makers are used to elicit the information, in three works document analysis is employed, and in six studies the results relies only on the observations and interpretations of the authors. One study analyses service data and in nine studies more than one of the methods listed above are employed. Only in two trials pre-defined indicators are used and only in one study a prospective design is chosen.

(2) In nine studies the impact on a population is analysed: Seven trials find that more than 70% of the reports have an impact on the decision-making process, in one study 50% of the reports have none or minimal impact and in one study on the impact of 50 short HTA reports it is found that they contribute valuable information but do not influence decisions. Studies that separate evaluations of the impact on health policy and on clinical practise patterns find less impact on clinical practise than on health policy. However, because of methodological flaws the evidence base for these results is rather limited. Most of the conclusions presented in the publications are based on the appraisal of the authors who are often related to the program of which impact has been "evaluated". There are also findings from qualitative in-depth studies that protect us against assuming always a causal relationship, when a coincidence between recommendations of a HTA report and health policy is found. No conclusions can be drawn regarding a possible relationship between the health system (tax-based/social insurance/others) and the degree of impact of HTA.

(3)The writers divide the factors that are identified as modifying the degree of impact of the HTA reports in two groups: a) environment or context factors which are not directly related to the HTA report and cannot be influenced by it and b) factors that are connected to the developing process, the subject, the format, the content, or the quality of the reports.

a) Among the contextual factors that enhance the impact of HTA reports are a felt need for cost control in the health sector and a "culture" of consideration of evidence-based information in a health system. Among the restraining factors are a high degree of influence by partisan groups, a substantial leeway for making decisions at the operational level, a lack of competence in interpreting HTA reports under the decision-makers, rapidly changing political situations, changes of personnel in the HTA providing agency, and the absence of a central institution what gathers information.

b) In the second group the following factors are considered as promoting the impact of HTA: the HTA providing agency should have a reputation of being independent, neutral and scientifically proven, it is regionally embedded, decision-makers and other stakeholders are participating in the process of producing a HTA report, and a congruence of decision-makers and clients or decision-makers and users of the technology. The probability of an impact is also higher for reports on new or cost-relevant technologies than for reports on established and little cost-relevant technologies. If a decision is related to an emotionally ambivalent topic the impact is expected to be low. If it is a fundamental decision in favour or against a technology the impact of an HTA-report is expected to be lower than if the decision is on mere procedural issues. Other factors are the timelines and the sufficient financing of the reports. Authors advise to consider and include the context (among other things ethical and social aspects) in the report. The adoption of the conclusions is also more likely if the report contains clear-cut recommendations and if guidance for the implementation of the recommendations is given. In one study a consensus conference seems to have contributed substantially to a better dissemination of the recommendations. In another study the compact format of short HTA reports is reported as useful by the recipients.

1.

There is little experience with study designs or methods that allow a valid assessment of the impact of HTA reports on the decision-making process in the health sector. However, some approaches, such as the use of pre-defined indicators, are identified that should be pursued and elaborated in further studies.

2.

Due to the lack of a developed methodology only limited conclusions related to the impact of HTA reports can be drawn. Among the studies that show a relevant impact are the methodologically more elaborated investigations. However, results from qualitative studies protect against assuming a causal relationship where a mere coincidence between the recommendations from an HTA report and health policy are identified. In order to produce evidence-based conclusions regarding the impact of HTA reports, the use of validated indicators will be needed. Study design should also aim at looking for other influencing factors.

3.

None of the studies explicitly aimed at examining the role of the factors that might be responsible for a low or high impact of the HTA reports. The non-systematic retrospective analyses do not allow for reliable conclusions regarding the relevance of these factors. Therefore the factors identified here should only serve for hypothesis formation.

4.

On the basis of these studies it is not possible to give evidence-based recommendations on how to increase the impact of HTA on decision-making in Germany. Instead a concept for evaluation should be developed that combines quantitative and qualitative methods and considers the following lead questions:
(1) What kind of impact should be measured?
(2) Which are the target groups and at which level of the health system are they located?
(3) Which are the outcome parameters and how can they be measured?
(4) Which are the potential impact enhancing and limiting factors?

HTA ist eine Methodik zur systematischen und zur transparenten Bewertung medizinischer Verfahren und Technologien unter medizinischen, ökonomischen, sozialen sowie ethischen Aspekten mit dem Ziel, die dazu gehörigen Entscheidungsprozesse zu unterstützen. Um dieser Funktion gerecht zu werden, müssen zwei Bedingungen erfüllt sein: Die HTA-Berichte müssen qualitativen Standards entsprechen und tatsächlich einen Einfluss auf die Entscheidungsfindung ausüben.

Ziel dieser Untersuchung ist es herauszufinden, wie der Einfluss von HTA-Berichten auf gesundheitspolitische Entscheidungsprozesse in Deutschland ermöglicht werden kann. Die Beantwortung dieser Frage ist in der vorliegenden Arbeit in drei Felder unterteilt:
(1) Gibt es Methoden, die es erlauben, den Einfluss von HTA-Berichten auf die Entscheidungsfindung valide zu bestimmen?
(2) Lässt sich ein Einfluss von HTA-Berichten auf die gesundheitspolitische Entscheidungsfindung zeigen?
(3) Welche Faktoren sind für einen hohen bzw. einen niedrigen Einfluss verantwortlich?

Eingeschlossen werden Dokumente, die Methoden zur Untersuchung des Einflusses von HTA-Berichten vorstellen und Studien, die den Einfluss von HTA-Berichten auf Entscheidungsprozesse zum Gegenstand haben oder Faktoren untersuchen, die den Einfluss von HTA-Berichten stärken oder schwächen. Publikationen, die diese Faktoren lediglich auflisten, ohne sich auf empirische Daten zu stützen, werden ausgeschlossen. Das gilt auch für Zusammenfassungen von Konferenzen, da die dort enthaltenen Informationen für eine differenzierte Analyse nicht ausreichen.

Für den Bericht werden die Datenbanken BIOSIS Previews, CINAHL, Current Contents, EMBASE, Sociological Abstracts und PsycInfo über OVID, MEDLINE (WebSpirs MEDLINE), Science Citation Index, Social Science Citation Index und Arts and Humanities (Web of Science), Cochrane Database of Systematic Reviews, Cochrane Controlled Trials Registry, DARE (Database of Abstracts of Reviews of Effectiveness), NEED (N(National)H (Health)S(Service) Economic Evaluation Database), HTA (NHS Health Technology Assessment) und die ISTAHC Database durchsucht. Darüberhinaus werden die Publikations- und Projektlisten der europäischen, der US-amerikanischen, der kanadischen sowie der australischen HTA-Institutionen und die Referenzlisten der identifizierten Zeitschriftenaufsätze sowie Übersichtsarbeiten durchgesehen. Eine Handsuche erfolgt in der Zeitschrift International Journal of Technology Assessment in Health Care. 64 HTA-Institutionen werden angeschrieben, um ggf. unveröffentlichte Untersuchungen zu erfassen.

Bei der Datenextraktion wird für die erste Forschungsfrage eine offene Herangehensweise gewählt, da bei Studien zu diesem Untersuchungsgegenstand ein geringer Grad an Standardisierung zu erwarten ist. Für die zweite Frage werden folgende Parameter extrahiert: Der Anteil der HTA-Berichte, die Einfluss ausüben, die Stärke des Einflusses sowie die seine Art. Bei den qualitativen, holistisch angelegten Untersuchungen sollen die Position und der Stellenwert der HTA-Berichte im Entscheidungsprozess in Relation zu anderen Einflussfaktoren ermittelt werden. Zur Beantwortung der dritten Frage sollen den Einfluss von HTA-Berichten modifizierende Faktoren extrahiert werden. Bei den beiden letztgenannten Fragen wird auch die Evidenz, auf der die Angaben beruhen, bewertet.

Insgesamt werden die Zusammenfassungen von ca. 5.000 Artikeln durchgesehen. Von diesen werden 57 Artikel aufgrund ihrer Zusammenfassung bestellt. Davon werden 43 ein- und 14 ausgeschlossen.

Zu 1): In acht Studien werden die Daten durch schriftliche oder mündliche Befragungen von Entscheidungsträgern erhoben, in drei Studien werden Dokumente ausgewertet und bei sechs Untersuchungen beruhen die Angaben ausschließlich auf den Beobachtungen sowie den Einschätzungen der jeweiligen Autoren. In einem Fall wird der Einfluss anhand von Versorgungsdaten bestimmt. Neun Studien setzen mehr als eine der zuvor genannten Methoden ein. Nur in zwei Studien werden prädefinierte Indikatoren für die Bestimmung des Einflusses verwendet. Lediglich eine Studie wendet ein prospektives Design an.

Zu 2): In sieben Studien, in denen eine - innerhalb eines definierten Rahmens - vollständige Gruppe von HTA-Berichten hinsichtlich ihres Einflusses untersucht wird, wird konstatiert, dass die Berichte in etwa 70% der Fälle Einfluss auf die Entscheidungsprozesse ausgeübt haben. Bei einer weiteren Arbeit dieser Art hat die Hälfte der Berichte geringen oder keinen Einfluss auf die Entscheidungsprozesse. In einer anderen Untersuchung wird 50 Kurzberichten attestiert, dass sie zwar nützliche Informationen liefern, aber nicht in die Entscheidungen eingeflossen sind. In Untersuchungen die zwischen dem Einfluss auf gesundheitspolitische Entscheidungen und dem auf die klinische Praxis unterscheiden, zeigt sich, dass der Einfluss auf die Praxis deutlich geringer ist. Über einen möglichen Zusammenhang zwischen dem Gesundheitssystem (Steuerfinanziert/Sozialversicherung/Andere) und der Stärke, bzw. der Art des Einflusses von HTA-Berichten, lassen sich anhand der vorliegenden Studien keine Aussagen treffen. Die diesen Ergebnissen zugrunde liegende Evidenz ist als niedrig einzuschätzen, da sie in den meisten Untersuchungen im Wesentlichen auf den Angaben der Autoren beruht, die nicht selten für das evaluierte Programm tätig sind oder waren. Die Ergebnisse der qualitativen Studien warnen davor von einer inhaltlichen Übereinstimmung zwischen Empfehlungen von HTA-Berichten und nachfolgenden Entscheidungen auf einen kausalen Zusammenhang zu schließen.

Zu 3): Die den Einfluss der HTA-Berichte modifizierenden Faktoren werden in zwei Gruppen eingeteilt: a) Umgebungs-/Kontextfaktoren, die nicht spezifisch für den HTA-Bericht sind und durch diesen nicht beeinflusst werden können, und b) Faktoren, die den Entstehungsprozess, den Gegenstand, das Format, den Inhalt oder die Qualität der Berichte betreffen.

(a) Als Umgebungsfaktoren, die zu einem höheren Einfluss von HTA-Berichten führen, werden die empfundene Notwendigkeit zur Kostenkontrolle im Gesundheitswesen und eine Kultur der Berücksichtigung von evidenzbasierter Information zur Entscheidungsfindung genannt. Zu den hemmenden Faktoren zählen ein hoher Grad an Einfluss durch Interessensgruppen, ein großer Entscheidungsspielraum auf der operationalen Ebene, fehlende Kompetenz im Umgang mit HTA-Berichten bei den Entscheidungsträgern, wechselhafte politische Situationen, personelle Wechsel bei der HTA-erstellenden Agentur, langwierige Entscheidungsprozesse sowie das Fehlen einer zentralen Institution, bei der die Informationen zusammenlaufen, bzw. zentral abgerufen werden können.

(b) In der zweiten Gruppe von Faktoren gelten als den Einfluss fördernd eine Reputation der erstellenden Institution als unabhängig, neutral und wissenschaftlich, eine Beteiligung von Entscheidungsträgern und anderen Interessenvertretern bei der Erstellung der Berichte, eine regionale Verankerung der Agentur sowie eine Kongruenz von Entscheidungsträgern und Auftraggebern, bzw. Entscheidungsträgern und Anwendern der Technologie. Lt. der Studien sei die Wahrscheinlichkeit einer Einflussnahme bei Berichten zu neuen oder kostenrelevanten Technologien höher als bei etablierten und wenig kostenrelevanten. Stehen Entscheidungen zu emotional geprägten Themen an, sei ein geringer Einfluss von HTA-Berichten zu erwarten. Bei grundsätzlichen Erwägungen für oder gegen den Einsatz einer Technologie sei der Einfluss von HTA-Berichten niedriger, als wenn es um reine Verfahrensfragen geht. Als weitere Faktoren werden eine ausreichende Finanzierung und eine zeitgerechte Bearbeitung der Berichte angeführt. Wichtig sei es den Kontext (u.a. ethische und soziale Aspekte) in den Bericht einzubeziehen. Zur besseren Anwendbarkeit werden unzweideutige Empfehlungen, möglichst mit einer Anleitung zu deren praktischer Umsetzung, gefordert. In einem Fall hat eine Konsensuskonferenz zu einer besseren Dissemination der Empfehlungen beigetragen. Das kompakte Format von Kurz-HTA-Berichten wird von den Lesern in einer Untersuchung als positiv bewertet.

Bei der Einschätzung der Validität der genannten Faktoren ist zu berücksichtigen, dass ihre Bedeutung in keiner der Studien systematisch und prospektiv untersucht wird.

1.

Es gibt nur wenige Erfahrung mit Methoden oder Studiendesigns, die eine valide Bewertung des Einflusses von HTA-Berichten auf die gesundheitspolitische Entscheidungsfindung ermöglichen. Es finden sich jedoch einige Ansätze, wie z.B. der Einsatz von prädefinierten Indikatoren, die weiter verfolgt und entwickelt werden können.

2.

Aufgrund der unzureichenden Methodik der meisten Studien können nur vorsichtige Aussagen über den Einfluss von HTA-Berichten getroffen werden. Die beiden methodisch aufwendigeren quantitativen Untersuchungen weisen jedoch einen substantiellen Einfluss von HTA-Berichten auf die Entscheidungsfindung nach. Die Ergebnisse der qualitativen Studien warnen aber davor, von der inhaltlichen Übereinstimmung zwischen Empfehlungen aus HTA-Berichten und nachfolgenden Entscheidungen regelmäßig auf einen kausalen Zusammenhang zu schließen. Um evidenzbasierte Schlussfolgerungen über den Einfluss von HTA-Berichten ziehen zu können, sei es notwendig, hinsichtlich ihrer Validität überprüfte Indikatoren einzusetzen und die Untersuchungen so zu gestalten, dass für Einflüsse anderer Faktoren kontrolliert werden kann.

3.

Keine der Studien beschäftigte sich systematisch und explizit mit der Fragestellung nach den Faktoren, die für einen hohen bzw. niedrigen Einfluss verantwortlich sind. Die unsystematischen "Mit-Betrachtungen" dieser Frage in den Untersuchungen lassen keine validen Rückschlüsse zu. Die in den Berichten genannten Faktoren können somit lediglich zur Hypothesenbildung für weiterführende Untersuchungen dienen.

4.

Auf die Frage, wie man den Einfluss von HTA-Berichten in Deutschland ermöglichen kann, lassen sich auf Grundlage der hier ausgewerteten Studien keine evidenzbasierten Antworten geben. Stattdessen soll ein Evaluationskonzept entwickelt werden, das quantitative und qualitative Methoden miteinander verbindet und folgenden Leitfragen nachgeht:
(1) Welche Art von Einfluss soll ausgeübt und gemessen werden?
(2) Welche sind die Zielgruppen und auf welcher Ebene des Gesundheitssystems befinden sie sich?
(3) Welche sind die Zielparameter und wie lassen sie sich messen?
(4) Welche den Einfluss modifizierenden Faktoren sind relevant?