gms | German Medical Science

GMS Health Technology Assessment

Deutsche Agentur für Health Technology Assessment (DAHTA)

ISSN 1861-8863

Entscheidungsanalytische Modelle zur Sicherung der Übertragbarkeit internationaler Evidenz von HTA auf den Kontext des deutschen Gesundheitssystems

Using decision-analytic modelling to transfer international evidence from health technology assessment to the context of the German health care system

HTA-Bericht

Search Medline for

  • corresponding author Uwe Siebert - Institut für Public Health, Medical Decision Making und Health Technology Assessment, Universität für Gesundheitswissenschaften, Medizinische Informatik und Technologie (UMIT), Hall in Tirol, Österreich

GMS Health Technol Assess 2005;1:Doc03

The electronic version of this article is the complete one and can be found online at: http://www.egms.de/en/journals/hta/2005-1/hta000003.shtml

Published: November 2, 2005

© 2005 Siebert.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.

The complete HTA Report in German language can be found online at: http://portal.dimdi.de/de/hta/hta_berichte/hta099_bericht_de.pdf


Abstract

The objective of this Health Technology Assessment (HTA) methods report was to examine and to assess decision analysis (DA) as a method to transfer and adapt international scientific evidence in HTA to the German health care context. Furthermore, we sought to develop a systematic framework to facilitate the selection, transfer, adaptation, and synthesis of these data in German HTA projects.

In this report, we review and summarise the concepts and methods of DA; present potential areas of applications, and provide a basis for the critical assessment of decision-analytic studies. The two main methods of DA, decision trees and Markov models, as well as various approaches to sensitivity analyses are described. Examples of typical situations for the use of DA in scientific evidence transfer are described, and a list of main health care domains and parameters in evidence transfer is presented. Finally, we developed a framework to transfer and apply international evidence to the national health care context. The strengths and limitations of the decision-analytic approach are critically examined.

In summary, this HTA report describes different situations, in which decision-analytic models can be useful, and demonstrates the utility of DA in transferring and applying international evidence to the national health care context. We developed a systematic instrument to transfer international evidence to the context of other countries and successfully applied this instrument in two German HTA projects. The use of this instrument is recommended in further HTA projects dealing with the application of international evidence to the German health care context. The use of decision-analytic models to transfer international evidence is endorsed. However, the limitations of DA should be clearly stated discussed transparently in all HTA reports.

Zusammenfassung

Ziele dieses HTA-Methodenberichts (HTA = Health Technology Assessment) sind die Prüfung und die Bewertung der Entscheidungsanalyse (EA) als methodisches Instrument zur Übertragung sowie zur Anpassung internationaler Evidenz aus dem Bereich HTA auf den Kontext des deutschen Gesundheitssystems. Ferner soll ein systematisches Konzept entwickelt werden, das als Orientierung bei der Auswahl, bei der Übertragung, bei der Anpassung und bei der Zusammenführung dieser Daten im Rahmen deutscher HTA-Projekte dienen kann.

Es soll ein Überblick über die Konzepte und Methoden der EA gegeben sowie neben den Anwendungsbereichen, den Möglichkeiten und den Grenzen entscheidungsanalytischer Verfahren die Grundlage für eine kritische Beurteilung entscheidungsanalytischer Studien vermittelt werden. Die beiden wichtigsten Methoden der EA sind das Entscheidungsbaumverfahren und Markov-Modelle. Zusätzlich werden die verschiedenen Formen von Sensitivitätsanalysen dargestellt. Anhand von Beispielen werden Standardsituationen für die Anwendung von EA zur Evidenzübertragung erläutert und zentrale Versorgungsbereiche und Parameter bei der Evidenzübertragung aufgezeigt. Schließlich soll ein Stufenkonzept (Framework) zur Übertragung internationaler Evidenz im Rahmen von HTA auf den nationalen Kontext entwickelt sowie die Stärken und die Limitationen des entscheidungsanalytischen Ansatzes kritisch gewürdigt und herausgearbeitet werden.

Zusammenfassend können in diesem HTA-Bericht verschiedene Situationen, in denen sich der Einsatz entscheidungsanalytischer Modelle anbietet, dargestellt und der Nutzen des Einsatzes von EA im Rahmen der Übertragung internationaler Evidenz auf den nationalen Kontext aufgezeigt werden. Es wird ein systematisches Instrumentarium zur Übertragung internationaler Evidenz auf den nationalen Versorgungskontext entwickelt, das in zwei HTA-Projekten erfolgreich angewandt und in weiteren HTA-Projekten, bei denen sich die Problematik der Übertragung von Evidenz aus ausländischen Studien auf den deutschen Kontext stellt, empfohlen wird. Der Einsatz entscheidungsanalytischer Modelle zur Evidenzübertragung wird befürwortet. Er besitzt jedoch verschiedene Limitationen, die in jedem HTA-Bericht transparent dargestellt und kritisch diskutiert werden sollen.

Schlüsselwörter: Technologiebewertung, biomedical, HTA


Executive Summary

Objectives

The objective of this Health Technology Assessment (HTA) methods report was to examine and to assess decision analysis (DA) as a method to transfer and adapt international scientific evidence in HTA to the German health care context. Furthermore, we sought to develop a systematic framework to facilitate the selection, transfer, adaptation, and synthesis of these data in German HTA projects.

Background

Due to the rapid pace of medical progress and the escalating health care costs associated with it, methods to evaluate the clinical and economic consequences of medical technologies play an important role. The gold standard for the efficacy of a health technology is the randomised controlled clinical trial. However, these studies are often time intensive, expensive, or cannot be performed for practical or ethical reasons. In addition, due to the scarce resources of the health system, the evaluation of the economic consequences of medical technologies is increasingly important. National policy makers often face the problem that the only available data is based on studies conducted in other countries which may or may not be generalisable to our health care context. While the acceptability of applying international evidence to the national context is often debatable, national data assessment is expensive and time intensive.

The use of decision-analytic models enables the combination of different evidence-based datasets, given certain assumptions. Transferring and applying evidence-based data from international studies to the German health care context, synthesizing clinical and economic data to evaluate the cost-effectiveness of a technology in the national context, and combining results from clinical studies with intermediate outcomes with results from epidemiologic observational studies with long-term outcomes requires the use of decision-analytic models.

Research Questions

The following research questions are examined in this HTA report:

1.
What are standard situations, in which international evidence must typically be transferred and applied to the national health care context?
2.
Which parameters must be considered in decision-analytic modelling?
3.
Which methodological approaches are useful for German HTA projects?
4.
What are the strengths of DA in evidence synthesis and transfer?
5.
What are the limitations of DA as a tool to transfer evidence?

Methods

We performed a systematic literature search to identify relevant literature regarding problems and solutions of decision-analytic evidence transfer. We included studies that compared different countries or regions regarding clinical, epidemiologic, or health-economic research questions.

In this report, we review and summarise the concepts and methods of DA; present possible areas of application, and provide a basis for the critical assessment of decision-analytic studies. The two main methods of DA, decision trees and Markov models, as well as various approaches to sensitivity analyses are described. Examples of typical situations for the use of DA in scientific evidence transfer are described and a list of the main health care domains and parameters in evidence transfer is presented. Finally, we developed a framework to transfer and apply international evidence to the national health care context. The strengths and limitations of the decision-analytic approach are critically examined.

Results and conclusions

The results of the literature search show a discrepancy between the theoretical literature recommending the use of decision-analytic approaches for transferring evidence between different health care systems and the lack of actual applications of DA in the published literature. This gap demonstrates the importance of future research in this area.

In summary, this HTA report describes different situations in which decision-analytic models can be useful, and demonstrates the utility of DA in transferring and applying international evidence to the national health care context.

We developed a systematic instrument to transfer international evidence to the context of other countries. This instrument includes a list of parameters that must be considered for evidence transfer. The list comprises parameters from the following areas: sociodemography, epidemiology, health outcomes, patient preferences/quality of life, health economics, health care and technology standards, structure of the health care system, and other determinants.

Furthermore, we developed a stepwise framework to transfer and adapt evidence from other health care systems to the national context, and describe the practical steps of performing the decision-analytic evidence transfer including the different options that are available dependent on the study setting. The framework consists of the following steps:

1.
Identification of the international evidence
2.
Identification of the set of parameters relevant to the decision problem
3.
Assessment of the transferability of international results using a checklist
4.
Decision on whether a reanalysis in the German context is necessary
5.
Decision on whether a DA is useful/necessary
6.
Installation of an interdisciplinary expert network
7.
Assessment of data availability for Germany and data assessment
8.
Model development or structural model adaptation
9.
Numeric implementation or adaptation of model parameters
10.
Clinical and/or cost-effectiveness analysis
11.
Sensitivity analyses
12.
Interpretation of results and conclusions/recommendations
13.
Identification of areas of further research

This framework has been shown to be feasible; it has been successfully applied in two German HTA reports in the fields of antiviral therapy of chronic hepatitis C and cervical cancer screening.

The use of this instrument is recommended in further HTA projects dealing with the application of international evidence to the German health care context. The use of decision-analytic models to transfer international evidence is endorsed. However, the limitations of DA should be clearly stated and discussed transparently in all HTA reports. The use of decision-analytic modelling in further HTA reports will show whether this approach can support the transfer and application of evidence in HTA and which modifications and extensions are necessary.


Wissenschaftliche Kurzfassung

Ziel

Ziele dieses HTA-Methodenberichts sind die Prüfung und die Bewertung der Entscheidungsanalyse (EA) als methodisches Instrument zur Übertragung und zur Anpassung internationaler Evidenz von HTA auf den Kontext des deutschen Gesundheitssystems. Ferner soll ein systematisches Konzept entwickelt werden, das als Orientierung bei der Auswahl, bei der Übertragung, bei der Anpassung und bei der Zusammenführung dieser Daten im Rahmen deutscher HTA-Projekte dienen kann.

Hintergrund

Durch den immer schneller voranschreitenden medizinischen Fortschritt und die dadurch bedingte Kostensteigerung im Gesundheitssystem kommt den Verfahren zur Bewertung der klinischen und ökonomischen Konsequenzen von Medizintechnologien eine zentrale Bedeutung zu. Für den Nachweis der klinischen Wirksamkeit (Efficacy) einer Technologie gilt die kontrollierte klinische Studie als Goldstandard. Studien dieses Typs sind jedoch ausgesprochen zeitaufwendig und kostenintensiv sowie für viele Technologien aus praktischen oder ethischen Gründen nicht durchführbar. Darüber hinaus gewinnt unter der Knappheit finanzieller Ressourcen im Gesundheitssystem die Beurteilung der ökonomischen Konsequenzen neuer Verfahren immer mehr an Bedeutung. Für die nationalen Entscheidungsträger des Gesundheitssystems ergibt sich häufig das Problem, dass zur Beantwortung drängender Fragestellungen notwendige Daten zwar aus internationalen Studien, aber nicht aus dem nationalen Versorgungskontext vorliegen, die Übertragung internationaler Ergebnisdaten fraglich und die valide Erhebung nationaler Daten neben der Verursachung hoher Kosten vor allem sehr lange Zeit beansprucht.

Der Einsatz entscheidungsanalytischer Modelle ermöglicht unter bestimmten Annahmen die flexible Verknüpfung verschiedener evidenzbasierter Datenbestände. Sowohl die Übertragung der evidenzbasierten Daten aus internationalen Studien auf den deutschen Kontext, als auch die Synthese klinischer und ökonomischer Daten zur Beurteilung der Wirtschaftlichkeit einer Technologie im nationalen Kontext sowie schließlich die Zusammenführung von Ergebnissen aus klinischen Studien mit intermediären Endpunkten und epidemiologischen Beobachtungsstudien mit Langzeitendpunkten erfordert die Verwendung entscheidungsanalytischer Modelle.

Fragestellungen

Folgende Fragestellungen werden im Rahmen dieses Berichts bearbeitet:

1.
Welches sind Standardsituationen, bei denen internationale Evidenz auf den Kontext eines bestimmten Gesundheitssystems zu übertragen ist?
2.
Welche Parameter sind für entscheidungsanalytische Modellierungen zu berücksichtigen?
3.
Welche strategischen Vorgehensweisen (Framework) erscheinen im Rahmen deutscher HTA-Projekte sinnvoll?
4.
Welche Möglichkeiten bietet die EA bei der Synthese und Übertragung von Evidenz?
5.
Welchen Limitationen unterliegt die EA als Instrument zur Übertragung von Evidenz?

Methoden

Zur Identifikation relevanter Literatur zu Problemen und zu Lösungsansätzen im Rahmen entscheidungsanalytischer Evidenzübertragung wird eine systematische Literaturrecherche durchgeführt. Die Anwendungsbeispiele sollen einen Vergleich zwischen verschiedenen Ländern oder Regionen im Hinblick auf klinische, epidemiologische oder gesundheitsökonomische Fragestellungen aufweisen.

Es soll ein Überblick über die Konzepte und Methoden der EA gegeben und neben den Anwendungsbereichen, Möglichkeiten und Grenzen entscheidungsanalytischer Verfahren die Grundlage für eine kritische Beurteilung entscheidungsanalytischer Studien vermittelt werden. Die wichtigsten Methoden der EA (Entscheidungsbaumverfahren und Markov-Modelle) sowie die verschiedenen Formen der Sensitivitätsanalysen werden dargestellt.

Anhand von Beispielen werden Standardsituationen für die Anwendung von EA zur Evidenzübertragung erläutert sowie zentrale Versorgungsbereiche und Parameter bei ihr aufgezeigt.

Schließlich sollen ein Stufenkonzept (Framework) zur Übertragung internationaler Evidenz im Rahmen von HTA auf den nationalen Kontext entwickelt sowie die Stärken und die Limitationen des entscheidungsanalytischen Ansatzes kritisch gewürdigt und herausgearbeitet werden.

Ergebnisse und Schlussfolgerungen

Die Ergebnisse der Literaturrecherche zeigen eine Diskrepanz zwischen den Lehrbuchempfehlungen, die den entscheidungsanalytischen Ansatz bei der Übertragung von Evidenz zwischen verschiedenen Gesundheitssystemen propagieren und der Praxis, die durch einen Mangel an Anwendungsbeispielen in der Literatur gekennzeichnet ist. Diese Lücke verdeutlicht den Forschungsbedarf zu diesem Thema.

Zusammenfassend können in diesem HTA-Bericht verschiedene Situationen, in denen sich der Einsatz entscheidungsanalytischer Modelle anbietet, dargestellt und der Nutzen des Einsatzes von EA im Rahmen der Übertragung internationaler Evidenz auf den nationalen Kontext aufgezeigt werden.

Es wird ein systematisches Instrumentarium zur Übertragung internationaler Evidenz auf den nationalen Versorgungskontext vorgestellt. Dieses Instrumentarium beinhaltet eine Liste der bei der Evidenzübertragung zu prüfenden Parameter, die aus den folgenden Bereichen stammen: Soziodemographie, Epidemiologie, medizinische Outcomes, Patientenpräferenzen/Lebensqualität, Gesundheitsökonomie, Versorgungs- und Technologiestandards, Struktur des Gesundheitssystems sowie weitere Determinanten.

Ferner wird ein Stufenkonzept zur Übertragung von internationaler Evidenz auf den nationalen Kontext entwickelt, das im Einzelnen konkrete und praktische Schritte beschreibt, wie bei der Durchführung der entscheidungsanalytischen Evidenzübertragung vorzugehen ist und welche Optionen es dabei für verschiedene gegebene Rahmenbedingungen gibt. Das Stufenkonzept besteht aus den folgenden Punkten:

1.
Identifikation internationaler Evidenz
2.
Identifikation der am Entscheidungsproblem beteiligten und relevanten Parameter
3.
Bewertung der Übertragbarkeit der internationalen Ergebnisse anhand einer Prüfliste
4.
Entscheidung, ob eine Reanalyse für den deutschen Kontext notwendig ist
5.
Entscheidung, ob eine EA sinnvoll/notwendig ist
6.
Aufbau eines interdisziplinären Expertennetzwerks
7.
Prüfung der Datenverfügbarkeit für Deutschland und die sich daraus ergebende Datenerhebung
8.
Modellentwicklung oder strukturelle Modelladaptation
9.
Numerische Implementation oder Adaptation der Modellparameter
10.
Klinische und/oder Kosteneffektivitätsanalyse
11.
Sensitivitätsanalysen
12.
Ergebnisinterpretation und Schlussfolgerungen/Empfehlungen
13.
Festlegung des weiteren Forschungsbedarfs

Dieses Stufenkonzept wird bereits im Rahmen von zwei deutschen HTA-Berichten in den Bereichen der antiviralen Therapie der chronischen Hepatitis C und der Zervixkarzinomfrüherkennung eingesetzt. Es erweist sich als praktikabel und als erfolgreich. Der Einsatz des entwickelten Stufenkonzepts in weiteren HTA-Projekten, bei denen sich die Problematik der Übertragung von Evidenz aus ausländischen Studien auf den deutschen Kontext stellt, wird empfohlen. Diese Verwendung entscheidungsanalytischer Modelle besitzt jedoch verschiedene Limitationen, die in jedem HTA-Bericht transparent dargestellt und kritisch diskutiert werden sollten. Eine Anwendung von EA in zukünftigen HTA-Projekten muss zeigen, ob sich der Ansatz grundsätzlich für die Evidenzübertragung eignet sowie welche Modifikationen und Erweiterungen dafür möglicherweise erforderlich sind.