gms | German Medical Science

The conventional methods spectrum of Health Technology Assessment (HTA) focuses on a medical and economic evaluation and is predominantly based on data yielded by clinical studies and possibly additional observations from routine use. It is usually applied at a point in time when the development of the respective technology has advanced to such an extent that it can no longer be directly influenced. Even in early stages of development existing technology-related information (which is usually not published) is not utilised. The demand for a development-accompanying assessment during early stages of development, that is to say during the phase of development and/or preparation for the diffusion of a technology, is becoming more obvious. It could thus, at a very early state, yield important information on potentially relevant developments to purchasers, developers and patients. This in turn could allow for the promotion of the development of promising technologies on the one hand or the modification or even cessation of the development of disadvantageous technologies on the other hand. From a methodological point of view development-accompanying technology assessment constitutes a challenge because ‘hard data’ (e. g. clinical data obtained from randomized controlled studies (RCT) of comparable technologies) must be combined with developmental data and must then, via modelling tools, be turned into prognoses of utility, necessity, economic viability etc. Development-accompanying assessment would not replace a comprehensive HTA. Instead it would be the first step of a multi-staged HTA-process, in which unpromising technologies are eliminated or changed early so better technologies reach the market. The objective of the present report is to identify and describe applied methods for the development-accompanying assessment of technologies as well as to outline international programmes for the identification or application of these methods and to discuss their significance for the German context.

As defined by the Office for Technology Assessment (OTA) of the USA, health care technologies include drugs, devices, medical and surgical procedures as well as organisational and supportive systems in which such care is provided. New technologies are increasingly submitted to HTA. The objective is to support decisions in policy making and practice based on the best possible evidence. Thus, HTA results are used for the approval of new technologies, for example, or their inclusion in the benefits catalogues of health insurance funds, for decisions on further application of already established technologies, for the coordination of biomedical research activities and for resource allocation (e. g. investments made by hospitals). The combination of limited resources (funding and staffing) available for the production of HTA-reports and the steadily increasing number of technologies pushing onto the market presents a challenge regarding prioritization, meaning the decision for which one of the technologies that are ready for an assessment to be evaluated next. For example, through so called Horizon Scanning (HS), a greater formalization of the selection process is intended, making use of data which inform about the socio-economic relevance of the subject-matter and allow conclusions about the impact of a potential HTA-report. Furthermore, against the background of limited financial resources, the mass of new technologies pushing onto the market and the demand for timely evidence-based information as a basis for health political decisions, rapid HTA has emerged, which accounts for the tight time frame of political decisions, for instance. In this way scientifically funded decisions can be made in a timely manner, albeit concerning a very tightly focused issue, while otherwise decisions would have to be made based on lower evidence levels or delayed by the time consuming completion of a comprehensive HTA-report. Like HS, rapid-HTA does not primarily aim at adjusting technology development. Both sensibly complement conventional HTA, however they are no solution to the problem of being able to assess innovative technology in an early stage of the development, i. e. clearly before the diffusion process. Development-accompanying HTA on the other hand is aimed at appraising aspects like safety, efficacy, demand and cost effectiveness of a new development as soon as possible, in order to have a guiding function even during development as opposed to conventional reactive approaches.

In the present report drafted on behalf of the German Agency for Health Technology Assessment (Deutsche Agentur für Health Technology Assessment (DAHTA)) of the German Institute for Medical Documentation and Information (Deutsches Institut für Medizinische Dokumentation und Information (DIMDI) the research questions are as follows:

• Which methods exist for processing partial questions of HTA in the early development stage of an innovative health-related technology?
• How are these methods appraised according to the identified references?
• Which research programmes exist for the identification, application or further development of the respective methods?

In order to obtain literature and information on the subject a systematic literature search is conducted by DAHTA in 29 data bases during April and May 2007 in accordance with current requirements and in agreement with the authors regarding the search strategy. The time frame of the search begins in 2002 and the search is limited to the languages of German and English. The selection of the literature identified by the systematic literature search is accomplished in three steps based on predefined inclusion and exclusion criteria. In a first review only the titles of the references are analysed, and in a second review the abstracts are analysed, while lastly the full texts are considered. In order to obtain further basic information, it is necessary to conduct an extensive manual search in addition to the usual systematic literature search. Relevant institutions in the countries to be investigated as well as respective helpful documents are identified via the internet (internet presences and the respective results are noted in the appendix). In doing so, the criteria of the manual search partially deviate from the DIMDI-search (e. g. the publication date). In an initial search several data bases are investigated (the search terms and respective hits are noted in the appendix). In a second search the internet pages of various HTA-organisations are investigated for projects or programmes as well as documents concerning development-accompanying assessment of medical technologies. Additionally an internet search is carried out using the keywords ‘constructive’ and ‘formative’ (with a high count of hits, the results are limited using the additions ‘assessment’, ‘technology assessment’, ‘health technology assessment’ or ‘evaluation’). The documents identified in the literature search have to be partially excluded from the results, but can be used for introductory parts or the discussion. Where necessary for comprehension, the references delineated in the results are preceded by a brief introduction into the respective method, given such information is available. This is done because the references identified in the literature search are often methodologically intricate or incomplete, but are still supposed to be presented in respect to the intended broad overview.

The greatest units of the identified approaches consist of methods for decision support (e. g. the aid of experts), modelling approaches and methods that focus on users and their knowledge. Besides these methods several concepts for development-accompanying assessment are found (Constructive Technology Assessment (CTA)), Iterative Economic Evaluation and evaluation frameworks for information technologies (e. g. Clinical, Human and Organizational, Educational, Administrative, Technical and Societal evaluation framework (CHEATS)). Within these concepts a whole spectrum of methods can be applied rather than a single method. CTA is primarily utilised in the Netherlands to assess non-pharmaceutical technologies (early), whereas CHEATS is deployed for the evaluation of information and communication technologies in health care. The concept of iterative economic evaluation is to accompany the technology development from the early developmental phase up to the introduction into practice. Among the methods for decision support are Analytic Hierarchy Process (AHP), Stated-Preference (SP)-methods, expert systems and Fuzzy-Logic. AHP and SP-methods make an assessment possible by comparing alternatives. Expert systems are knowledge-based or computer systems intended to make professionally funded decisions (comparable to those made by human experts). The necessary knowledge for the problem solving is acquired from actual professionals. Fuzzy-Logic also imitates human decision making, but it has the particular ability of developing precise solutions from imprecise data. Modelling methods are mostly based upon sophisticated mathematics (e. g. Bayesian methods). An important position in this group is filled by Decision Analytic models (e. g. Markov-models), which are already partially applied in conventional HTA, e. g. for assessing economic aspects. Pharmacocinetic and pharmacodynamic (PK/PD) modelling naturally only refers to pharmaceuticals. User Centered Design (UCD) offers the greatest variety of methods. It bases the development process on information about the user and should be started as early on in the development process as possible. Ideally this approach is already applied in the concept stage, where the idea underlying the product is formulated. The category of ‘other methods’ includes methods which cannot be classed with one of the four large groups (failure and reliability analysis, real-options analysis (ROA), pre-protocol research and tracker-trials). Failure mode and effects analysis (FMEA) identifies failures and contributes to the improvement of the respective system. ROA coming from the financial world is primarily employed to appraise the advantages from an economical point of view. Pre-Protocol-Research is used to incorporate early data from lower evidence levels while Tracker-Trials try to equip elements of RCT with an adaptability in regard to ongoing change of the considered technology. Both of the identified research programmes INNO-HTA and MATCH (Multidisciplinary-Assessment-of-Technology-Centre-for-Healthcare) have to be considered as pilot projects. MATCH is almost entirely focused on the integration of the user perspective into the development of non-pharmaceutical technologies, whereas INNO-HTA is basically concerned with the identification and further development of methods for early, socially-oriented technology assessment.

The present report is to be considered as a descriptive overview of methods for development-accompanying assessment of innovative medical technologies. The information content of the sources utilisable for the present report is predominantly meagre. Nevertheless, in order to enable a first overview of potentially applicable methods, the existing sources are rather generously included as better sources are lacking.

Development-accompanying assessment of innovative technologies struggles with three inherent and interrelated difficulties: the ideal timing for an evaluation, the availability of sufficient data and the uncertainty regarding the use of this data. An early assessment yields the advantage of still being able to influence the development of a technology in a simple and inexpensive manner. The compiled data however are to be considered only as preliminary or indicative, as they are subject to a rather great uncertainty and may even become irrelevant due to subsequent changes in the technology. In contrast, the data of a later assessment are associated with greater certainty; influencing the technology on the other hand may be far more difficult and expensive or actually impossible. In this way an assessment may be in vain, if it is carried out too early. However, most authors agree thatan assessment should be conducted early. If data do exist, they may be difficult to obtain, may become obsolete soon and may be subject to an increased probability of error, which cannot be completely eliminated by any methodological approach. If decisions are made based on these data there is a risk of recommending technologies that subsequently prove to be disadvantageous or rejecting technologies which finally prove to be advantageous. Development-accompanying assessment could possibly have an adverse effect on innovation, if another hurdle is erected besides market approval and inclusion in benefits catalogues, thus prolonging and impeding the process of developing an innovation all the way up to actual use.

As the utilisation of innovations is influenced by several factors, it seems to be important, to assess technologies before ethical restraints ensue, the respective technology substantially alters the cost structure or before it has considerable effects on organizational structures inside the health care system. Furthermore early assessments are expected to yield cost advantages. The cited assessment concepts (e. g. CTA) lastly remain very non-committal; even so they depict a framework on which aspects can be examined and how to do so. They do not however point out new methods, but they employ the techniques illustrated in the present report, which are also already applied in other fields of research. The differences between the methods of decision support concern the generation of knowledge and know-how. Expert systems for example leave decisions to heuristics and computers, established by experts. With AHP on the other hand, decision processes are also broken down. The knowledge however comes from experts like potential users. Modelling techniques are already partially used in conventional HTA, but in development-accompanying assessment different sources are used for the generation of data, e. g. interviewing experts. Methods for ascertaining the user perspective seem to be a useful means of estimating user needs, desires and demand. As is the case with FMEA and ROA it is still debatable to what extent these methods can be employed in a socially-oriented assessment. Pre-Protocol-Research and Tracker-Trials do not greatly differ from conventional HTA; up to what extent they will be able to atone for randomized controlled trials (RCT) at least regarding the development of non-pharmaceutical technologies has not yet been resolved. Regarding the methods for development-accompanying assessment the criteria to be evaluated are not standardised and depend on the individual case. Also there is no general consensus about the aspects which should be considered in a development-accompanying assessment. Many of the cited references do not describe the respective method in a detailed and comprehensible manner, but often stay very imprecise. Predominantly it remains unclear which data is used for the assessment. Occasionally it is only mentioned which type of technology a method is tested on, while a description of how this is done is left out. Lastly even an evaluation and validation on whether the development-accompanying assessment correctly predicted the future (e. g. whether the diffusion and the assumed success actually occurred) was also always missing. Analysing the results of the literature search, it has to be noted that many methods are primarily used by the manufacturers and the assessment is not institutionalized (e. g. CA and methods for ascertaining the user perspective). Because of this, social aspects are seldom considered. Although there are already two research programmes (MATCH and INNO-HTA) considering methods for the development-accompanying assessment of innovative technologies, these activities are still a long way from reaching the extent of collaboration and standardisation which have by now developed in conventional HTA. MATCH is a strictly national programme, while universities and research facilities from different countries collaborate for INNO-HTA.

In spite of a broad literature search, both the number of hits as well as the content of information in the identified references are insufficient for a final appraisal of the methods; nevertheless the present overview may serve as a starting point for further development and application of these methods as well as a further examination of the concept of development-accompanying assessment. Both of the identified research programmes (MATCH and INNO-HTA) are to be considered as pilot projects in the sector of development-accompanying assessment. Concluding publications are not yet available during the editing of the present report. A standardisation of development-accompanying technology assessment is not perceivable as of now. It has to be noted that a development-accompanying assessment will, due to a variety of problems (e. g. ideal timing of evaluation, lack of data and uncertain data), mostly not replace a comprehensive HTA, but rather form a preceding step in a multi-staged HTA-process.

There is no singular technique for the completion of an appraisal. Instead, a technology and evaluation specific selection of methods seems to be necessary as the innovations to be assessed are very diverse and none of the methods are exhaustive. Heretofore development-accompanying technology assessment lacks an institutionalization; such would be best in an existing Horizon-Scanning-programme where appropriate professional knowledge is already present as would be the opportunity of conducting an early assessment in sequence to identifying a promising technology. The implementation of development-accompanying assessment methods requires multidisciplinary teams since many methods are mathematically complex and a multitude of aspects needs consideration. In contrast to many other countries, Germany does not yet have a Horizon-Scanning-program, hence an addition to the existing HTA-programs of the Institute for Quality and Cost Efficiency in Health Care (Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen ((IQWiG)) and DIMDI seems to be most feasible. The authors recognize a strong need for further research concerning application, validation and comparison of the different methods for development-accompanying assessment.

Das konventionelle Health Technology Assessment (HTA)-Methodenspektrum fokussiert auf eine medizinische sowie ökonomische Bewertung und basiert überwiegend auf Daten von klinischen Studien und ggf. zusätzlichen Beobachtungen in der Routineversorgung. Es erfolgt in der Regel zu einem Zeitpunkt, an dem die Entwicklung der Technologie schon weit fortgeschritten und kaum mehr direkt beeinflussbar ist. Bereits während früher Entwicklungsphasen werden vorhandene technologiebezogene Informationen (diese sind in der Regel nicht publiziert) nicht genutzt.

Der Bedarf eines entwicklungsbegleitenden HTA in frühen Entwicklungsstadien, d. h. innerhalb der Entwicklungs- und/oder Vorbereitungsphase der Diffusion einer Technologie, wird zunehmend deutlicher. So könnte es sowohl für Kostenträger und Technologieentwickler als auch für Patienten und Anwender wichtige Informationen zu potenziell relevanten Entwicklungen in einem sehr frühen Stadium liefern. Es wäre möglich, die Weiterentwicklung aussichtsreicher Technologien zu fördern bzw. die Modifikation oder gar den Abbruch unvorteilhafter Entwicklungen zu veranlassen.

Methodisch bedeutet entwicklungsbegleitendes Technology Assessment (TA) eine Herausforderung, da „harte Daten“ (z. B. klinische Daten aus randomisierten kontrollierten Studien (RCT) zu Vergleichstechnologien) mit Entwicklungsdaten kombiniert und mithilfe von Modellierungstools zu Prognosen von Nutzen, Notwendigkeit, Wirtschaftlichkeit etc. zusammengeführt werden müssen.

Eine entwicklungsbegleitende Bewertung würde ein umfassendes HTA nicht ersetzen, vielmehr wäre sie die erste Stufe in einem mehrphasigen HTA-Prozess, in dem frühzeitig wenig Erfolg versprechende Technologien aussortiert bzw. verändert werden und so bessere Technologien auf den Markt gelangen.

Ziel des hier vorgelegten Berichts ist es, verwendete Methoden zur entwicklungsbegleitenden Bewertung von Technologien zu identifizieren und zu beschreiben, internationale Programme zur Identifizierung oder Anwendung dieser Methoden darzustellen und deren Bedeutung für den deutschen Kontext zu diskutieren.

Technologien der gesundheitlichen Versorgung umfassen nach der Definition des Office for Technology Assessment der USA (OTA) Medikamente, Instrumente, Prozeduren und Verfahren sowie Organisationssysteme, in denen eine Technologie innerhalb der gesundheitlichen Versorgung Anwendung findet.

Neue Technologien werden zunehmend einem HTA unterzogen. Das Ziel ist die Unterstützung von Entscheidungen in der Politik und Praxis auf Basis von bestmöglicher Evidenz. Ergebnisse aus HTA werden z. B. für die Zulassung neuer Technologien bzw. deren Aufnahme in die Leistungskataloge der Kostenträger, die weitere Anwendung bereits etablierter Technologien, die Koordinierung biomedizinischer Forschungsaktivitäten, Ressourcenallokation (z. B. Investitionen von Krankenhäusern) verwendet.

Bei der Priorisierung, also der Entscheidung, welche aus der Menge der Technologien, die zur Bewertung anstehen, als nächste evaluiert wird, erweist sich die Kombination aus limitierten Ressourcen (Finanz- und Personalmittel), die für die Erstellung von HTA-Berichten zur Verfügung stehen, und die fortwährend steigende Zahl der auf den Markt drängenden neuen Technologien als Herausforderung.

Angestrebt wird daher z. B. durch ein sog. Horizon Scanning (HS) eine stärkere Formalisierung der Auswahl unter Hinzuziehung von Daten, die Auskunft über die sozioökonomische Bedeutung der Themen geben und Rückschlüsse auf die Wirkung eines eventuellen HTA-Berichts erlauben.

Vor dem Hintergrund knapper finanzieller Ressourcen, der Fülle neuer auf den Markt drängender Technologien und dem Bedarf an zeitnahen evidenzbasierten Informationen als Basis für gesundheitspolitische Entscheidungen ist zudem das sog. Kurz-HTA (engl. rapid-HTA) entstanden, das dem zeitlich engen Rahmen bspw. politischer Entscheidung Rechnung trägt. Auf diese Weise können, wenn auch nur zu einer eng fokussierten Fragestellung, wissenschaftlich fundierte Entscheidungen zeitnah getroffen werden, während sonst ggf. anhand niedrigerer Evidenzebenen entschieden oder die langwierige Fertigstellung eines umfassenden HTA-Berichts abgewartet werden muss.

Wie das HS hat auch das Kurz-HTA allerdings nicht primär die Anpassung der Technologieentwicklung zum Ziel.

HS und Kurz-HTA ergänzen konventionelles HTA zwar sinnvoll, lösen allerdings nicht das Problem, innovative Technologien schon in einem frühen Stadium der Entwicklung, d. h. deutlich vor dem Diffusionsprozess bewerten zu können. Entwicklungsbegleitendes HTA zielt darauf, möglichst frühzeitig Aspekte wie Sicherheit, Wirksamkeit, Bedarf und Kostenwirksamkeit einer Neuentwicklung einzuschätzen, um so gegenüber den konventionellen reaktiven Ansätzen eine Steuerungsfunktion schon während der Entwicklung wahrzunehmen.

Im vorliegenden Bericht, der im Auftrag der Deutschen Agentur für Health Technology Assessment (DAHTA) des Deutschen Instituts für Medizinische Dokumentation und Information (DIMDI) verfasst ist, lauten die Forschungsfragen wie folgt:

• Welche Methoden gibt es, um Teilfragestellungen eines HTA bereits während der frühen Entwicklungsphase einer innovativen gesundheitsrelevanten Technologie zu bearbeiten?
• Wie sind die Methoden anhand der identifizierten Quellen einzuschätzen?
• Welche Forschungsprogramme existieren, um entsprechende Methoden zu identifizieren, anzuwenden oder weiterzuentwickeln?

Zur Gewinnung von Literatur und Informationen zum Thema wird im April und Mai 2007 von der DAHTA eine systematische Literaturrecherche nach den geltenden Anforderungen und nach Absprache der Suchstrategie mit den Autoren in insgesamt 29 Datenbanken durchgeführt. Der Suchzeitraum beginnt mit 2002 und ist auf die Sprachen Deutsch und Englisch beschränkt. Die Bewertung der durch die systematische Literaturrecherche identifizierten Literatur erfolgt in drei Schritten anhand im Vorfeld definierter Ein- und Ausschlusskriterien. In der ersten Durchsicht werden ausschließlich die Titel der Literaturstellen und anschließend im zweiten Schritt die Zusammenfassungen analysiert, bevor letztendlich die Volltexte untersucht werden.

Um darüber hinaus weitere Basisinformationen sammeln zu können, ist zusätzlich zur üblichen systematischen Literaturrecherche eine ausgedehnte Handsuche notwendig. Relevante Institutionen in den zu untersuchenden Ländern und entsprechende, hilfreiche Dokumente werden durch das Internet identifiziert (Internetauftritte und die jeweiligen Ergebnisse sind im Anhang dokumentiert). Dabei wird teilweise von den Kriterien der DIMDI-Suche abgewichen (z. B. Veröffentlichungsdatum). In einer ersten Suche wird in mehreren Datenbanken recherchiert (die Suchwörter und die entsprechenden Treffer sind im Anhang aufgeführt). In einer zweiten Suche wird auf den Internetseiten verschiedener HTA-Organisationen nach Projekten bzw. Programmen sowie Dokumenten zur entwicklungsbegleitenden Bewertung medizinischer Technologien gesucht. Zusätzlich wird im Internet mit den Stichworten „constructive“ und „formative“ eine Suche durchgeführt (bei hohen Trefferzahlen werden die Ergebnisse mittels der Zusätze „assessment“, „technology assessment“, „health technology assessment“ oder „evaluation“ eingeschränkt). Teilweise müssen die in diesen Literaturrecherchen identifizierten Dokumente für den Ergebnisteil ausgeschlossen werden, können jedoch für einleitende Abschnitte oder die Diskussion herangezogen werden. Bei den im Ergebnisteil beschriebenen Literaturquellen wird, wenn zum Verständnis nötig und entsprechende Informationen verfügbar, eine kurze Methodeneinleitung vorangestellt, da die in der Literaturrecherche identifizierten Quellen häufig methodisch schwierig bzw. unvollständig sind, aber wegen des angestrebten breiten Überblicks trotzdem aufgeführt werden sollen.

Die größten Untergruppen der identifizierten Ansätze bilden Methoden zur Entscheidungsunterstützung (z. B. Zuhilfenahme von Experten), Modellierungsansätze und Methoden, die den Nutzer und deren Wissen in den Mittelpunkt stellen. Neben diesen Methoden werden auch einige Konzepte zur entwicklungsbegleitenden Bewertung gefunden (Constructive Technology Assessment (CTA), Iterative Economic Evaluation und Evaluationsframeworks für Informationstechnologien (z. B. Clinical, Human and Organizational, Educational, Administrative, Technical and Social evaluation framework (CHEATS)). In diesen Konzepten wird nicht nur eine Methode angewendet, sondern es kann ein ganzes Methodenspektrum zum Einsatz kommen. CTA wird vorrangig in den Niederlanden zur (frühzeitigen) Bewertung von nichtmedikamentösen Technologien eingesetzt, während CHEATS zur Evaluation von Informations- und Kommunikationstechnologien in der medizinischen Versorgung genutzt wird und das Konzept der iterativen ökonomischen Evaluation die Technologieentwicklung von der frühen Entwicklungsphase bis zur Einführung in die Praxis begleiten soll.

Unter die Methoden der Entscheidungsunterstützung fallen Analytic Hierarchy Process (AHP), Stated-Preference (SP)-Methoden, Expertensysteme und Fuzzy-Logik. AHP und SP-Methoden ermöglichen Bewertung über Vergleiche von Alternativen. Expertensysteme sind wissensbasierte Systeme oder Computerprogramme, um fachlich fundierte Entscheidungen (vergleichbar mit denen menschlicher Experten) zu treffen. Das notwendige Wissen für die Problemlösung gewinnen Expertensysteme von realen Fachleuten. Die Fuzzy-Logik ahmt ebenfalls menschliche Entscheidungsfindung nach. Sie hat aber speziell die Fähigkeit, präzise Lösungen aus unscharfen Daten zu erarbeiten.

Die Modellierungsmethoden basieren zumeist auf komplexer Mathematik (z. B. bayessche Methoden). Eine wichtige Rolle in dieser Gruppe spielen entscheidungsanalytische Modelle (z. B. Markov-Modelle), die teilweise bereits im konventionellen HTA beispielweise zur Bewertung ökonomischer Aspekte angewandt werden. Die pharmakokinetische und pharmakodynamische (PK/PD) Modellierung bezieht sich naturgemäß nur auf Arzneimittel.

Die größte Methodenvielfalt bietet der nutzerzentrierte Entwicklungsprozess (engl. user centered design (UCD)). UCD fundiert den Entwicklungsprozess auf Informationen über die Nutzer und sollte so früh wie möglich im Entwicklungsprozess beginnen. Idealerweise wird der Ansatz bereits im Konzeptionsstadium angewandt, in dem die Idee, die dem Produkt zugrunde liegt, formuliert wird.

Unter „sonstige Methoden“ werden die Methoden gefasst, die sich nicht in die vier großen Gruppen einordnen lassen (Fehler- und Verlässlichkeitsanalyse, Realoptionenanalyse (ROA), Pre-Protocol-Research, Tracker-Trials). Die Fehlermöglichkeits- und Einflussanalyse (engl. failure and effects analysis (FMEA)) identifiziert Fehler und trägt zur Verbesserungen des Systems bei. ROA stammt aus der Finanzwelt und wird vorrangig genutzt, um die Vorteilhaftigkeit aus ökonomischer Sicht zu beurteilen. Pre-Protocol-Research dient der Einbeziehung früher Daten aus niedrigen Evidenzstufen und Tracker-Trails versuchen Elemente aus RCT mit einer Anpassungsmöglichkeit für sich ändernde Technologien zu versehen.

Die beiden identifizierten Forschungsprogramme INNO-HTA und MATCH (Multidisciplinary-Assessment-of-Technology-Centre-for-Healthcare) sind als Pilotprojekte einzuschätzen. MATCH fokussiert nahezu ausschließlich auf die Einbeziehung der Nutzerperspektive bei der Entwicklung von nichtmedikamentösen Technologien, während INNO-HTA sich von Grundsatz her mit der Identifizierung und ggf. Weiterentwicklung von Methoden zur frühzeitigen - gesellschaftlich orientierten - Technologiebewertung beschäftigt.

Der vorliegende Bericht ist als deskriptive Übersicht der Methoden zur entwicklungsbegleitenden Bewertung innovativer medizinischer Technologien zu verstehen.

Der für den vorliegenden Bericht nutzbare Informationsgehalt der Quellen ist überwiegend gering, um überhaupt einen ersten Überblick über potenziell anwendbare Methoden zu ermöglichen, werden die vorhandenen Quellen aus Mangel an besseren eher großzügig einbezogen.

Die entwicklungsbegleitende Bewertung von innovativen Technologien hat hauptsächlich mit drei grundsätzlichen Problemen zu kämpfen, die alle zusammenhängen: Den optimalen Zeitpunkt der Evaluation, das Vorhandensein genügender Daten zur Innovationsbewertung und die Unsicherheit bei der Nutzung dieser Daten. Ein frühes Assessment besitzt zwar den Vorteil, die Entwicklung einer Technologie noch einfach und kostengünstig beeinflussen zu können, die erhobenen Daten sind dabei allerdings nur als vorläufig oder indikativ anzusehen, da sie einer recht großen Unsicherheit unterliegen und durch nachfolgende Veränderungen der Technologie gar irrelevant werden können. Demgegenüber sind die Daten einer späteren Bewertung sicherer, die Technologie zu beeinflussen ist aber weitaus schwieriger, kostspieliger oder in manchen Fällen sogar unmöglich. Eine Bewertung kann daher unter Umständen umsonst sein, wenn sie zu früh durchgeführt wird. Die meisten Autoren stimmen jedoch darin überein, dass früh evaluiert werden sollte. Falls Daten vorliegen, sind diese oft nur schwer zu bekommen und können nicht nur schnell obsolet werden, sondern auch einer erhöhten Irrtumswahrscheinlichkeit unterliegen, die sich durch keinen methodischen Ansatz restlos eliminieren lässt. Werden dann, basierend auf diesen Daten, Entscheidungen getroffen, besteht das Risiko, Technologien zu empfehlen, die sich später als nachteilig erweisen, bzw. solche Technologien abzulehnen, die sich letztlich als vorteilhaft herausstellen.

Entwicklungsbegleitendes HTA birgt zudem die Gefahr, dass es innovationsfeindlich wirken könnte, falls neben der Marktzulassung der Innovation und der Aufnahme in Leistungskataloge eine neue hohe Hürde aufgebaut wird und damit der Prozess von der Entwicklung einer Innovation bis zum Nutzer weiter verlängert und erschwert wird.

Da die Verbreitung einer Innovation von verschiedenen Faktoren beeinflusst wird, erscheint es wichtig, Technologien frühzeitig zu bewerten, bevor ethische Beschränkungen einsetzen, die Technologien die Kosten substanziell verändern oder einen wesentlichen Effekt auf die organisatorischen Strukturen des Gesundheitssystems ausüben. Mit einer früheren Bewertung werden darüber hinaus Kostenvorteile erwartet.

Die genannten Bewertungskonzepte (z. B. CTA) bleiben letztlich sehr unverbindlich, geben aber immerhin einen Rahmen, welche Aspekte wie untersucht werden können. Sie zeigen allerdings keine „neuen“ Methoden auf, sondern bedienen sich der in diesem Bericht beschriebenen Verfahren, die bereits in anderen Forschungsfeldern angewendet werden. Unterschiede in den Techniken der Entscheidungsunterstützung liegen in der Generierung des Wissens und Know-hows. Expertensysteme überlassen beispielsweise das Entscheiden den Heuristiken und Computern, die von Experten eingerichtet werden. Demgegenüber werden beispielsweise zwar auch bei AHP die Entscheidungsprozesse aufgeschlüsselt, jedoch stammt das Wissen von Experten wie z. B. potenziellen Nutzern. Modellierungstechniken werden teilweise bereits im konventionellen HTA angewendet, die Datengenerierung erfolgt aber bei der frühzeitigen entwicklungsbegleitenden Bewertung aus anderen Quellen, wie z. B. Expertenbefragung. Die Methoden zur Erfassung der Nutzerperspektive scheinen ein sinnvolles Mittel zu sein, Bedürfnisse, Wünsche und damit auch die Nachfrage der Nutzer einzuschätzen. Genau wie bei FMEA und ROA ist jedoch fraglich, inwieweit die Methoden auch für eine gesellschaftlich orientierte Bewertung eingesetzt werden können. Die Pre-Protocol-Research und Tracker-Trials bewegen sich relativ nah an konventionellem HTA, inwieweit sie zumindest bei der Entwicklung von nichtmedikamentösen Technologien einen Ersatz für RCT bieten können, ist nicht geklärt.

Die Bewertungskriterien bei Methoden zur entwicklungsbegleitenden Bewertung unterliegen keiner Standardisierung und hängen vom Einzelfall ab. Es existiert zudem kein allgemein gültiger Konsens, welche Aspekte bei der entwicklungsbegleitenden Bewertung betrachtet werden sollen. Viele der zitierten Publikationen beschreiben die Methode nicht ausführlich und verständlich, sondern sind oft sehr ungenau. Mehrheitlich wird nicht einmal klar, welche Daten zur Bewertung herangezogen werden. Es wird mitunter nur erwähnt, an welcher Technologie diese oder jene Methode erprobt worden ist, aber nicht genau wie. Es fehlt letztlich auch immer eine Einschätzung und Reflektion (Validierung), ob die entwicklungsbegleitende Bewertung die Zukunft richtig vorhergesehen hat (z. B. ob die Diffusion und der angenommene Erfolg tatsächlich so eingetreten sind).

Auffallend bei der Auswertung der Ergebnisse der Literaturrecherche ist, dass viele Methoden primär von den Herstellern genutzt werden und die Bewertung nicht institutionalisiert ist (z. B. CA und Methoden zur Erfassung der Nutzerperspektive). Es werden daher kaum gesellschaftliche Aspekte betrachtet.

Obwohl bereits zwei Forschungsprogramme (MATCH und Inno-HTA) existieren, die sich mit Methoden zur entwicklungsbegleitenden Bewertung von innovativen Technologien befassen, sind diese Aktivitäten noch weit davon entfernt, eine Zusammenarbeit bzw. Standardisierung zu erreichen, wie sie inzwischen auf der Ebene des konventionellen HTA vorhanden sind. Bei MATCH handelt es sich um ein rein nationales Programm, wohingegen beim Inno-HTA Universitäten und Forschungseinrichtungen über Ländergrenzen hinweg zusammenarbeiten.

Trotz der sehr breit angelegten Recherche ist sowohl die Anzahl als auch der Informationsgehalt der identifizierten Quellen für eine abschließende Bewertung der Methoden nicht ausreichend, allerdings mag die vorliegende Übersicht als Ausgangsbasis für weitere Methodenentwicklungen bzw. -anwendungen sowie für eine weiterführende Auseinandersetzung mit dem Konzept der frühzeitigen Bewertung dienen. Die beiden identifizierten Forschungsprogramme zur Thematik (MATCH und Inno-HTA) sind als Pilotprojekte im Bereich der entwicklungsbegleitenden Bewertung einzuschätzen, abschließende Publikationen liegen bei Bearbeitung des vorliegenden Berichts noch nicht vor. Eine Standardisierung entwicklungsbegleitender Technologiebewertung ist international bisher nicht zu erkennen. Festzuhalten ist, dass eine entwicklungsbegleitende Bewertung aufgrund der Vielzahl von Problemen (z. B. optimaler Zeitpunkt der Evaluation, Datenmangel und unsichere Daten) ein umfassendes HTA meistens nicht ersetzen wird, sondern in einem mehrstufigen HTA-Prozess eine vorgeschaltete Stufe darstellen kann. Es gibt nicht die eine Methode, mit der eine entwicklungsbegleitende Bewertung erfolgt. Stattdessen erscheint eine technologie- und bewertungsspezifische Methodenauswahl notwendig, da die zu bewertenden Innovationen sehr verschieden sind und keine der identifizierten Methode erschöpfend ist.

Eine Institutionalisierung von entwicklungsbegleitender Technologiebewertung fehlt bisher und wäre wohl am ehesten unter bestehenden Horizon-Scanning-Programmen möglich. Dort existiert bereits entsprechendes Fachwissen und die Möglichkeit, nach der Identifizierung vielversprechender Technologien diesen auch eine frühzeitige Bewertung anzuschließen. Für die Anwendung entwicklungsbegleitender Bewertungsmethoden sind multidisziplinäre Teams notwendig, da viele Methoden mathematisch sehr komplex sind und eine Vielzahl von verschiedenen Bewertungsaspekten beleuchtet werden muss. In Deutschland existiert im Gegensatz zu vielen anderen Ländern bisher kein Horizon-Scanning-Programm, am ehesten scheint hier eine Ergänzung der bereits existierenden HTA-Programme der Institutionen DIMDI und IQWiG (IQWiG = Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen) praktikabel zu sein. Dringenden Forschungsbedarf sehen die Autoren im Bereich der Anwendung, Validierung und Vergleich der verschiedenen Methoden zur entwicklungsbegleitenden Bewertung.