gms | German Medical Science

GMS Medizinische Informatik, Biometrie und Epidemiologie

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V. (GMDS)

ISSN 1860-9171

Systematisches Review über Datenqualität und Protokoll-Compliance in klinischen Studien

Systematic review about data quality and protocol compliance in clinical trials

Übersichtsarbeit

  • corresponding author Christian Ohmann - Coordination Centre for Clinical Trials, Heinrich-Heine-University of Düsseldorf, Düsseldorf, Germany
  • Oana Brosteanu - Coordination Center for Clinical Trials, University of Leipzig, Leipzig, Germany
  • Beate Pfistner - German Hodgkin Study Group and Competence Network Malignant Lymphoma, University of Cologne, Cologne, Germany
  • Peggy Houben - Coordination Center for Clinical Trials, University of Leipzig, Leipzig, Germany
  • Kristina Ihrig - Competence Network Acute and Chronic Leukemias, University of Frankfurt, Frankfurt, Germany
  • Sandra Meyer - Competence Network Hepatitis, Hannover Medical School, Hannover, Germany
  • Ursula Paulus - Center for Clinical Trials, University of Cologne, Cologne, Germany
  • Anke Strenge-Hesse - Competence Network Malignant Lymphomas, University of Cologne, Cologne, Germany
  • Ulrike Zettelmeyer - German Hodgkin Study Group, University of Cologne, Cologne, Germany
  • Gabriele Schwarz - GCP Inspection Services, German Federal Institute for Drugs and Medical Devices, Bonn, Germany

GMS Med Inform Biom Epidemiol 2008;4(1):Doc03

Die elektronische Version dieses Artikels ist vollständig und ist verfügbar unter: http://www.egms.de/de/journals/mibe/2008-4/mibe000062.shtml

Veröffentlicht: 28. Februar 2008

© 2008 Ohmann et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielfältigt, verbreitet und öffentlich zugänglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Zusammenfassung

Bei Investigator Initiated Trials (IITs) werden alternative risikoadaptierte Monitoring-Strategien in Abhängigkeit vom individuellen Studiendesign und dem Risikoprofil diskutiert, um bei oft restriktiven Ressourcen eine den gesetzlichen Vorgaben genügende Qualität der Studiendurchführung und der Daten zu gewährleisten. Aufgrund einer Literaturanalyse sollten in der vorliegenden Arbeit Untersuchungen ausgewertet werden, in denen quantitative Aussagen zu Datenqualität und Prüfplan-Compliance in klinischen Prüfungen gemacht wurden. Bei der Interpretation der Ergebnisse sollten die implementierten Qualitätssicherungsmaßnahmen berücksichtigt werden.

Aufgrund einer systematischen Recherche in MEDLINE konnten 21 Publikationen [1], [2], [3], [4], [5], [6], [7], [8], [9], [10], [11], [12], [13], [14], [15], [16], [17], [18], [19], [20], [21] identifiziert werden, bei denen die Daten- und Prozessqualität in klinischen Prüfungen untersucht, die Qualität durch Überprüfungen mit Source Data Verification vor Ort oder Überprüfung übermittelter Quelldaten in der Studienzentrale ermittelt wurde und quantitative Informationen zu den Bereichen Datenqualität, Protokoll-Compliance oder Defizite bei Einwilligungserklärungen vorlagen. Die Mehrzahl der Untersuchungen ist drei Organisationen zuzuordnen: European Organization für Research and Treatment of Cancer (EORTC) (n=7), National Cancer Institute (NCI) (n=7) und Untersuchungen der Trans-Tasman Radiation Oncology Group (TROG) (n=4). Darüber hinaus wurden drei Untersuchungen weiterer Studiengruppen identifiziert. Die Untersuchungen wurden im Zeitraum von 1981 bis 2003 publiziert.

Überwiegend wurden in der Literatur onkologische Studien betrachtet (n=19), wobei die Radiotherapie im Vordergrund stand (n=8). Für die EORTC-Studien wurde in der Regel eine gute Datenqualität berichtet (80-90% korrekte Daten). Punktuelle Probleme wurden im Hinblick auf die Protokoll-Compliance und das Berichten von Nebenwirkungen/schwerwiegenden unerwünschten Ereignissen festgestellt. Eine gute Qualität wurde ebenfalls bzgl. des korrekten Einschlusses von Patienten beobachtet. Durch das NCI wurde ein standardisiertes Audit-System eingeführt und innerhalb von kooperativen Studiengruppen implementiert. Im Rahmen dieser Audits wurden verschiedene Kriterien überprüft und eine überwiegend gute Datenqualität und Protokoll-Compliance festgestellt. Mängel wurden in ca. 5% der Fälle im Hinblick auf die Einwilligungserklärung, die korrekte Anwendung der Einschlusskriterien, Protokollverletzungen, bei der Ermittlung des Zielkriteriums, der Erfassung der Toxizität, der adäquaten Datenlieferung und bei der Datenverifikation beobachtet. In einzelnen Untersuchungen ergaben sich Probleme mit der Behandlungscompliance (10-20%), bei Protokollabweichungen im Hinblick auf die Arzneimitteldosis (10%) und bei der Drug Accountability (15%). Von der TROG wurde ein Qualitätssicherungsprozess implementiert, der auf zentralem Monitoring von kopierten Quelldaten basiert. Durch den Qualitätssicherungsansatz der TROG konnten schwerwiegende Probleme mit der Protokoll-Compliance unter 10% gesenkt werden, ebenso konnte eine gute Datenqualität mit einer Fehlerrate unter 5% erreicht werden. Die korrekte Handhabung von Ein- und Ausschlusskriterien stellte in Einzelfällen ein Problem dar.

Zusammenfassend kann festgestellt werden, dass die in dem Review erfassten Studiengruppen von einer guten Datenqualität und einer guten bis moderaten Protokoll-Compliance berichten. Diese basiert nach Aussage der Autoren im wesentlichen auf etablierten Qualitätssicherungs-Prozeduren, wobei das durchgeführte Audit ebenfalls einen potentiellen Einflussfaktor darstellt. Geringe Probleme wurden in der Regel im Hinblick auf die Einwilligungserklärung, die korrekte Handhabung der Ein- und Ausschlusskriterien und die Datenqualität beobachtet. In einzelnen Studien gab es jedoch Probleme mit der Protokoll-Compliance. Insgesamt hängen Anzahl und Art der Mängel von dem Studientyp, dem Qualitätsmanagement und der Organisation der Studiengruppe ab. Wissenschaftsbetrug wurde nur in sehr wenigen Fällen durch die Audits festgestellt. Die vorgelegten Informationen beziehen sich nahezu ausschließlich auf etablierte Studiengruppen; bezüglich Datenqualität und Protokoll-Compliance außerhalb der Studiengruppen liegen kaum Informationen in der Literatur vor. Bei der Bewertung der Ergebnisse sollte berücksichtigt werden, dass es sich zum Teil um Eigenauswertungen der Studiengruppen und nicht um unabhängige externe Prüfungen (z.B. externe Audits) handelt. Inwieweit die Ergebnisse einer konsequenten Überprüfung nach derzeitigen Good Clinical Practice (GCP) – Regeln standhalten würden, kann aus der Analyse nicht beantwortet werden.

Aus der vorliegenden Literaturanalyse ergeben sich Konsequenzen für die Planung einer prospektiven kontrollierten Studie zum Vergleich unterschiedlicher Monitoring-Strategien. Wesentlicher Einflussfaktor für die Datenqualität und Protokollcompliance in einer klinischen Studie ist das Qualitätsmanagement. Dieses Qualitätsmanagement umfasst neben Monitoring zahlreiche andere Maßnahmen. Um zu einer Bewertung von Monitoringstrategien kommen zu können, müssen daher alle Qualitätssicherungsmaßnahmen im Rahmen einer Studie berücksichtigt werden. Für den Vergleich unterschiedlicher Monitoringstrategien sind geeignete Zielparameter zu definieren (z.B. schwerwiegende Defizite bzgl. Ein- und Ausschlusskriterien, Sicherheit). Die vorliegende Analyse ergibt, dass bei gutem Qualitätsmanagement ohne umfassendes vor Ort Monitoring schwerwiegende Fehler nur mit relativ niedriger Häufigkeit festgestellt wurden. Unterschiede zwischen Monitoringstrategien könnten, gegeben ein funktionierendes Qualitätsmanagementssystem, sich als quantitativ gering erweisen. Testet man auf Äquivalenz von Monitoringstrategien, sind nur niedrige Differenzen zu akzeptieren, was wiederum eine Auswirkung auf die Fallzahlplanung hat. Weiterhin muss berücksichtigt werden, dass zur Feststellung der Auswirkung unterschiedlicher Monitoringstrategien auf die Sicherheit der Patienten und die Validität der Daten im Rahmen einer kontrollierten Untersuchung ein unabhängiges Audit notwendig ist. Dabei ist zu berücksichtigen, dass ein Audit bereits einen möglichen Einflussfaktor für die Datenqualität und Protokoll-Compliance darstellen kann, und damit eine Bewertung des Nutzens einer Monitoringstrategie erschwert werden könnte.

Schlüsselwörter: systematisches Review, Datenqualität, Protokoll-Compliance, klinische Studie

Abstract

For Investigator Initiated Trials (IITs) alternative risk-adapted monitoring strategies are discussed in order to fulfill rules and regulations, taking into consideration the restricted resources. In this systematic review investigations, presenting quantitative data about data quality and protocol compliance in clinical trials, are analyzed. The results are discussed taking into account the quality assurance procedures implemented.

Based on a systematic MEDLINE retrieval, 21 studies [1], [2], [3], [4], [5], [6], [7], [8], [9], [10], [11], [12], [13], [14], [15], [16], [17], [18], [19], [20], [21] could be identified in which data and process quality in clinical trials were investigated and assessed by site visits with source data verification or review of copied source data in the study center and quantitative information about data quality and protocol compliance was available. The majority of investigations were performed by three organizations: European Organization for Research and Treatment of Cancer (EORTC) (n=7), National Cancer Institute (NCI) (n=7) and investigations of the Trans-Tasman Radiation Oncology Group (TROG) (n=4). In addition three investigations of other study groups were identified. The investigations were published between 1981 and 2003.

In the majority of cases oncological trials were investigated (n=19) with a focus on radiotherapy trials (n=8). In the EORTC-trials an overall good data quality was assessed (80–90% correct data). Singular problems were found with respect to protocol compliance and reporting of adverse reactions and serious unexpected events. Good quality was also observed with respect to the correct inclusion of patients into trials. By the NCI a standardized audit system was introduced and implemented within cooperative study groups. In the context of these audits different criteria were assessed and a good data quality and protocol compliance were measured. Deficits occurred in about 5% of the cases with respect to informed consent, correct application of inclusion criteria, protocol compliance, assessment of outcome criteria, assessment of toxicity, adequate data reporting and data verification. In some investigations problems with treatment compliance (10-20%), drug dose deviations (10%) and drug accountability (15%) were identified. By the TROG a quality assurance procedure was implemented, based on central monitoring of copied source data. By this approach major problems with protocol compliance could be reduced to less than 10% together with a good data quality with an error rate under 5%. The correct handling of in- and exclusion criteria was a problem in individual cases.

In summary we found out that good data quality and good to moderate protocol compliance were reported by the study groups that are included in the systematic review. Due to the authors this is mainly due to an established quality assurance system, taking into consideration that audits itself may be an influential factor. Generally, minor problems were observed with respect to informed consent, correct handling of in- and exclusion criteria and data quality, however, in some studies there were problems with protocol compliance. Overall, number and type of deficits depend on study type, quality management and organization of the study group. Fraud was detected only in very few cases. The available evidence refers mainly to established study groups; for data quality and protocol compliance outside these groups only few information is available. However, it should be taken into consideration, that the analysis was performed, at least partly, by the study groups themselves and is not based on independent audits (e.g. external audits). The analysis cannot answer the question whether the results would have been replicable if a strict review according to criteria of Good Clinical Practice (GCP) would have been performed.

From the systematic review consequences have to be taken for planning a prospective controlled trial comparing different monitoring strategies. The main influence factor for data quality and protocol compliance in a clinical trial is the quality management system. Quality management covers several other measures apart from monitoring. In order to assess monitoring strategies, all quality assurance procedures within a clinical trial have to be taken into consideration. For the comparison of different monitoring strategies adequate outcome parameter have to be defined (e.g. severe deficits with respect to inclusion and exclusion criteria, safety). The analysis indicates that with good quality management and no extensive on-site monitoring severe errors were detected only at relative low frequency. It could well be that with an efficient quality management system differences between monitoring strategies would be small. In order to demonstrate statistical equivalence of monitoring strategies, only small differences can be accepted which again leads to consequences for the sample-size calculation. In addition, it must be taken into consideration that within a controlled trial an independent audit is necessary to assess the effect of different monitoring strategies on the safety of patients and the quality of data. Audits however may be a possible influence factor for data quality and protocol compliance and may complicate the evaluation of the benefit of a monitoring strategy.

Keywords: systematic review, data quality, protocol compliance, clinical trial


Einleitung

Nach ICH E6/GCP [22] versteht man unter Qualitätssicherung:

„Alle geplanten und systematischen Maßnahmen, die implementiert sind und sicherstellen sollen, dass die klinische Prüfung gemäß der Guten klinischen Praxis (GCP) und den geltenden gesetzlichen Bestimmungen durchgeführt wird und dass die Daten entsprechend erhoben, dokumentiert (aufgezeichnet) und berichtet werden.

Qualitätskontrolle ist Teil der Qualitätssicherung und umfasst:

Arbeitstechniken und Aktivitäten, die innerhalb des Systems der Qualitätssicherung eingesetzt werden, um nachzuweisen, dass die Anforderungen an die Qualität der prüfungsbezogenen Aktivitäten erfüllt wurden.

Anhand der Qualitätskontrolle wird überprüft, inwieweit das Ergebnis den spezifizierten Anforderungen entspricht, wohingegen Qualitätssicherung sich auf den gesamten Prozess der klinischen Studie bezieht [23], [24], [25]. Qualitätssicherungsmaßnahmen umfassen viele Aspekte, so z.B. interne Verfahrensvorschriften (SOPs) und Systeme und Verfahren zur Gewährleistung der Qualifikation des Personals. Qualitätssicherung oder das umfassendere Qualitätsmanagement werden in der Regel auf der Basis geeigneter Methoden (z.B. PDCA (Plan Do Check Act) -Zyklus) und Standards (z.B. ISO (International Organization for Standardization)) konzipiert und durchgeführt [24]. In einem Positionspapier haben Knatterud et al. [26] praktische Leitlinien für die Qualitätssicherung in klinischen Studien entwickelt. Dabei werden drei Aspekte unterschieden: Prävention, Entdeckung und Aktion. Viele Qualitätsprobleme können durch gute Studienprotokolle, geeignete Manuale, ausgetestete Case Report Forms (CRFs) und intensives Training der Studienbeteiligten verhindert werden [25]. Wesentliche Maßnahmen zur Entdeckung von Qualitätsproblemen sind Monitoring, Audits, Datenmanagement und statistische Qualitätskontrollen [26], [27], [28]. In Tabelle 1 [Tab. 1] sind beispielhaft Maßnahmen der Qualitätssicherung bei multizentrischen klinischen Studien dargestellt, mit denen Qualitätsprobleme aufgedeckt werden können.

Werden Defizite entdeckt, sind geeignete Maßnahmen zu ergreifen, so z.B. Nachfragen (Queries), Korrekturmaßnahmen („corrective action plan“), Reaudits oder die Umsetzung spezifischer Empfehlungen. Um zu einer Bewertung geeigneter Monitoringstrategien zu kommen, sollte Monitoring nicht isoliert sondern als integraler Bestandteil der Qualitätssicherung betrachtet werden.

Nach der ICH E6/GCP-Leitlinie [22] ist Monitoring definiert als:

Die Überwachung des Fortgangs der klinischen Prüfung sowie die Sicherstellung, dass diese gemäß Prüfplan, Standardarbeitsanweisungen (SOPs), Guter klinischer Praxis (GCP) sowie der geltenden gesetzlichen Bestimmungen durchgeführt, dokumentiert und berichtet wird.

Der Zweck des Monitoring ist ebenfalls in dieser Leitlinie festgelegt:

Mit dem Monitoring der Studie soll verifiziert werden, dass:
a) die Rechte und das Wohlergehen der Prüfungsteilnehmer geschützt werden.
b) die berichteten Prüfungsdaten korrekt, vollständig und anhand der Originalunterlagen nachprüfbar sind.
c) die Durchführung der klinischen Prüfung in Übereinstimmung mit dem gültigen Prüfplan, der/den gültigen Prüfplanänderung(en), mit GCP und den geltenden gesetzlichen Bestimmungen erfolgt.

Die Notwendigkeit für Monitoring vor Ort begründet sich aus Beobachtungen, dass die Datenqualität in klinischen Prüfungen nicht optimal ist und dass nicht immer gemäß Prüfplan, GCP und geltenden gesetzlichen Bestimmungen vorgegangen wird. Eine besondere Rolle spielen, nicht zuletzt wegen der großen Öffentlichkeitswirksamkeit, Berichte zu Betrug und Fälschungen in klinischen Studien. Auch die im Rahmen routinemäßiger Audits von Zulassungsbehörden festgestellten Defizite klinischer Studien unterstützen die Notwendigkeit für Monitoring.

Umfang und Art des Monitorings sind ebenfalls in der GCP-Leitlinie [22] definiert:

Der Sponsor sollte sicherstellen, dass die klinischen Prüfungen angemessen überwacht werden. Der Sponsor sollte den geeigneten Umfang und die Art des Monitorings festlegen, basierend auf Überlegungen wie Zielsetzung, Zweck, Planung, Komplexität, Verblindung, Umfang und Zielparameter der klinischen Prüfung. Im Allgemeinen muss ein Monitoring vor Ort vor, während und nach der klinischen Prüfung stattfinden. In Ausnahmefällen kann der Sponsor jedoch entscheiden, dass ein zentrales Monitoring zusammen mit Maßnahmen wie Schulungen und Prüfertreffen und ausführlichen schriftlichen Anleitungen eine ordnungsgemäße Durchführung der klinischen Prüfung in Übereinstimmung mit GCP gewährleisten kann. Eine statistisch kontrollierte Stichprobennahme kann ein annehmbares Verfahren zur Auswahl nachzuprüfender Daten darstellen.

Umfang und Art des Monitoring in industriegesponsorten zulassungsrelevanten Studien sind weitgehend standardisiert und basieren auf Besuchen vor Ort und dort mit weitgehender Quelldatenüberprüfung (Source Data Verification). Dagegen wird in Investigator Initiated Trials (IITs), historisch und finanziell bedingt, häufig nur ein eingeschränktes vor Ort Monitoring durchgeführt. Durch die 12./14. Novellierung des Arzneimittelgesetzes (AMG) [29] und die GCP-Verordnung [30] wurde Monitoring nun auch für IITs verpflichtend gemacht. Da in IITs, im Gegensatz zu industriegesponsorten Studien, häufig zugelassene Arzneimittel mit bekannten Wirkungs- und Nebenwirkungsspektrum eingesetzt werden, werden hier alternative risikoadaptierte Monitoringstrategien in Abhängigkeit vom individuellen Studiendesign und dem Risikoprofil diskutiert, die bei oft restriktiven Ressourcen eine den gesetzlichen Vorgaben genügende Qualität der Studiendurchführung und der Daten gewährleisten sollen.

Als Grundlage für die Definition geeigneter Monitoringstrategien in IITs sollte die tatsächlich erzielte Prozess- und Datenqualität in klinischen Prüfungen herangezogen werden. Diese hängt von vielen Faktoren, aber vor allen Dingen von dem Qualitätsmanagement einer Studie ab. Dabei stellt Monitoring, wie bereits ausgeführt, nur einen Teilaspekt dar. Um zu einer Bewertung der Prozess- und Datenqualität einer klinischen Prüfung zu kommen, müssen alle im Rahmen einer klinischen Prüfung implementierten Qualitätssicherungsmaßnahmen berücksichtigt werden.

Es ist bekannt, dass in etablierten Studiengruppen unterschiedliche Qualitätssicherungsmaßnahmen zur Anwendung kommen. In der European Organisation für Research and Treatment of Cancer (EORTC) wurden durch Qualitätssicherungskommittes der unterschiedlichen Studiengruppen in Zusammenarbeit mit dem EORTC-Datenzentrum umfangreiche Qualitätssicherungsprozesse definiert und umgesetzt, beispielsweise für die Bereiche Datenmanagement, Erhebung der Toxizität und Durchführung der Chemotherapie [31], [32]. Die durch das National Cancer Institute (NCI) unterstützten kooperativen Studiengruppen basieren ihr Qualitätsmanagement auf drei Säulen: Prüfer und Studienassistenten im Prüfzentrum, zentrales Datenmanagement mit umfassendem Datenreview und Überprüfung der Protokoll-Compliance durch sogenannte „study chairpersons“ sowie bei Bedarf Referenzuntersuchungen (z.B. Pathologie, Chirurgie, Radiologie) [33]. In der Literatur finden sich darüber hinaus zahlreiche Publikationen, die für individuelle Studien das Qualitätsmanagement detailliert beschreiben (z.B. [34]).

In dem vorliegenden Bericht sollen Publikationen ausgewertet werden, in denen quantitative Aussagen zur Qualität der Daten und der protokollgerechten Durchführung einer Studie gemacht werden. Diese Auswertung soll die Grundlage für die Entwicklung geeigneter Monitoringstrategien bei IITs darstellen und vor allen Dingen in das geplante Untersuchungsprotokoll zum kontrollierten Vergleich verschiedener Monitoringstrategien einfließen. Hierbei handelt es sich um ein geplantes Projekt der Telematikplattform für Medizinische Forschungsnetze e.V. (TMF) (Koordination: O. Brosteanu), bei dem im Rahmen einer cluster-randomisierten Studie bei nicht-kommerziellen IITs untersucht werden soll, ob eine studienspezifische adaptierte reduzierte vor Ort Monitoringstrategie im Vergleich zu einem umfangreichen vollen Monitoring nach kommerziellen Standards gleichwertig ist.

Ein wesentliches Tool zur Überprüfung der Qualität einer Studie stellt neben dem Monitoring das Audit dar. Nach ICH-GCP [22] ist Audit definiert als:

Eine systematische und unabhängige Überprüfung der mit der klinischen Prüfung in Zusammenhang stehenden Aktivitäten und Dokumente zur Feststellung, ob die überprüften studienbezogenen Aktivitäten gemäß Prüfplan, den Standardarbeitsanweisungen (SOPs, Standard Operating Procedures) des Sponsors, der Guten Klinischen Praxis (GCP) sowie den geltenden gesetzlichen Bestimmungen durchgeführt wurden und ob die Daten gemäß diesen Anforderungen dokumentiert, ausgewertet und korrekt berichtet wurden.

Ein Audit stellt jedoch nicht nur ein Instrument zur Überprüfung der Qualität dar, sondern beeinflusst selber, sei es durch Ankündigung des Audits aber auch durch Feedback oder Konsequenzen eines Audits, die Qualität einer laufenden und zukünftiger Studien. Die Tatsache alleine, dass ein Audit angekündigt oder durchgeführt wird, beeinflusst bereits die Qualität („Hawthorne-Effekt“). Audits sind immer als eine Maßnahme der Qualitätssicherung zu sehen und bestimmen damit auch die Daten- und Prozessqualität einer klinischen Prüfung. Audit als ein Einflussfaktor für die Qualität muss daher bei der Bewertung publizierter Studien berücksichtigt werden. Beispielhaft sollen hier die regelmäßig durchgeführten Audits innerhalb der durch das NCI unterstützten kooperativen Gruppen [33] und die Audits zur Datenüberprüfung durch das EORTC [31] genannt werden.

Im folgenden werden Untersuchungen ausgewertet, bei denen aufgrund von Überprüfungen (z.B. Audit) quantitative Aussagen zu Datenqualität und Prüfplancompliance in klinischen Prüfungen gemacht werden. Bei der Interpretation der Ergebnisse sollen die implementierten Qualitätssicherungsmaßnahmen (einschließlich des Audits) berücksichtigt werden.


Material und Methoden

Systematische Übersichtsarbeiten zur Daten- und Prozessqualität in klinischen Prüfungen liegen derzeit nicht vor. Im Rahmen des TMF-Projektes „Leitlinie zum adaptiven Management von Datenqualität in Kohortenstudien und Registern“ (Projektleitung: J. Stausberg, Essen) wurde eine systematische Sichtung der Literatur in den Bereichen „Qualitätsmessung in Medizin und Industrie, Qualitätsindikatoren, statistische Methoden in der Qualitätssicherung, Qualitätslenkung, Ringversuche sowie Richtlinien/Empfehlungen für die Erstellung und den Inhalt medizinischer Leitlinien“ durchgeführt [35]. Die verwendeten Suchmuster umfassten Schlagworte/MeSH-(Medical Subject Headings) Terms, wie z.B. „quality control“, „data quality“, „monitoring“ und „source data verification“ . In der Literatursichtung wurde auch die Datenqualität in klinischen Studien betrachtet. Dieser Bereich wurde jedoch nur in dem Maße betrachtet, in dem eine direkte Übernahme der Ergebnisse für Register und Kohortenstudien möglich erschien. Die in diesem Bericht identifizierten Literaturstellen wurde in dem vorliegenden Bericht berücksichtigt.

Grundlage des vorliegenden Berichts bildete eine eigene Recherche in MEDLINE (Medical Literature Analysis and Retrieval System Online) (Ovid Medline, 1966 bis März Woche 2, 2006).

Für die Suchanfrage wurden folgende Schlagworte/MeSH-Terms verwendet:

clinical trial.mp or Clinical trial [Publication Type]/and

  • Quality Assurance, Health Care/or quality assurance.mp., Zugriff am 18.3.2006, 627 Treffer or
  • quality control.mp. or Quality Control/, Zugriff am 18.3.2006, 936 Treffer or
  • Medical Audit/or audit.mp, Zugriff am 18.3.2006, 456 Treffer or
  • data quality (title), Zugriff am 18.3.2006, 10 Treffer or
  • monitoring.mp and (Quality Control/or quality assurance.mp or Quality Assurance, Health Care/), Zugriff am 18.3.2006, 151 Treffer or
  • site visit.mp., Zugriff am 18.3.2006, 9 Treffer or
  • source data verification.mp., Zugriff am 18.3.2006, 1 Treffer or
  • data accuracy.mp., Zugriff am 18.3.2006, 3 Treffer

Die Suchmuster wurden bewusst breit und redundant ausgelegt, um interessierende Literaturstellen nicht zu übersehen. Erfahrungen in einer Pilotauswertung haben gezeigt, dass potentielle Untersuchungen unterschiedliche Suchmuster erfüllen, so z.B. „quality assurance“, „quality control“, „medical audit“, „monitoring“, „source data verfication“ und „data accuracy“. Eindeutige und schnell zielführende Suchstrategien sind bei der vorliegenden Fragestellung nicht möglich.

Ziel war es, Untersuchungen zu identifizieren, die folgenden Kriterien genügen:

  • Untersuchung der Daten- und Prozessqualität in klinischen Prüfungen
  • Ermittlung der Qualität durch Überprüfungen mit Source Data Verification vor Ort oder Überprüfung übermittelter Quelldaten in der Studienzentrale. Dabei handelt es sich nicht notwendigerweise um ein Audit gemäß GCP.
  • Quantitative Informationen (Raten, Häufigkeiten) aus den Bereichen Datenqualität, Protokoll-Compliance und/oder Defizite bei Einwilligungserklärungen
  • Informationen zur Durchführung und dem Qualitätsmanagement der klinischen Studie

Ausgeschlossen werden sollten Untersuchungen bzw. Ergebnisse von Audits von Regulierungsbehörden (z.B. FDA (Food & Drug Administration)), da diese Daten aus Vertraulichkeitsgründen nur bedingt öffentlich zugänglich sind. Das diesbezüglich verfügbare und zitierbare Material (z.B. Publikationen der FDA) stellt möglicherweise eine Selektion dar und wurde deshalb nicht berücksichtigt.

Da nicht in MEDLINE gelistet, wurden darüber hinaus die Inhaltsverzeichnisse der Zeitschriften Pharmind (ab 4/05), Applied Clinical Trials (ab 7/01) und Deutsche Zeitschrift für Klinische Forschung (ab 3/03) durchgesehen, um mögliche relevante Titel zu identifizieren. Hierbei wurde keine zusätzliche Untersuchung identifiziert, die obige Bedingungen erfüllte.

Zunächst wurden alle Titel der identifizierten Literaturstellen dahingehend ausgewertet, ob möglicherweise eine Untersuchung gemäß obiger Kriterien vorliegt. Ergaben sich diesbezügliche Hinweise aus dem Titel wurde die entsprechende Zusammenfassung der Untersuchung ausgewertet. Gab es hier konkrete Hinweise für eine Studie, die obige Kriterien erfüllt, wurde die vollständige Publikation beschafft und analysiert. In Tabelle 2 [Tab. 2] sind die Anzahl der identifizierten Literaturstellen, der ausgewerteten Abstracts und der ausgewerteten vollständigen Publikationen dargestellt. Insgesamt konnten 15 Untersuchungen identifiziert werden, die mindestens eine der obigen Bedingungen erfüllen. Die in diesen Untersuchungen zitierten Literaturstellen wurden ebenfalls ausgewertet. Hierbei ergaben sich Hinweise auf weitere in Frage kommenden Untersuchungen, von denen 3 die Kriterien erfüllen. 3 weitere Arbeiten wurden mit einem etwas erweiterten Suchmuster identizifiert (siehe Tabelle 3 [Tab. 3]). Diese Untersuchungen wurden über das Suchmuster „clinical trial$.mp“ identifiziert. Insgesamt konnten also 21 Untersuchungen in die Analyse aufgenommen werden. Recherche, Identifikation der Untersuchungen und Auswertung wurden von C. Ohmann durchgeführt.

In Tabelle 3 [Tab. 3] sind die in Abhängigkeit von dem jeweiligen Suchmuster identifizierten Literaturstellen dargestellt. Die überwiegende Anzahl der Arbeiten wurde mit den Begriffen „quality assurance“, „quality control“ and „audit“ identifiziert.

Die Auswertung der Untersuchungen erfolgte mit dem in Tabelle 4 [Tab. 4] dargestellten Dokumentationsbogen.

Unter Datenqualität wird der Grad verstanden, in dem eine Menge von Daten Anforderungen erfüllt [35]. Für klinische Prüfungen ergeben sich diese Anforderungen unter anderem aus GCP. Hier wird gefordert, dass die Daten richtig, leserlich, zeitnah, originär, zuzuordnen, vollständig und konsistent sind (siehe GCP 1.51, 1.52, 4.9.1, 6.4.9). Aus den Untersuchungen sollen Kenngrößen als Indikatoren für die Datenqualität identifiziert werden. Als Indikatoren für Datenqualität werden in dem systematischen Review betrachtet:

  • inkorrekte Dokumentation
  • fehlende Dokumentation
  • inkorrekte Berichte von Nebenwirkungen
  • Defizite bei der Datenverifikation
  • inadäquate Datenlieferung
  • etc.

Die Prozessqualität klinischer Studien ergibt sich aus der Compliance mit dem Studienprotokoll. Diese wird unter anderem durch GCP definiert (siehe GCP 2.6, 6.4.9). Folgende Indikatoren für die Prozessqualität werden in dem Review herangezogen:

  • inadäquate Therapiecompliance/Behandlungskonsistenz
  • inadäquate Pharmakovigilanz
  • Defizite im EK-Verfahren
  • Defizite bei der Einwilligungserklärung
  • inkorrekte Anwendung der Einschlusskriterien
  • Defizite bei der Ermittlung des Zielkriteriums
  • Defizite bei der Ermittlung der Toxizität
  • Probleme mit der Drug Accountability
  • etc.

Um gute von schlechter Daten- oder Prozessqualität unterscheiden zu können bedarf es der Festlegung von Schwellenwerten („cut-off points“) für Qualitätsindikatoren [35]. Bei der Literatursichtung wurden keine evidenz- basierten Empfehlungen für Schwellenwerte gefunden. In Einzelfällen konnte auf Bewertungen von Autoren der jeweiligen Untersuchungen zurückgegriffen werden (z.B. [8]). Die im Rahmen von GCP- Audits und Inspektionen herangezogene Klassifizierung von sogenannten „findings“ („critical, major, minor“) konnte in dem Review nicht herangezogen werden, da diese Klassifikation in den Studien nicht angewendet wurde. Zur Differenzierung von guter und schlechter Qualität wurde von den Autoren dieses Reviews der Schwellenwert pragmatisch auf 5-10% festgelegt. Auffälligkeiten um und unter diesem Schwellenwert wurden interpretativ als gute Qualität bezeichnet.


Ergebnisse

Eingeschlossene Untersuchungen

Die in das Review einbezogenen 21 Untersuchungen sind in Tabelle 5 [Tab. 5] zusammengefasst (siehe auch Anhang 1 [Anh. 1]). Etwa die Hälfte der Studien stammt aus der Zeit vor Inkrafttreten von ICH-GCP und kann daher nicht die derzeitig gültigen GCP-Standards widerspiegeln. In den einbezogenen Untersuchungen wird nicht immer konsequent zwischen Qualitätssicherungs- und Qualitätskontrollmaßnahmen unterschieden. Um Fehldeutungen der Publikationen zu vermeiden, wurde weitgehend die Originalterminologie (z.T. mit Übersetzung) verwendet.

In der Mehrzahl der Untersuchungen werden klinische Studien betrachtet, die drei Organisationen zuzuordnen sind: EORTC-Studien (n=7), NCI-geförderte Studien (n=7) und Untersuchungen der Trans-Tasman Radiation Oncology Group (TROG) (n=4). Darüber hinaus wurden drei Untersuchungen weiterer Studiengruppen identifiziert. Die Untersuchungen überspannen einen Publikationszeitraum von 1981 bis 2003. Überwiegend werden onkologische Studien betrachtet (n =19), wobei die Radiotherapie im Vordergrund steht (n=8). Mehrheitlich werden in den Untersuchungen Ergebnisse aus Überprüfungen mehrerer Studien präsentiert (n=13).

Im folgenden werden die Ergebnisse getrennt nach den Organisationen (EORTC, NCI, TROG, sonstige) dargestellt.

EORTC-Studien

Bei der EORTC spielen Komponenten des zentralen Monitorings eine herausragende Rolle. Vornehmlich werden große Phase III-Studien mit eingeschränkter finanzieller Förderung in etablierten multinationalen Studiengruppen als IITs durchgeführt. In diesen Studien ist das Risikopotential der untersuchten Interventionen bekannt und wird häufig als niedrig eingestuft. Vor Ort Monitoring wird in der Regel nicht durchgeführt. Werden beim zentralen Monitoring Probleme identifiziert, können „for-cause“ Audits initiiert werden. Ist ausreichende finanzielle Unterstützung verfügbar, so wird in Einzelfällen und bei Studien mit großer Fallzahl vor Ort Monitoring durchgeführt. Handelt es sich um IITs mit hohem Risiko (z.B. Phase I), ist in der Regel die Finanzierung gesichert und protokollspezifisches vor Ort Monitoring kann häufig in Zusammenarbeit mit Pharmafirmen und CROs durchgeführt werden. Dieses vor Ort Monitoring ersetzt nicht die zentralen Qualitätssicherungsprozeduren, sondern wird als ergänzende Qualitätssicherungsmaßnahme verstanden (Lacombe, persönliche Information, 2006).

Die im Rahmen von EORTC-Studien durchgeführten Untersuchungen zur Daten- und Prozessqualität in klinischen Studien wurden unter Beteiligung verschiedener EORTC-Gruppen durchgeführt (siehe Tabelle 6 [Tab. 6]). Bereits frühzeitig wurde von der EORTC die Bedeutung von Qualitätskontrollprogrammen für die Qualität multizentrischer onkologischer Studien erkannt. Im Jahre 1982 begann die Radiotherapy Group mit einem „Qualitätskontroll-Programm“. Durch die Study Group on Data Management wurde 1988 ein Programm initiert mit Fokus auf Datenqualität, hauptsächlich bei Chemotherapiestudien. Ab 1990 wurde dann ein spezielles Qualitätsprogramm für die Chemotherapie aufgelegt. Das EORTC-Programm der Study Group on Data Management sieht Besuche vor Ort mit Source Data Verification und ein Besucherpanel unter Einbeziehung externer Personen vor. In die Qualitätssicherungsaktivitäten sind in der Regel Personen des EORTC Data Center und/oder der EORTC Quality Group involviert. In 5 der 6 Untersuchungen wurden Besuche vor Ort vorgenommen und eine Quelldaten-Verifizierung durchgeführt [2], [3], [7], [11], [17]. Dabei handelt es sich primär um ein Audit, allerdings mit Monitoringkomponenten. Ein systematisches vor Ort Monitoring wurde in der Regel nicht durchgeführt. In einer Untersuchung erfolgte die Überprüfung der Quelldaten zentral mit Hilfe einer „individual case review procedure“ [15]. Detaillierte Angaben zu den Qualitätssicherungsprogrammen der EORTC, insbesondere zu Audits (z.B. Auditplanung, Auditumfang, Vorgehensweise, Qualitätsstandard, Qualifikation der Auditoren) können den Arbeiten nur bedingt entnommen werden. Die im folgenden diskutierten Daten stellen offensichtlich das Ergebnis einer Mischung von Qualitätssicherungs- und Qualitätskontrollmaßnahmen dar.

In den von der EORTC-Gruppe durchgeführten Untersuchungen wurden vornehmlich die Datenqualität und die Protokoll-Compliance untersucht. In zwei Untersuchungen wurde der korrekte Studieneinschluss und das korrekte Reporting von „site effects“ betrachtet. Die wesentlichen Ergebnisse der Untersuchungen mit Source Data Verification sind in Tabelle 6 [Tab. 6] dargestellt.

Die erste Untersuchung von Vantongelen [2] betrachtet die Effekte des Datenqualitäts-Kontrollprogramms der Study Group on Data Management und fokussiert ausschließlich auf die Datenqualität. In den Besuchen vor Ort wurde überwiegend eine gute Datenqualität festgestellt. Als Einflussfaktoren für eine gute Datenqualität werden in der Arbeit eine effiziente interne Organisation und ein gutes lokales Datenmonitoring herausgearbeitet. Ebenso wird die Bedeutung des CRF-Designs hervorgehoben.

In der Studie von Steward [11] wurde gemeinsam von der Soft Tissue and Bone Sarcoma Group und der Quality Control Group eine Untersuchung zur Überprüfung der Qualität der Chemotherapie und der Datensammlung konzipiert und durchgeführt. In der Studie wurden zwei Problemfelder identifiziert, fehlende Toxizitätsdaten der Chemotherapie in den Quelldokumenten (30%) und eine verzögerte Durchführung der Chemotherapie (21%). Als Konsequenz wurde die Einführung einer systematischen Checkliste für die Erfassung der Toxizität und die Gabe der Chemotherapie empfohlen. Weiterhin sollten Qualitätssicherungsprogramme auch in den anderen EORTC-Gruppen entwickelt werden.

Die Ergebnisse der Einführung dieser systematischen Checkliste werden in der Publikation von Verweij [7] präsentiert. Durch die Soft Tissue and Bone Sarcoma Group in Zusammenarbeit mit dem EORTC Data Centre wird im Vergleich zu der Studie von Steward [11] eine deutliche Verbesserung bei der Datenqualität festgestellt. Wesentlich verbessert ist auch das Reporting von Nebenwirkungen mit nahezu 90% korrekten Daten. Von den Autoren wird die Benutzung der Checkliste als integraler Bestandteil für die Datensammlung in multizentrischen klinischen Studien sehr empfohlen.

Die Untersuchung von Schaake-Koning [17] stellt eine gemeinsame Qualitätskontroll-Studie der Radiotherapy und der Lung Cancer Cooperative Groups dar. Die Cooperative Group of Radiotherapy verfügt über große Erfahrungen auf dem Gebiet der Qualitätskontrolle radiotherapeutischer Verfahren. Gegenstand der Untersuchung bildet die Protokoll-Compliance, vor allen Dingen der Radiotherapie. In der Untersuchung werden Defizite der protokollgerechten Radiotherapie aufgezeigt, so z.B. 17% unzureichender tumorfreier Rand, 15% ungenügendes Strahlenfeld und 7% unkorrekte Strahlendosis. Abweichungen bei der Chemotherapie wurden bei 10% der Patienten festgestellt. Die Autoren schlussfolgern die Notwendigkeit zur frühen Überprüfung der Therapie-Compliance, um Fehler in der Behandlungsplanung festzustellen und in einem frühen Stadium einer multizentrischen Studie eingreifen zu können.

In der Untersuchung von Favalli [3] wird die Erfahrung der Gynaecological Cancer Cooperative Group mit dem Qualitätssicherungsprogramm für die Chemotherapie dargestellt. Insgesamt werden eine akzeptable Datenqualität und Protokoll-Compliance beobachtet. Die Datenqualität liegt jedoch mit 80% niedriger als in den Studien von Vantongelen [2] und Verweij [7] und bei etwa einem Viertel der Patienten wird die Chemotherapie nicht protokollgerecht angewendet. Negativ hervorzuheben ist der hohe Anteil nicht korrekter Klassifikationen von Nebenwirkungen der Chemotherapie (in 47% der Zyklen). Zwischen den Zentren wurden erhebliche Unterschiede bzgl. der Durchführung der Chemotherapie und der Qualität der Daten festgestellt. Die Autoren fordern Training und Supervision der Datenmanager, Präzision in der Studienprotokollentwicklung, Standardisierung der CRFs und die Anwendung einer Checkliste für Daten zur Chemotherapie und zu Toxizitäten.

Bei der Untersuchung von Kouloulias [15] wird anstelle eines Audit mit Besuchen vor Ort ein „individual case review“ durchgeführt, bei dem die Quelldaten zentral gesammelt und bewertet werden. Es handelt sich um eine Untersuchung der Radiotherapy Group, die seit 1999 in ihren Studien umfangreiche Qualitätsicherungsmaßnahmen durchführt. Gegenstand der Arbeit sind die Datenkonsistenz und die Protokoll-Compliance der Radiotherapie bei einer Zufallsstichprobe. In der Untersuchung werden Variationen im Hinblick auf das behandelte Volumen und die Gesamtdosis festgestellt. Bei ca. 20% der Patienten weicht das Fraktionierungsschema der Strahlentherapie und bei 13% die Chemotherapie von dem Protokoll ab. Zur Verbesserung der interinstitutionellen Konsistenz und um eine hohe Qualität der Behandlung zu erreichen, sollten geeignete Empfehlungen in der frühen Phase einer Studie bereitgestellt werden.

In der Untersuchung von Sylvester et al. [6] ohne Source Data Verfication werden auf der Basis eingesandter Studiendaten durch das EORTC Data Center teilnehmende Zentren mit hoher Rekrutierung mit Zentren niedriger Rekrutierung verglichen (nicht in Tabelle 6 [Tab. 6] enthalten). Dabei wurde eine signifikant bessere Performance hinsichtlich Protokollverletzungen (4% vs. 7%), inkompletten Daten (1% vs. 22%) und korrekter Handhabung von Ein- und Ausschlusskriterien (13% vs. 25%) für Zentren mit hoher Rekrutierung beobachtet.

Zusammenfassend kann festgestellt werden, dass in den EORTC-Studien, die untersucht wurden, die berichtete Datenqualität in der Regel gut, die Protokoll-Compliance und das Berichten von Nebenwirkungen z.T. jedoch verbesserungsbedürftig sind. Eine gute Qualität wurde außerdem bzgl. des korrekten Einschlusses von Patienten in Studien beobachtet.

NCI-geförderte Studien

Das National Cancer Institute unterstützt in großem Maße Krebsstudien in den USA. Im Vordergrund stehen Phase I, II, III-Studien, aber auch Untersuchungen zur Tumorbiologie, Zytogenetik, Pharmokokinetik, Psychoonkologie, Chirurgie, Pathologie und Gesundheitsökonomie werden gefördert. Wesentliche Unterstützung haben die kooperativen Gruppen erhalten, beispielhaft sollen die Cancer and Leukemia Group B (CALGB), die Eastern Cooperative Oncology Group (ECOG), die Southwest Oncology Group (SWOG) und das National Surgical Adjuvant Breast and Bowel Project (NSABP) genannt werden [33]. Jede kooperative Gruppe verfügt über eine zentrale Verwaltung und ein zentrales Datenmanagement- und Statistikzentrum. Protokoll-Compliance und Datenqualität werden wesentlich auf drei Ebenen beeinflusst: Prüfer und Clinical Research Associates (CRAs), zentrales Datenmanagement und „chairpersons“ für die Studie sowie Referenzinstitutionen (z. B. Referenzpathologie). Aufgrund eines Falles von wissenschaftlichem Missbrauch wurde 1978 durch das NCI ein Auditsystem eingeführt und eine Implementierung durch die kooperativen Gruppen gefordert. In einer Vereinbarung mit der FDA hat das NCI die Verantwortung für die adäquate Durchführung der klinischen Prüfungen und die Qualität der Daten übernommen [5]. Das Auditprogramm des NCI soll beispielhaft an dem Vorgehen der Cancer and Leukemia Group B (CALGB) erläutert werden (siehe Tabelle 7 [Tab. 7]). Wesentliches Element der standardisierten Auditprozedur sind die Besuche vor Ort durch Auditteams, die – bis auf den Leiter – diese Besuche freiwillig und ohne Bezahlung durchführen. Audits werden 3-5 Monate vor Durchführung angekündigt und finden mindestens alle 3 Jahre statt. Auditiert werden mind. 10% der Patienten, davon ein Patient unangekündigt. Alle Auditreports werden dem NCI zugesandt. Für die Durchführung der Audits gibt es Leitlinien. Wesentliche Bereiche des Audits betreffen das Ethikkommissionsverfahren, „drug accountability“, „serious adverse events“ (SAEs), Aufklärung und Einwilligung und die Protokoll-Compliance (Einwilligung, Ein- und Ausschlusskriterien, Behandlung, Toxizität, Outcome, Datenqualität) [33].

Das Verfahren der CALGB stellt primär ein Audit dar, allerdings mit Monitoringkomponenten. Ein systematisches vor Ort Monitoring wird nicht durchgeführt. Die im Rahmen der punktuell durchgeführten Auditbesuche (maximaler Zeitabstand 36 Monate) durchgeführten Überprüfungen entsprechend weitgehend denen eines regulären Monitoringbesuchs, wobei anstelle von Monitoren Mitglieder der Studiengruppe als Auditteam diese Aufgabe vornehmen. Insgesamt kann festgestellt werden, dass das NCI-Programm sowohl Qualitätssicherungs- als auch Qualitätskontrollaspekte umfasst, wobei eine klare Trennung nicht immer erkennbar ist.

Für das Review konnten 7 Untersuchungen von vier NCI-geförderten kooperativen Gruppen identifiziert werden. In den Untersuchungen werden mit unterschiedlichen Schwerpunkten Defizite beim Ethikverfahren, der Patienteninformation und Einwilligung, der Protokoll-Compliance, der Erhebung von Zielkriterien, der Datenqualität und der „drug accountability“ betrachtet (siehe Tabelle 8 [Tab. 8]).

Bei der Untersuchung von Begg et al. [4] steht der Vergleich von Mitgliedern der Eastern Cooperative Oncology Group (ECOG) und assoziierten Community-Krankenhäusern im Vordergrund. Im Rahmen einer Matched-Pair Analyse werden Protokoll-Compliance und Datenqualität verglichen, wobei aus der Publikation allerdings nicht klar hervorgeht, auf welcher Datengrundlage dies geschieht. Defizite bei der Anwendung von Ein- und Ausschlusskriterien, in der Protokoll-Compliance und eine inadäquate Datenlieferung werden sowohl bei Mitgliedern als auch bei assoziierten Krankenhäusern bei ca. 5% der Patienten beobachtet, woraus die Autoren schließen, dass Community-Krankenhäuser durchaus an klinischen Studien teilnehmen können, ohne dass eine Beeinträchtigung der Datenqualität entsteht.

Eine umfassende Analyse der ersten drei Jahre des Auditprogramms der kooperativen Gruppen ist in Mauer et al. [10] dargestellt. Die Analyse umfasst Daten von 17 Studiengruppen und über 800 Institutionen und basiert auf Besuchen vor Ort. Insgesamt wird in der Studie eine zufriedenstellende Daten- und Prozessqualität festgestellt. Defizite beim Ethikverfahren, der Einwilligung, der Anwendung von Ein- und Ausschlusskriterien, der Erhebung von Toxizität und Response sowie der Datenqualität liegen jeweils in der Größenordnung von 5% oder leicht darüber. Inkonsistenzen im Hinblick auf eine protokollgerechte Therapie und Probleme mit der Drug Accountability wurden bei 12% und 14% der Patienten beobachtet. Aus Sicht der Autoren ist das Auditprogramm notwendig, um die Performance individueller Institutionen zu überwachen und mögliche Zeittrends zu erfassen.

Weiss et al. berichtet in einem Abstract [8] über 186 Qualitätssicherungsaudits durchgeführt von der Southwest Oncology Group (SWOG). Gegenstand der Untersuchung ist die Überprüfung der Erhebung des Responses. In 5% der Fälle war aufgrund ungenügender Daten ein Vergleich nicht möglich. Differenzen zwischen Prüfer und Auditor wurden nur in 7% der Fälle festgestellt, was als gute Übereinstimmung gewertet wird.

Ein weiteres Abstract von Sunderland et al. [9] berichtet ebenfalls über die Ergebnisse von Audits mit Besuchen vor Ort durch die Southwest Oncology Group. Im Fokus steht die Protokoll-Compliance. Eine große Übereinstimmung zwischen Auditor und Prüfer wurde bzgl. der korrekten Anwendung von Ein- und Ausschlusskriterien sowie für die Erhebung des Response und der Toxizität ermittelt (Unterschiede ca. 5%). Dagegen wurde eine protokollgerechte Therapie nur in 78,5% der Fälle durchgeführt. In der Analyse wurden keine Unterschiede zwischen unterschiedlichen Krankenhaustypen sowie kein Fall von Wissenschaftsmissbrauch festgestellt. Als Konsequenz wird ein unabhängiges Review zur Bestätigung des Therapieresponse (z.B. partielle Remission) und ein „quality control review“ der ersten Zyklen der Chemotherapie empfohlen.

Die Ergebnisse von 11 Jahre Audits der Cancer und Leukemia Group B (CALGB) werden in einer Publikation von Weiss et al. [5] zusammengefasst. Die Auditoren wurden wesentlich aus dem Data Audit Committee der CALGB rekrutiert. Nach dem üblichen Vorgehen des NCI wurde im Rahmen von Besuchen vor Ort ein Quelldatenvergleich vorgenommen, wobei Defizite im Ethikkommissionsverfahren, bei der Einwilligungserklärung, der Anwendung der Ein- und Ausschlusskriterien sowie die Protokoll-Compliance im Hinblick auf die Chemotherapie und Fehler bei der Datenlieferung untersucht wurden. Dabei wurde ein Vergleich zwischen vier Zeitperioden vorgenommen um Trends anzuzeigen. In einem hohen Prozentsatz wurden Probleme mit dem Ethikkommissionsverfahren festgestellt, vor allen Dingen bei den assoziierten Kliniken der kooperativen Gruppe CALGB (28%). Defizite bei der Einwilligungserklärung und inkorrekte Anwendung der Ein- und Ausschlusskriterien nahmen im Zeitverlauf ab und lagen im Zeitraum 1990 bis 1990 bei ca. 5%. Protokollabweichungen bei der Dosis der Arzneimitteltherapie wurden in 11% der Fälle festgestellt. Die Autoren schließen, dass nur in sehr seltenen Fällen wissenschaftliche Inkorrektheiten vorkommen und dass die Protokoll-Compliance bzgl. der Anwendung von Ein- und Ausschlusskriterien und der Erhebung des Tumorresponses hoch ist. Deutliche Verbesserungen wurden im Hinblick auf Einwilligungserklärungen, das Ethikverfahren und die Datenlieferung beobachtet, nicht zuletzt zurückzuführen auf den Druck eines Audits vor Ort.

Aufgrund eines Falles mit Wissenschaftsbetrug wurde ein Audit der Studie B-06 der National Surgical Adjuvant Breast and Bowel Project (NSABP) durch das NCI durchgeführt, um möglichen weiteren Wissenschaftsbetrug und die Korrektheit der Daten zu überprüfen. Die Ergebnisse wurde in einer Publikation von Christian et al. [12] zusammengefasst. Das Audit mit Besuchen vor Ort bestätigte die Qualität der Daten. In etwa 7% der Fälle gab es Defizite bei der Einwilligungserklärung und in 5% wurden Probleme mit der korrekten Anwendung von Ein- und Ausschlusskriterien festgestellt. Diskrepante oder nicht verifizierbare Daten im Hinblick auf die Therapie und den Outcome wurden in 1,5% und 5,3% beobachtet. Nach Aussage der Autoren sind die Ergebnisse des Audits vergleichbar mit anderen Audits und bestätigen die Korrektheit der Daten, mit denen eine Reanalyse unter Ausschluss der gefälschten bzw. fabrizierten Daten durchgeführt wurde.

Die Untersuchung von Wallner et al. [18] beschäftigt sich speziell mit der Qualität der Radiotherapie in klinischen Studien (nicht in Tabelle 7 [Tab. 7] enthalten). Berichtet werden die Erfahrungen der Radiation Therapy Oncology Group (RTOG) mit einem Qualitätskontrollprogramm. Gegenstand der Untersuchung sind die Protokoll-Compliance der Radiotherapie basierend auf einer Inspektion der Daten durch einen radiologischen Onkologen. In etwa 6% der Fälle war eine Bewertung aufgrund fehlender oder verzögert zur Verfügung gestellter Daten nicht möglich. Bezogen auf das Indikationsgebiet der untersuchten Studie (Lunge oder Kopf/Hals) und den betrachteten Parameter (z.B. Dosis, Begrenzung des Strahlenfeldes) werden in der Publikation für den Zeitraum von 1978 bis 1987 anteilmäßig die Radiotherapiepläne spezifiziert, bei denen aufgrund des Review eine Änderung angezeigt war. Die Autoren beschreiben eine markante Verbesserung der Daten durch das Qualitätssicherungsprogramm und stellen fest, dass nach einer schnellen Lernkurve lang andauernde positive Effekte erzielt werden können.

Studien der Trans-Tasman Radiation Oncology Group (TROG)

Vor der Trans-Tasman Radiation Oncology Group wurde ein Qualitätssicherungsprozess implementiert, der auf zentralem Monitoring von kopierten Quelldaten basiert und auf umfassende klinische oder dosimetrische Site-Audits verzichtet [1], [20], [21]. Hierfür wurden zentrale Auditoren eingesetzt, in einer Untersuchung erfolgte das Audit wechselweise durch die Studienzentren [19]. Zur Beurteilung der technischen Compliance der Radiotherapie wurde ein spezielles Klassifikationssystem entwickelt („per protocol, minor variation, major variation, unacceptable variation“) [19].

Von der Trans-Tasman Radiation Oncology Group liegen vier Untersuchungen zu drei kontrollierten randomisierten Therapiestudien vor (96.05, 96.01, 91.01). Es handelt sich dabei ausschließlich um Studien zur Radiotherapie [1], [19], [20], [21]. Gegenstand der Untersuchungen sind der korrekte Einschluss von Studienpatienten, sowie Protokoll-Compliance und Datenqualität bzgl. der Radiotherapie (siehe Tabelle 9 [Tab. 9]).

In der Untersuchung von Hamilton [21] wurden größere Abweichungen der Radiotherapie für die Fraktionierung (5%) und die Plazierung des Strahlenfeldes (11%) festgestellt. Nicht akzeptable Abweichungen fanden sich in jeweils 3% für die Dosis, Fraktionierung und Behandlungszeitpunkt und in 7% für die Platzierung des Strahlenfeldes. Die Autoren schließen, dass die technische Compliance bzgl. der Radiotherapie zufriedenstellend aber nicht optimal ist. Die Datenqualität und -vollständigkeit einiger Zentren wird als nicht zufriedenstellend bezeichnet. Für die Zukunft werden Besuche vor Ort empfohlen.

Die Untersuchung van Roos [20] fokussiert sich auf den korrekten Studieneinschluss von Patienten. In einem ersten Audit wurden Verstöße beim Studieneinschluss in der Höhe von 19% beobachtet. In einem zweiten Audit betrug diese Rate nur noch 2%. Die Autoren stellen fest, dass durch das initiale Audit die weitere Aufmerksamkeit und Compliance mit Ein- und Ausschlusskriterien signifikant verbessert werden konnte.

Die Untersuchung von Steigler [19] demonstriert eine Verbesserung in der Datenqualität und in der Protokoll-Compliance bei der Strahlentherapie. Nur in Ausnahmefällen wurde eine inakzeptable Compliance festgestellt (Behandlungszeitpunkt: 1,8%, Platzierung des Strahlenfeldes: 1,8%). Als wesentliche Faktoren für dieses gute Ergebnis sehen die Autoren das Auditdesign, die Fortbildung des Personals und größere Datenmanagementressourcen. Herausgehoben wird zudem die Bedeutung einer adäquaten Finanzierung einer klinischen Prüfung.

In einer weiteren Studie von Roos [1] wurde ein inakkurater Studieneinschluss bei 8% der Patienten festgestellt. Nichtakzeptable Defizite bei der Strahlentherapie fanden sich in 6% und Probleme bei der Datenqualität in 3%. Die Autoren schlussfolgern, dass Qualitätssicherung eine notwendige aber zeitraubende und herausfordernde Komponente darstellt. Audits zu einem frühen Zeitpunkt der Studie werden empfohlen.

Zusammenfassend kann festgestellt werden, dass durch den Qualitätssicherungsansatz der TROG schwerwiegende Probleme mit der Protokoll-Compliance unter 10% gesenkt werden konnten. Ebenso konnte eine gute Datenqualität mit einer Fehlerrate unter 5% erreicht werden. Die korrekte Handhabung von Ein- und Ausschlusskriterien kann in Einzelfällen ein Problem darstellen.

Sonstige Untersuchungen

Über die Untersuchungen der drei Organisationen hinaus konnten drei weitere Studien identifiziert werden. Dabei handelt es sich um Untersuchungen des National Multicenter HIV/AIDS-Clinical Trial Networks, der Pharmakovigilanz Group von Sandoz Pharmaceuticals und der German Breast Cancer Study Group.

Die Untersuchung von Rouff et al. [13] berichtet über die Rate nicht berichteter „adverse events“ und klinischer Ereignisse sowie die korrekte Anwendung von Ein- und Ausschlusskriterien bei Studien des National Multicenter HIV/AIDS Clinical Trial Networks in den USA. Dabei handelt es sich um ein nationales Programm für klinische Studien (Community Program for Clinical Research on AIDS (CPCRA)), gesponsert durch die Division of AIDS des National Institute of Allergy and Infectious Diseases (NIAID) mit einem Fokus auf Studien in Community-basierten Settings. Die Daten wurden dabei zentral gesammelt und ausgewertet. Für CPCRA-Studien wurde ein umfangreiches Qualitätsprogramm implementiert basierend auf Prinzipien des „continuous quality improvement“ unter Einbeziehung von Mahnbriefen für Patientenkontakte, Fortbildung und Training von Mitarbeitern, Datenevaluierung, „peer support“ und lokalen Datenqualitätsplänen. Für den Zeitraum von 1993 bis 1998 werden auf der Basis eines Datenreviews (Methode unklar) Raten nicht berichteter Nebenwirkungen von 0,1 bis 2,9% und nicht berichteter klinischer Ereignisse von 0 bis 1,2% berichtet. Der Anteil von Patienten, bei denen die Ein- und Ausschlusskriterien nicht strikt angewendet wurden, lag bis auf das Jahr 1991 (5,5%) zwischen 0,5 und 1,4%. Die guten Ergebnisse werden von den Autoren auf die erhöhten Anstrengungen beim Qualitätsmanagement zurückgeführt.

In der Untersuchung von Seegenschmiedt et al. [16] wird die Protokoll-Compliance der Radiotherapie im Rahmen einer Studie der German Breast Cancer Study Group (GBSG) betrachtet. In dieser Studie wurde eine routinemäßige Qualitätskontrolle durch Referenzzentren für Chirurgie, Pathologie und Radiotherapie durchgeführt. Die radiotherapeutischen Daten wurden dabei im Hinblick auf Vollständigkeit und Qualität evaluiert und bewertet. Akzeptable Protokollabweichungen der Radiotherapie wurden bei 41%, nicht akzeptable Abweichungen bei 17,8% der Patienten festgestellt. Bezüglich der Compliance wurde eine Verbesserung mit der Zeit festgestellt. Erhebliche Unterschiede wurden in Abhängigkeit von der Rekrutierung, der Behandlungspräferenz des Zentrums und dem Krankenhaustyp festgestellt.

Postmarketing Surveillance in einer Kohortenstudie ist der Gegenstand der Untersuchung von O’Sullivan et al. [14]. Die Studie wurde gemäß der Leitlinien für Post Marketing Surveillance Studies (PMS) der Pharmacovigilance Group von Sandoz Pharmaceuticals mit erheblichem zusätzlichen Personaleinsatz durchgeführt. Die Datenvalidität wurde mit Hilfe einer stichprobenartigen Source Data Verification festgestellt. Bei 82% der untersuchten Patienten waren alle untersuchten Daten korrekt, die Mehrzahl der Diskrepanzen betraf Begleiterkrankungen oder Begleitmedikation. Dateneingabefehler traten bei 2% der Patienten auf. Korrekte demographische Daten lagen bei 96% der Patienten vor. Durch die im Postmarketing selten angewandte Source Data Verification konnte die augenscheinlich gute Datenqualität bestätigt werden.


Diskussion

Trotz einer umfangreichen Literaturrecherche konnten nur 21 Arbeiten identifiziert werden, bei denen die Datenqualität und Protokoll-Compliance in klinischen Prüfungen untersucht wurde und quantitative Informationen zu den Bereichen Datenqualität, Protokoll-Compliance und korrekte Einwilligungserklärungen vorlagen. Dabei ist bemerkenswert, dass etwa die Hälfte der Untersuchungen aus der Zeit vor Inkrafttreten von ICH-GCP stammt und daher Aussagen zur GCP-Compliance nur bedingt getroffen werden können. Randomisierte kontrollierte Studien oder zumindest quasi-experimentelle Studien zum Vergleich unterschiedlicher Qualitätssicherungsstrategien oder Monitoringverfahren in klinischen Prüfungen wurden nicht gefunden. Insofern kann eine Bewertung unterschiedlicher Ansätze zur Qualitätssicherung nur eingeschränkt erfolgen. Konsequenterweise werden derzeit durch eine französische Arbeitsgruppe und im Rahmen eines durch die TMF geförderten deutschen Projektes cluster-randomisierte kontrollierte Studien geplant, bei denen unterschiedliche Monitoring-Strategien miteinander verglichen werden. Diese Studien sollen die bisher ungeklärte Frage beantworten, welches Ausmaß an Monitoring in IITs notwendig ist, um eine hohe Qualität bei sparsamem Umgang mit Ressourcen zu erzielen.

Quantitative Informationen zur Datenqualität und zur Protokoll-Compliance sind nur eingeschränkt verfügbar und beschränken sich weitgehend auf größere Organisationen, die Studien durchführen (z.B. EORTC, NCI-geförderte kooperative Gruppen, Trans-Tasman Radiation Oncology Group). Die genannten Organisationen verfügen über erhebliche Erfahrungen auf dem Gebiet klinischer Prüfungen und haben mit unterschiedlicher Schwerpunktsetzung im Laufe der Zeit verschiedene Qualitätssicherungsmaßnahmen etabliert. Bei der Interpretation der Ergebnisse muss daher berücksichtigt werden, dass in diesen Organisationen bereits ein hoher Qualitätsstandard vorliegt, der so ohne weiteres auf andere klinische Prüfungen nicht übertragen werden kann. Berücksichtigt werden muss auch das methodische Vorgehen zur Ermittlung der Datenqualität und der Therapie-Compliance. Das EORTC-Konzept basiert auf der Involvierung unterschiedlicher EORTC-Gruppen und sieht Besuche vor Ort mit Source Data Verification vor. Der Fokus der Untersuchung liegt auf der Datenqualität und der Protokoll-Compliance. Für die NCI-geförderten Studien wurde ein umfangreiches Auditprogramm aufgelegt, dessen Effekte durch wechselweisen Besuch vor Ort und Source Data Verification untersucht wurden. Diese Untersuchungen sind breiter angelegt und betrachten auch das Ethikverfahren, Einwilligungserklärungen, den korrekten Studieneinschluss von Patienten, die Erhebung von Zielkriterien, die Protokoll-Compliance, die Datenqualität und Drug Accountability. Gerade vor dem Hintergrund, dass bei den NCI-geförderten Studien Audits regelmäßig stattfinden, ist zu erwarten, dass dieses Vorgehen einen Effekt auf Datenqualität und Protokoll-Compliance hat. In den Untersuchungen der Trans-Tasman Radilogy Oncology Group geht es primär um die Compliance bezüglich der Radiotherapie und die korrekte Dokumentation der Radiotherapie. Hier wird als methodisches Vorgehen ein zentrales Monitoring mit kopierten Quelldaten durchgeführt. Überhaupt ist festzustellen, dass das Problem der Therapie-Compliance und Datenqualität bei radiologischen Studien intensiver untersucht wurde als bei anderen Fragestellungen.

Als Ergebnis der Untersuchungen der EORTC-Gruppen wird berichtet, dass mit zentralem Datenmanagement eine hohe Datenqualität erzielt werden kann. In den Untersuchungen waren 80-90% der Daten korrekt, fehlende oder inkorrekte Daten spielten eine untergeordnete Rolle. Problematisch stellten sich in Einzelfällen fehlende Quelldaten dar, da in diesen Fällen eine Überprüfung nicht möglich war. Demgegenüber wurden bezüglich der Protokoll-Compliance, abhängig von der Fragestellung und der Indikation in einzelnen Untersuchungen Defizite in 20% und mehr der Fälle berichtet. Dies betraf auch Radiotherapie-Protokolle. Die in einer Studie untersuchten Meldungen von Nebenwirkungen der Chemotherapie waren in 90% korrekt. In einer anderen Studie wurden Probleme vor allen Dingen hinsichtlich der Klassifikation von Nebenwirkungen bei Chemotherapie festgestellt. Probleme mit der korrekten Anwendung von Ein- und Ausschlusskriterien traten in unter 10% der Fälle auf. Insgesamt wurde in den EORTC-Studien eine Verbesserung der Ergebnisse über die Zeit beobachtet.

In einer randomisierten EORTC-Studie zur Therapie des Glioblastoms [36], bei der kein vor Ort Monitoring durchgeführt wurde, wurde in einer Stichprobe (18 Zentren, 49% der insgesamt 573 Patienten) ein retrospektives Monitoring durchgeführt. Als Ergebnis des Monitorings berichtet die EORTC nur wenige Diskrepanzen (z.B. in Bezug auf das Hauptzielkriteriums „Tod“ in 5 Fällen Unterschiede im genauen Datum des Todes). Bezüglich der Sicherheit wurden zwar 27 nicht gemeldete schwerwiegende unerwünschte Ereignisse gefunden, allerdings wurden diese als nicht im Kausalzusammenhang mit der Studientherapie stehend eingeschätzt. Zwischen den monitorierten und nicht-monitorierten Patienten seien keine systematischen Unterschiede aufgedeckt worden. Die Daten aus der EORTC-Datenbank seien im Anschluss an das retrospektive Monitoring der EMEA sowie der FDA vorgelegt worden. Über das Ergebnis wurde noch nichts berichtet (Lacombe, Vortrag auf dem Workshop „Alternative monitoring procedures in investigator initiated trials“, Frankfurt, Germany, 3. April 2006).

Eine ebenfalls weitgehend gute Datenqualität und Protokoll-Compliance wurde in den Untersuchungen der kooperativen Gruppen im Rahmen der NCI-geförderten Studien berichtet. Probleme mit der Einwilligungserklärung, der korrekten Handhabung von Ein- und Ausschlusskriterien, der Erhebung von Zielkriterien und Toxizität, der Datenlieferung und der Datenqualität traten nach Angaben der Autoren nur in jeweils etwa 5% der Fälle auf. Punktuell wurden Probleme mit dem Ethikverfahren, mit der Dosierung von Arzneimitteln, der Therapie-Compliance und der „drug Accountability“ beobachtet. Bei den durch die Trans-Tasman Radiology Oncology Group untersuchten Studien mit Radiotherapie wurde eine hohe Radiotherapie-Compliance und Datenqualität berichtet. Unakzeptable Compliance mit der Radiotherapie wurde in 0-7% der Fälle, größere Abweichungen in 0-11% der Fälle festgestellt. Fehlende oder inkorrekte Daten spielten in unter 5% der Fälle eine Rolle. In einer anderen Untersuchung wurden zwei aufeinander folgende Audits durchgeführt; hier konnte eine erhebliche Verbesserung bei der korrekten Einhaltung von Ein- und Ausschlusskriterien beobachtet werden.

Das NCI hat für die geförderten kooperativen Studiengruppen ein Monitoring- und Auditkonzept entwickelt. Dieses sieht vor, dass Prüfzentren durch ärztliche Mitarbeiter der Studiengruppe monitoriert werden, und gleichzeitig ein Audit durch unabhängiges Personal des NCI stattfindet (Details siehe unter http://ctep.cancer.gov/monitoring/guidelines.html; letzte Überarbeitung January 2008). Dieses Konzept wurde versuchsweise in einem Kooperationsprojekt der Arbeitsgemeinschaft Dermatologische Onkologie (ADO), des Koordinierungszentrums für Klinische Studien in Düsseldorf (KKSD) und des Instituts für Medizinische Informationsverarbeitung in Tübingen (IMI) für mehrere Studien der ADO umgesetzt. Im Rahmen einer Arbeitsteilung (ADO: Auswahl von Studien und Zentren, Bereitstellung von Studiendokumenten und Monitoren; Prüfzentren: Bereitstellung der Patientendokumentation und Ansprechpartner; KKSD (J. Albrecht)/IMI (Prof. K. Selbmann): Audits, Organisation und Berichte) wurden im Jahre 2001/2002 zwei Studien monitoriert. Überprüft wurden dabei das Ethikvotum, die Patienteneinwilligung, Protokollcompliance, Ein- und Ausschlusskriterien, Zielkriterien, Toxizität und die Datenqualität. Leider wurden keine quantitativen Analysen zu den aufgedeckten Mängeln berichtet. Als Fazit kann daher nur festgestellt werden, dass eine Übertragbarkeit des NCI-Konzepts auf deutsche Verhältnisse prinzipiell möglich ist. Ob das Konzept einen Ansatz darstellt, der bei der Entwicklung finanzierbarer Alternativen zum herkömmlichen Monitoring Berücksichtigung finden sollte, lässt sich daher nicht definitiv beantworten.

Vor Ort Monitoring als Instrument zur Qualitätssicherung von Daten bei Therapieoptimierungsstudien wurde in einem Projekt der Deutschen Hodgkin-Studiengruppe (DHSG) und des Kompetenznetzes Maligne Lymphome untersucht (Zwischenergebnisse in [37], persönliche Kommunikation Zettelmeyer, 2006). In der Untersuchung wurden 3 Studien ausgewählt, 50 Zentren besucht und 126 auswertbare Patienten retrospektiv monitoriert. Bei diesen Patienten wurde vor Ort ein 100% Source Data Verification durchgeführt (ausgenommen Radiotherapieanteil, der aus logistischen Gründen nicht geprüft wurde). Die Ergebnisse werden derzeit in einer Publikation zusammengestellt. Probleme wurden im Hinblick auf eine korrekte Einwilligungserklärung und eine korrekte Dokumentation (Toxizität, Chemotherapie) festgestellt. Die Resultate bestätigen die in diesem Papier beschriebene Tendenz aus den Veröffentlichungen onkologischer Studiengruppen. Darüber hinaus wurde allerdings auch festgestellt, dass spezifische obligatorische Untersuchungen häufig nicht durchgeführt wurden. Die Ergebnisse des retrospektiven Monitorings haben bereits zu Konsequenzen im Qualitätssicherungskonzept der DHSG geführt (Optimierung von Prozessabläufen, Planung eines prospektiven Monitorings vor Ort).

Ein Thema mit großem Öffentlichkeitsinteresse stellt Wissenschaftsbetrug („fraud“) dar. Wissenschaftsbetrug umfasst nach Definition der US Federal Research Misconduct Policy [38] die Fabrizierung und Fälschung von Daten sowie Plagiarismus. Aktuelle Fälle sind der Fälschungsskandal mit einer Fantasiestudie aus Norwegen [38] und die erfundenen Untersuchungen zur Klonierung menschlicher Embryos im Rahmen der Stammzellforschung des Forschers Hwang [39]. Im Zusammenhang mit klinischen Studien wird ebenfalls von Zeit zu Zeit über Wissenschaftsbetrug berichtet. Ein viel diskutiertes Beispiel betrifft den südafrikanischen Forscher Bezwoda. Aufgrund von vor Ort Audits wurde unter anderem Wissenschaftsbetrug bei einer Studie zur Hochdosis-Chemotherapie bei primären Brustkrebs mit hohem Risiko [40] und bei einer Studie zur Hochdosis- Chemotherapie bei metastasierendem Brustkrebs [41] nachgewiesen. Die Häufigkeit von Wissenschaftsbetrug ist schwer zu bestimmen. Schätzungen postulieren eine Prävalenz in der Größenordnung von ca. 0,4 bis 7% [42], [43]. In das vorliegende systematische Review eingeschlossen wurde eine Untersuchung des NCI, bei der aufgrund eines Falles mit Wissenschaftsbetrug ein Audit einer klinischen Prüfung durchgeführt wurde, um möglichen weiteren Wissenschaftsbetrug und die Korrektheit der Daten zu überprüfen [12]. In dieser Untersuchung konnte kein Hinweis für weitere gefälschte oder fabrizierte Daten gefunden werden. Das Audit bestätigte die Korrektheit der Reanalyse der Daten bei Ausschluss der gefälschten Daten eines Zentrums [44]. In einer weiteren Untersuchung des Reviews wurde von einem schweren wissenschaftlichen Fehler in einem Zentrum berichtet [5]. Dies betraf den nicht korrekten Einschluss von Patienten in eine Studie der Cancer and Leukemia Group B (CALGB). Insgesamt kann davon ausgegangen werden, dass Wissenschaftsbetrug schwer zu entdecken ist und selten festgestellt wird. Die Bedeutung von Monitoring und Audit für die Entdeckung von Wissenschaftsbetrug wird immer wieder betont (z.B. [45], obwohl beispielsweise in FDA-Audits schwere Defizite bei Studien relativ selten beobachtet [45] und Wissenschaftsbetrug noch seltener festgestellt wird [46]. Einzelfälle (z.B. Dr. Fiddes, [47]) zeigen, dass selbst bei umfassendem vor Ort Monitoring Wissenschaftsbetrug nicht unbedingt festgestellt wird. Monitoring bzw. Audit als alleinige Maßnahme zur Entdeckung von Wissenschaftsbetrug reichen nicht aus und müssen durch weitere Maßnahmen, wie z.B. durch geeignete biostatistische Methoden und Leitlinien für die Behandlung von Beschwerden oder Betrugsverdacht komplettiert werden [48].

Die Literaturanalyse zeigt, dass ausgewiesene klinische Studiengruppen eine gute Datenqualität und eine akzeptable Protokoll-Compliance berichten. Dieses ist nach Aussage der Autoren im wesentlichen auf die etablierten Qualitätssicherungsverfahren innerhalb der Studiengruppen zurückzuführen. Dabei wurden die berichteten guten Ergebnisse sicherlich zum Teil durch die durchgeführten Audits beeinflusst. Bei der überwiegenden Mehrzahl der Fälle wurden keine Probleme im Hinblick auf die Einwilligungserklärung, die Beachtung der Ein- und Ausschlusskriterien und die Datenqualität beobachtet. Probleme mit der Protokoll-Compliance wurden bei einzelnen Studien beobachtet. Insgesamt bleibt festzustellen, dass Anzahl und Art der Mängel von der Art der Studie, dem Qualitätsmanagement und der Organisation der Studiengruppe abhängen. Wissenschaftsbetrug wurde nur in sehr seltenen Fällen entdeckt. Hinsichtlich Datenqualität und Protokoll-Compliance liegt wenig Information in der Literatur außerhalb etablierter Studiengruppen vor. Bei der Bewertung der Ergebnisse sollte berücksichtigt werden, dass es sich zum Teil um Eigenauswertungen der einbezogenen Studiengruppen handelt und nicht um unabhängige externe Prüfungen. Inwieweit die Ergebnisse einer konsequenten Überprüfung gemäß GCP- Standards standhalten würden, kann mit der Untersuchung nicht beantwortet werden.

Die in diesem Review festgestellten Ergebnisse entsprechen nicht den Inspektionserfahrungen europäischer Behörden und der FDA, die insgesamt weit weniger positiv ausfallen. Leider liegen die diesbezüglichen Ergebnisse aus Vertraulichkeitsgründen häufig nur den Behörden vor und können daher nur bedingt für einen Vergleich herangezogen werden. Publizierte Daten der FDA aus regelmäßig durchgeführten Audits zeigen, dass viele spezifische GCP-Verstöße festgestellt werden, die jedoch relativ selten schwerwiegend sind und zu Konsequenzen führen.

Um zu einer Bewertung adaptierter Monitoring-Strategien zu kommen, muss daher das Qualitätssicherungs-System im Rahmen einer klinischen Studie als ausschlaggebender Einflussfaktor berücksichtigt werden. Kritisch für die Planung einer kontrollierten Studie zum Vergleich unterschiedlicher Monitoring-Strategien ist die Wahl des primären Zielkriteriums. Schwerwiegende und kritische Mängel sind, gegeben ein funktionierendes Qualitätssicherungssystem, auch bei adaptiertem Monitoring, vermutlich nur in relativ seltenen Fällen zu erwarten. Es muss daher von einer niedrigen Inzidenz eines solchen primären Zielkriteriums ausgegangen werden (ca. 5-10% schwerwiegende und kritische Mängel). Dies hat Auswirkungen für die Fallzahlplanung einer möglichen kontrollierten randomisierten Studie. Hinzu kommt, dass ein valider Vergleich verschiedener Monitoring-Strategien nur erfolgen kann, wenn das genannte Hauptzielkriterium im Rahmen unabhängiger Audits in den Prüfzentren erhoben wird. Dabei muss auch berücksichtigt werden, dass das Audit von Monitoring-Strategien im Rahmen einer kontrollierten klinischen Studie selber bereits einen Einfluss auf die Qualität der Daten und die Protokoll-Compliance ausüben kann.


Abkürzungen

  • AMG = Arzneimittelgesetz
  • CALGB = Cancer and Leukemia Group B
  • CPCRA = Community Program for Clinical Research on Aids
  • CRA = Clinical Research Associate
  • CRF = Case Report Form
  • ECOG = Eastern Cooperative Oncology Group
  • EORTC = European Organization for Research and Treatment of Cancer
  • FDA = Food & Drug Administration
  • GBSG = German Breast Cancer Study Group
  • GCP = Good Clinical Practice
  • ICH = International Conference on Harmonisation
  • IIT = Investigator Initiated Trial
  • ISO = International Organization for Standardization
  • MEDLINE = Medical Literature and Retrieval System Online
  • MeSH = Medical Subject Headings
  • NCI = National Cancer Institute
  • NIAID = National Institute of Allergy and Infectious Diseases
  • NSABP = National Surgical Adjuvant Breast and Bowel Project
  • PDCA = Plan Do Check Act
  • PMS = Post Marketing Surveillance Study
  • RTOG = Radiation Therapy Oncology Group
  • SAE = Serious Adverse Event
  • SOP = Standard Operating Procedure
  • SWOG = Southwest Oncology Group
  • TMF = Telematikplattform für Medizinische Forschungsnetze e.V.
  • TROG = Trans-Tasman Radiology Oncology Group

Anmerkung

Danksagung

Die Untersuchung wurde im Rahmen des von der Telematikplattform für Medizinische Forschungsnetze e.V. (TMF) e.V. geförderten Projektes „GCP-konformes Monitoring in Investigator-Initiated Trials (IITs)“ durchgeführt (Projektleitung: Dr. B. Pfistner, Kompetenznetz Maligne Lymphome, Studienzentrale der Deutschen Hodgkin Studiengruppe (DHSG), Universität Köln und Dr. O. Brosteanu, Koordinierungszentrum für Klinische Studien Leipzig (KKSL), Universität Leipzig).

Interessenkonflikte

Keine angegeben.


Literatur

1.
Roos DE, Davis SR, Turner SL, O'Brien PC, Spry NA, Burmeister BH, Hoskin PJ, Ball DL. Quality assurance experience with the randomized neuropathic bone pain trial (Trans-Tasman Radiation Oncology Group, 96.05). Radiother Oncol. 2003;67(2):207-12.
2.
Vantongelen K, Rotmensz N, van der Schueren E. Quality control of validity of data collected in clinical trials. EORTC Study Group on Data Management (SGDM). Eur J Cancer Clin Oncol. 1989;25(8):1241-7.
3.
Favalli G, Vermorken JB, Vantongelen K, Renard J, Van Oosterom AT, Pecorelli S. Quality control in multicentric clinical trials. An experience of the EORTC Gynecological Cancer Cooperative Group. Eur J Cancer. 2000;36(9):1125-33.
4.
Begg CB, Carbone PP, Elson PJ, Zelen M. Participation of community hospitals in clinical trials: analysis of five years of experience in the Eastern Cooperative Oncology Group. N Engl J Med. 1982;306(18):1076-80.
5.
Weiss RB, Vogelzang NJ, Peterson BA, Panasci LC, Carpenter JT, Gavigan M, Sartell K, Frei E 3rd, McIntyre OR. A successful system of scientific data audits for clinical trials. A report from the Cancer and Leukemia Group B. JAMA. 1993;270(4):459-64.
6.
Sylvester RJ, Pinedo HM, De Pauw M, Staquet MJ, Buyse ME, Renard J, Bonadonna G. Quality of institutional participation in multicenter clinical trials. N Engl J Med. 1981;305(15):852-5.
7.
Verweij J, Nielsen OS, Therasse P, van Oosterom AT. The use of a systemic therapy checklist improves the quality of data acquisition and recording in multicentre trials. A study of the EORTC Soft Tissue and Bone Sarcoma Group. Eur J Cancer. 1997;33(7):1045-9.
8.
Weiss GR, Kuebler SK, Clark GM, Kisner DL, Coltman CA; the Southwest Oncology Group Operations Office. Response assessment errors for all southwest oncology group (SWOG) clinical trials are more likely overestimates of response. Proceedings of ASCO. 1987;6:227.
9.
Sunderland M, Kuebler S, Weiss G, Coltman C; SWOG Operations Office. Compliance with protocol: quality assurance (QA) data from the southwest oncology group (SWOG). Proceedings of ASCO. 1987;6:229.
10.
Mauer JK, Hoth DF, Macfarlane DK, Hammershaimb LD, Wittes RE. Site visit monitoring program of the clinical cooperative groups: results of the first 3 years. Cancer Treat Rep. 1985;69(10):1177-87.
11.
Steward WP, Vantongelen K, Verweij J, Thomas D, Van Oosterom AT. Chemotherapy administration and data collection in an EORTC collaborative group--can we trust the results? Eur J Cancer. 1993;29A(7):943-7.
12.
Christian MC, McCabe MS, Korn EL, Abrams JS, Kaplan RS, Friedman MA. The National Cancer Institute audit of the National Surgical Adjuvant Breast and Bowel Project Protocol B-06. N Engl J Med. 1995;333(22):1469-74.
13.
Rouff J, Child C. Application of quality improvement theory and process in a national multicenter HIV/AIDS clinical trials network. Qual Manag Health Care. 2003;12(2):89-96.
14.
O'Sullivan DP, Needham CA, Bangs A, Atkin K, Kendall FD. Postmarketing surveillance of oral terbinafine in the UK: report of a large cohort study. Br J Clin Pharmacol. 1996;42(5):559-65.
15.
Kouloulias VE, Bosset JF, van Tienhoven G, Davis BJ, Pierart M, Poortmans P; EORTC Radiotherapy Group. European Organization for Research and Treatment of Cancer. Quality assurance in the EORTC 22921 trial on preoperative radiotherapy with or without chemotherapy for resectable rectal cancer: evaluation of the individual case review procedure. Eur J Cancer. 2002;38(14):1849-56.
16.
Seegenschmiedt MH, Sauerbrei W, Sauer R, Schumacher M, Schauer A, Rauschecker HF, Dinkloh H, Dühmke E, Haase KD, Haase W, Heisen E, Heinze HG, Janik I, Szepesi S. Quality control review for radiotherapy of small breast cancer: analysis of 708 patients in the GBSG I trial. German Breast Study Group (GBSG). Strahlenther Onkol. 1993;169(6):339-50.
17.
Schaake-Koning C, Kirkpatrick A, Kröger R, van Zandwijk N, Bartelink H. The need for immediate monitoring of treatment parameters and uniform assessment of patient data in clinical trials. A quality control study of the EORTC Radiotherapy and Lung Cancer Cooperative Groups. Eur J Cancer. 1991;27(5):615-9.
18.
Wallner PE, Lustig RA, Pajak TF, Robinson G, Davis LW, Perez CA, Seydel HG, Marcial VA, Laramore GE. Impact of initial quality control review on study outcome in lung and head/neck cancer studies--review of the Radiation Therapy Oncology Group experience. Int J Radiat Oncol Biol Phys. 1989;17(4):893-900.
19.
Steigler A, Mameghan H, Lamb D, Joseph D, Matthews J, Franklin I, Turner S, Spry N, Poulsen M, North J, Kovacev O, Denham J. A quality assurance audit: phase III trial of maximal androgen deprivation in prostate cancer (TROG 96.01). Australas Radiol. 2000;44(1):65-71.
20.
Roos DE, Davis SR, O'Brien PC, Hoskin PJ, Spry NA, Burmeister BH, Turner SL, Bernshaw DM. Eligibility audits for the randomized neuropathic bone pain trial (TROG 96.05). Australas Radiol. 2000;44(3):303-7.
21.
Hamilton C, Poulsen M, Walker Q, Krawitz H, Hindley A, Spry N, Peters L, Lamb D, Denham J, Steigler A. Quality assurance audit in an Australasian phase III trial of accelerated radiotherapy for head and neck cancer (TROG 91.01). Trans-Tasman Radiation Oncology Group. Australas Radiol. 1999;43(2):227-32.
22.
ICH Topic E6, Guide for Good Clinical Practice. Consolidated Guideline vom 1.5.1996, EMEA CPMP/ICH/135/95, in Kraft getreten am 17.1.97.
23.
Cook S, ed. Surviving quality assurance audits in: Clinical Studies Management: A Practical Guide to Success. Boca Raton: CRC Press LLC; 2004.
24.
Witte PD, Schenk J, Schwarz J, Kori-Linder C, Hrsg. Ordnungsgemäße klinische Prüfung. Good Clinical Practice. Berlin: Habrich; 2000.
25.
Poy E. Objectives of QC systems and QA function in clinical research. Qual Assur. 1993;2(4):326-31.
26.
Knatterud GL, Rockhold FW, George SL, Barton FB, Davis CE, Fairweather WR, Honohan T, Mowery R, O'Neill R. Guidelines for quality assurance in multicenter trials: a position paper. Control Clin Trials. 1998;19(5):477-93.
27.
Svolba G, Bauer P. Statistical quality control in clinical trials. Control Clin Trials. 1999;20(6):519-30.
28.
Gassman JJ, Owen WW, Kuntz TE, Martin JP, Amoroso WP. Data quality assurance, monitoring, and reporting. Control Clin Trials. 1995;16(2 Suppl):104S-136S.
29.
Gesetz über den Verkehr mit Arzneimitteln (Arzneimittelgesetz). In der Fassung vom 26.7.1999, neugefasst durch Bekanntmachung vom 11.12.1998 (BGBI. IS.3586), inklusive zwölftes Gesetz zur Änderung des Arzneimittelgesetzes vom 30. Juli 2004 (BGBI. IS.2031), in Kraft getreten am 06. August 2004, zuletzt geändert durch Artikel 1 des Gesetzes zur Änderung arzneimittelrechtlicher Vorschriften vom 15. April 2005 (BGBI. IS. 1068), in Kraft getreten am 27. April 2005.
30.
Verordnung über die Anwendung der Guten Klinischen Praxis bei der Durchführung von klinischen Prüfung mit Arzneimitteln zur Anwendung am Menschen (GCP- Verordnung - GCP-V). In der Fassung vom 20.12.2001 (BGBI. IS. 3854), geändert durch Artikel 1§10 der Verordnung vom 9.8.2004 (Bundesgesetzblatt Jahrgang 2004, Teil 1, Nr. 42, 12.8.2004).
31.
Therasse P, De Mulder PH. Quality assurance in medical oncology within the EORTC. European Organisation for Research and Treatment of Cancer. Eur J Cancer. 2002;38 Suppl 4:S152-4.
32.
Landheer ML, Therasse P, van de Velde CJ. Quality assurance in surgical oncology (QASO) within the European Organization for Research and Treatment of Cancer (EORTC): current status and future prospects. Eur J Cancer. 2001;37(12):1450-62.
33.
Weiss RB. Systems of protocol review, quality assurance, and data audit. Cancer Chemother Pharmacol. 1998;42 Suppl:S88-92.
34.
Lasser NL, Lamb S, Dischinger P, Kirkpatrick K. Background and organization of quality control in the Multiple Risk Factor Intervention Trial. Control Clin Trials. 1986;7(3 Suppl):1S-16S.
35.
Nonnenmacher M, Weiland D, Stausberg J. Datenqualität in der Medizinischen Forschung. Leitlinie zum adaptiven Management von Datenqualität in Kohortenstudien und Registern. Berlin: Medizinische Wissenschaftliche Verlagsgesellschaft; 2007.
36.
Stupp R, Mason WP, van den Bent MJ, Weller M, Fisher B, Taphoorn MJ, Belanger K, Brandes AA, Marosi C, Bogdahn U, Curschmann J, Janzer RC, Ludwin SK, Gorlia T, Allgeier A, Lacombe D, Cairncross JG, Eisenhauer E, Mirimanoff RO; European Organisation for Research and Treatment of Cancer Brain Tumor and Radiotherapy Groups; National Cancer Institute of Canada Clinical Trials Group. Radiotherapy plus concomitant and adjuvant temozolomide for glioblastoma. N Engl J Med. 2005;352(10):987-96.
37.
Zettelmeyer U, Pfistner B, Diehl V, Paulus U. On-site-Monitoring als Instrument zur Qualitätssicherung von Daten bei Therapieoptimierungsstudien [Abstract]. In: 50. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie (gmds), 12. Jahrestagung der Deutschen Arbeitsgemeinschaft für Epidemiologie. Freiburg im Breisgau, 12.-15.09.2005. Düsseldorf, Köln: German Medical Science; 2005. Doc 05gmds408. Available from: http://www.egms.de/en/meetings/gmds2005/05gmds317.shtml Externer Link
38.
Office of science and technology policy. Proposed federal policy on research misconduct to protect the intergrity of the research record. Federal Register. 1999;64:55722-5.
39.
Ethics and fraud. Nature. 2006;439(7073):117-8.
40.
Weiss RB, Rifkin RM, Stewart FM, Theriault RL, Williams LA, Herman AA, Beveridge RA. High-dose chemotherapy for high-risk primary breast cancer: an on-site review of the Bezwoda study. Lancet. 2000;355(9208):999-1003.
41.
Weiss RB, Gill GG, Hudis CA. An on-site audit of the South African trial of high-dose chemotherapy for metastatic breast cancer and associated publications. J Clin Oncol. 2001;19(11):2771-7.
42.
Schmidt J, Gertzen H, Aschenbrenner KM, Ryholt-Jensen S. Four corporate QA specialists show how they used a combination of on-site audit and biometrical methods to detect cases of fraud by three investigators. Appl Clin Trials. 1995;4:40-9.
43.
O'Donnell P. Facing up to Fraud. Appl Clin Trials. 1993;2:36-40.
44.
NCI issues information on falsified data in NSABP trials. Natl Cancer Inst. 1994;86(7):487-9.
45.
Shapiro MF, Charrow RP. The role of data audits in detecting scientific misconduct. Results of the FDA program. JAMA. 1989;261(17):2505-11.
46.
Bramstedt KA. A study of warning letters issued to clinical investigators by the United States Food and Drug Administration. Clin Invest Med. 2004;27(3):129-34.
47.
Eichenwald K, Kolata G. A doctor's drug studies turn into fraud. NY Times (Print). 1999 May 17:A1, A16.
48.
Buyse M, George SL, Evans S, Geller NL, Ranstam J, Scherrer B, Lesaffre E, Murray G, Edler L, Hutton J, Colton T, Lachenbruch P, Verma BL. The role of biostatistics in the prevention, detection and treatment of fraud in clinical trials. Stat Med. 1999;18(24):3435-51.
49.
Sudbø J, Lee JJ, Lippman SM, Mork J, Sagen S, Flatner N, Ristimäki A, Sudbø A, Mao L, Zhou X, Kildal W, Evensen JF, Reith A, Dannenberg AJ. Non-steroidal anti-inflammatory drugs and the risk of oral cancer: a nested case-control study. Lancet. 2005;366(9494):1359-66. Retraction in: Horton R. Lancet. 2006;367(9508):382.