gms | German Medical Science

50. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie (gmds)
12. Jahrestagung der Deutschen Arbeitsgemeinschaft für Epidemiologie (dae)

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie
Deutsche Arbeitsgemeinschaft für Epidemiologie

12. bis 15.09.2005, Freiburg im Breisgau

Multiple Testverfahren zur Kontrolle der Anzahl bzw. des Verhältnisses von irrtümlich abgelehnten Hypothesen

Meeting Abstract

Search Medline for

  • Claudia Hemmelmann - Institut für Medizinsiche Statistik, Informatik und Dokumentation, Universität Jena, Jena
  • Sabine Weiss - Zentrum für Hirnforschung, AG Kognitive Neurowissenschaft, Medizinische Universität Wien, Österreich, Wien
  • Rüdiger Vollandt - Institut für Medizinsiche Statistik, Informatik und Dokumentation, Universität Jena, Jena

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie. Deutsche Arbeitsgemeinschaft für Epidemiologie. 50. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie (gmds), 12. Jahrestagung der Deutschen Arbeitsgemeinschaft für Epidemiologie. Freiburg im Breisgau, 12.-15.09.2005. Düsseldorf, Köln: German Medical Science; 2005. Doc05gmds401

The electronic version of this article is the complete one and can be found online at: http://www.egms.de/en/meetings/gmds2005/05gmds267.shtml

Published: September 8, 2005

© 2005 Hemmelmann et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Outline

Text

Einleitung

Bei multiplen Testproblemen finden heutzutage FWE (familywise error rate) kontrollierende Verfahren und auch FDR (false discovery rate) kontrollierende Verfahren am meisten Beachtung. Allerdings sind FWE-Verfahren gerade bei hochdimensionalen Problemen, wie beispielsweise Genexpressions-, fMRT- oder EEG-Daten, zu streng, da sie (bei den üblichen Sicherheiten) keine einzige irrtümlich abgelehnte Hypothese zulassen. Deshalb haben sich in den letzten Jahren FDR-Verfahren immer mehr durchgesetzt. Die FDR ist das erwartete Verhältnis aus der zufälligen Anzahl V der irrtümlich abgelehnten Hypothesen zu der zufälligen Anzahl R der insgesamt abgelehnten Hypothesen (siehe [1]). Der Hauptkritikpunkt an der FDR ist, dass es sich hierbei um einen Erwartungswert handelt. Das heißt, im Einzelfall kann das tatsächliche Verhältnis V/R wesentlich größer sein, als die vorgegebene Schranke.

Es gibt aber durchaus Alternativen zur FWE und FDR. Dabei handelt es sich zum einem um die so genannte „verallgemeinerte“ FWE und zum anderen um die Kontrolle des „aktuellen“ Verhältnisses V/R.

Bei der „verallgemeinerten“ FWE möchte man P(V>u)≤α (u≥0) gewährleisten. Im Spezialfall u=0 ist dies die bekannte FWE-Kontrolle. Um das „aktuelle“ Verhältnis V/R zu kontrollieren, wird P(V/R>γ)≤a für ein γ (0<γ<1) gefordert. Beide Fehlerraten findet man bereits in einer Arbeit von Victor aus dem Jahre 1982 [2].

Im Folgenden wollen wir verschiedene Testverfahren, die diese beiden Fehlerraten kontrollieren, vorstellen und anhand von EEG-Daten vergleichen.

Methoden

Die ersten Verfahren zur Kontrolle der „verallgemeinerten“ FWE wurden von Hommel und Hoffmann in [3] beschrieben. Dabei handelt es sich um Erweiterungen der Bonferroni und der Holm Methode. Die gleichen Verfahren wurden auch von Lehmann und Romano in [4] vorgeschlagen. Des weiteren wurde in [4] ein Verfahren zu Kontrolle von V/R vorgeschlagen. Dieses kann ebenfalls als Verallgemeinerung des Holm Verfahrens aufgefasst werden.

Hier wollen wir lediglich auf die Verallgemeinerungen der Holm Methode näher eingehen. Dabei handelt es sich jeweils um Step-down Verfahren. Will man gewährleisten, dass höchstens u Hypothesen irrtümlich abgelehnt werden, so sind die kritischen Werte α1, ..., αu+1=(u+1)×α/m, αu+2=(u+1)×α/(m-1), αu+3=(u+1)×α/(m-2), ..., αm-1=(u+1)×α/(u+2), αm= α zu wählen, wenn m die Anzahl der Hypothesen ist. Für die Kontrolle von V/R ergeben sich die kritischen Werte αi=α×[γ×i]/(m+[γ×i]-i) (i=1,..., m; [γ×i] ist kleinste ganze Zahl >γ×i).

Zur Veranschaulichung dieser Erweiterungen der Holm Methode sind in Abbildung 1 [Abb. 1] die entsprechenden kritischen Werte für m=40, α=0.05 und γ=0.1 dargestellt. Es ist zu erkennen, dass die kritischen Werte der Methode zur Kontrolle von V/R mit γ=0.1 stückweise mit den kritischen Werten für u=0, 1, 2, 3 übereinstimmen.

Des weiteren betrachten wir zwei Permutationsmethoden aus [5]. Die so genannte Prozedur A gewährleistet P(V>u)≤α (u≥0) und die Prozedur B P(V/R>γ)≤γ (0<γ<1).

In [6] wird ein allgemeiner Ansatz beschrieben, nach dem man jedes FWE- Verfahren so erweitern kann, dass entweder P(V>u) oder P(V/R>γ) kontrolliert wird.

Für den Methodenvergleich wurden die vorgestellten Verfahren auf hochdimensionale Daten aus der EEG-Analyse angewandt. An dem EEG-Experiment haben 23 weibliche Versuchspersonen im Alter von 19-30 Jahren (Ø = 23,6) teilgenommen. Es handelte sich um rechtshändige, monolinguale deutsche Muttersprachlerinnen ohne neurologische Auffälligkeiten. 50 abstrakte deutsche Nomina, die zuvor von einer Sprecherin gesprochen und computergestützt aufgezeichnet und editiert wurden, wurden den Versuchspersonen mittels Computer über Kopfhörer präsentiert. Die mittlere Artikulationslänge der Stimuli betrug 760 ms. Die 50 Stimuli wurden für jede Versuchsperson randomisiert und mit einem Stimulus Onset Intervall (SOI) von 2,5 s in zwei Blöcken zu je 25 Wörtern präsentiert. Die Versuchspersonen hatten die Aufgabe sich die jeweils 25 Wörter zu merken. Am Ende eines jeden Blocks wurden die Versuchpersonen befragt und die jeweils erinnerten Wörter erfasst. Das EEG wurde mit 19 Elektroden (Goldbecher, geklebt) nach dem 10/20-System gegen die gemittelten Signale beider Ohrläppchen ((A1+A2)/2) abgeleitet, gefiltert (0,3-35 Hz) und mit einer Abtastrate von 256 Hz digitalisiert. Es wurden, jeweils vom Wortbeginn 1s-lange EEG-Abschnitte ausgewertet getrennt für erinnerte und nicht erinnerte Wörter. Alle EEG-Abschnitte wurden Fourier-transformiert, für jede Versuchsperson wurden die gemittelten Leistungsspektren für die 19 Elektrodenpositionen sowie die Kreuzleistungsspektren für jede mögliche Elektrodenpaarkombination und jedes untersuchte Frequenzband berechnet. Danach wurden die Kreuzleistungsspektren normiert und so 171 Kohärenzwerte für jede Versuchsperson ermittelt. Untersucht wurden Kohärenzen in den folgenden Frequenzbändern: Delta-1-Band (1-2 Hz), Delta-Band (3-4 Hz) und Theta-Band (5-7 Hz).

Ergebnisse und Diskussion

Die Analyse der Kohärenzen während der Verarbeitung von abstrakten Nomen als Funktion der Gedächtnisleistung lieferte folgende Ergebnisse: Im Vergleich zu den nicht-erinnerten Nomen zeigen sich bei den erinnerten Nomen signifikant höhere Kohärenzen. Die Anzahl der signifikanten Kohärenzen (m=171 Hypothesen) mit den verschiedenen Verfahren sind in Tabelle 1 [Tab. 1] dargestellt.

Wörter werden dann erfolgreich erinnert, wenn während des Hörens und Einspeicherns Gehirnbereiche verstärkt miteinander kooperieren (= hohe Kohärenz). Die EEG-Kohärenzanalyse bietet somit die Möglichkeit während der Wahrnehmung von Wörtern anhand der gemessenen neuronalen Synchronisation im EEG die spätere Erinnerungsleistung zu beurteilen und tendenziell vorherzusagen.

Beim Vergleich der Testverfahren zeigt sich, dass die Permutationsverfahren (Proz. A und B) bei derart hochkorrelierten Daten eine höhere Power haben als die Verfahren von [3] bzw. [4]. Das haben auch unsere Simulationsuntersuchungen bestätigt.

Danksagung

Diese Arbeit wird unterstützt durch die Deutsche Forschungsgemeinschaft (Projekt VO 683/2-1) und den Österreichischen Wissenschaftsfonds FWF (Herta Firnberg-Projekt T127).


Literatur

1.
Benjamini Y, Hochberg Y. Controlling the False Discovery Rate: a Practical and Powerful Approach to Multiple Testing. Journal of the Royal Statistical Society, Series B 1995;57:289-300
2.
Victor N. Exploratory Data-Analysis and Clinical Research. Methods of Information in Medicine 1982;21(2):53-54
3.
Hommel G, Hoffmann T. Controlled Uncertainty. In: Bauer P, Hommel G, Sonnemann E, editors. Multiple Hypotheses Testing. Heidelberg: Springer; 1987. p. 154-161
4.
Lehmann EL, Romano JP. Generalizations of the familywise error rate. Stanford: Department of Statistics, Stanford University; 2003
5.
Korn EL, Troendle JF, McShane LM, Simon R. Controlling the number of false discoveries: Application to high-dimensional genomic data. Journal of Statistical Planning and Inference 2004;124(2):379-398.
6.
van der Laan MJ, Dudoit S, Pollard KS. Multiple Testing. Part III. Procedures for Control of the Generlized Family-Wise Error Rate and Proportion of False Positives; 2004