Controlling FWER

Abstract

Bonferroni, Holm (1979), Hochberg (1988) og Hommel's (1988) metoder for multippel hypotese testing vises å ha sterk kontroll av FWER ved å kombinere Bonferroni og Simes' (1986) globale tester med Marcus et al. (1976) lukket test prosedyre. Metodene til Bonferroni og Holm er gyldig for alle p-verdi avhengighets strukturer, og er dermed konservative for alle tilfeller, utenom urealistiske "worst case" scenarioer. Hochberg og Hommel antar PDS, og kan dermed ignorere "worst case" tilfellene, noe som resulterer i mindre konservative metoder. Til slutt bruker vi metodene på uavhengige, positivt avhengige og negativt avhengige tester, og sammenligner de empiriske funnene med de teoretiske konklusjonene.

I tillegg diskuteres p-verdier, med et spesielt fokus på fordelingen av eksakte og gyldige p-verdier tilhørende sanne en-sidige hypoteser.

The multiple testing procedures of Bonferroni, Holm (1979), Hochberg (1988) and Hommel (1988) are shown to have strong control of the family-wise error rate (FWER) by combining the global tests of Bonferroni and Simes (1986) with the closed testing procedure proposed by Marcus et al. (1976). The procedures of Bonferroni and Holm are valid for all p-value dependency structures and are thus conservative for all instances, except for the unrealistic "worst case" scenario. In contrast, Hochberg and Hommel assume positive dependence through stochastic ordering (PDS), allowing them to ignore the "worst case" dependency structure, resulting in less conservative procedures. Finally, we apply the four procedures to independent, positive dependent and negative dependent tests, and compare the empirical results with the theoretical conclusions.

Additionally, we discuss p-values, with a particular emphasis on the distribution of exact and valid p-values associated with true one-sided hypotheses.