Properties of the closed testing procedure, with applications in pairwise comparisons and model selection
Master thesis
Permanent lenke
http://hdl.handle.net/11250/2624617Utgivelsesdato
2019Metadata
Vis full innførselSamlinger
Sammendrag
I denne oppgaven diskuterer vi metoder for multippel hypotesetesting generelt, og fokusererspesifikt på lukket testing, introdusert av Marcus et al. (1976). Ulike lukkede testmetoderble brukt for å kontrollere familywise error rate (FWER) ved parvis sammenligning avforventningsverdier. Spesialtilfellet med sammenligning av tre grupper ble undersøkt, hvorlukket testing tilføyer svært lite ekstra beregningstid. Simuleringresultater basert på gener-erte data viser at F-testen fra en-veis variansanalyse gir en sterk lukket testmetode i dettetilfellet, noe som bekrefter tidligere resultater av Shaffer (1981).
Goeman et al. (2011) presenterte en metode som bruker lukket testing for å lage kon-fidensutsagn om false discovery proportion (FDP). Vi har anvendt denne metoden for åutføre modellseleksjon i multippel lineær regresjon, og sammenlignet den med konven-sjonelle metoder som lassoregresjon og modellseleksjon basert på AIC, samt Benjamini& Hochbergs metode (Benjamini and Hochberg, 1995) for kontroll av false discovery rate.Resultater fra simuleringer med data fra ulike, tifeldig genererte lineære modeller tyder påat metodene basert på hypotesetesting var sammenlignbare med konvensjonelle metoder imange tilfeller, og generelt bedre til å identifisere kovariater som påvirker responsvariabe-len. Den FDP-baserte metoden synes allikevel å være for streng i forhold til å gjøre godeprediksjoner på usett data, mens Benjamini & Hochbergs metode ga like gode resultatersom konvensjonelle metoder på dette området. In this thesis we discuss multiple hypothesis testing procedures and their properties ingeneral, and the closed testing procedure introduced by Marcus et al. (1976) in particular.Various closed testing procedures were used to maintain familywise error rate (FWER)control for multiple pairwise comparisons of means. The specific case comparing threegroup means was explored, where the closed testing procedure provides FWER controlwith very little computational cost added. Simulation results using generated data showthat the F-test commonly used in a one-way analysis of variance gives a powerful closedtesting procedure in this scenario, confirming earlier results by Shaffer (1981).
Goeman et al. (2011) presented a way to use closed testing procedures for the purpose ofmaking confidence statements about the false discovery proportion (FDP). This method wasapplied for the purpose of model selection in multiple linear regression, and was comparedto conventional methods such as lasso regression and best subset selection based on theAkaike information criterion (AIC). False discovery rate control with the Benjamini &Hochberg procedure (Benjamini and Hochberg, 1995) was also tested. Simulation resultsusing generated data from various randomly constructed linear models show that theperformance of the multiple testing procedures was similar to that of conventional methodsin many cases, and generally better with respect to identifying relevant covariates. The FDPbased method appeared somewhat strict when it came to making predictions on unseendata, while the Benjamini & Hochberg procedure was comparable to conventional methodsfor this purpose.