dc.contributor.advisor | Bakke, Øyvind | |
dc.contributor.author | Nevjen, Fredrik | |
dc.date.accessioned | 2019-10-26T14:01:11Z | |
dc.date.available | 2019-10-26T14:01:11Z | |
dc.date.issued | 2019 | |
dc.identifier.uri | http://hdl.handle.net/11250/2624617 | |
dc.description.abstract | I denne oppgaven diskuterer vi metoder for multippel hypotesetesting generelt, og fokuserer
spesifikt på lukket testing, introdusert av Marcus et al. (1976). Ulike lukkede testmetoder
ble brukt for å kontrollere familywise error rate (FWER) ved parvis sammenligning av
forventningsverdier. Spesialtilfellet med sammenligning av tre grupper ble undersøkt, hvor
lukket testing tilføyer svært lite ekstra beregningstid. Simuleringresultater basert på gener-
erte data viser at F-testen fra en-veis variansanalyse gir en sterk lukket testmetode i dette
tilfellet, noe som bekrefter tidligere resultater av Shaffer (1981).
Goeman et al. (2011) presenterte en metode som bruker lukket testing for å lage kon-
fidensutsagn om false discovery proportion (FDP). Vi har anvendt denne metoden for å
utføre modellseleksjon i multippel lineær regresjon, og sammenlignet den med konven-
sjonelle metoder som lassoregresjon og modellseleksjon basert på AIC, samt Benjamini
& Hochbergs metode (Benjamini and Hochberg, 1995) for kontroll av false discovery rate.
Resultater fra simuleringer med data fra ulike, tifeldig genererte lineære modeller tyder på
at metodene basert på hypotesetesting var sammenlignbare med konvensjonelle metoder i
mange tilfeller, og generelt bedre til å identifisere kovariater som påvirker responsvariabe-
len. Den FDP-baserte metoden synes allikevel å være for streng i forhold til å gjøre gode
prediksjoner på usett data, mens Benjamini & Hochbergs metode ga like gode resultater
som konvensjonelle metoder på dette området. | |
dc.description.abstract | In this thesis we discuss multiple hypothesis testing procedures and their properties in
general, and the closed testing procedure introduced by Marcus et al. (1976) in particular.
Various closed testing procedures were used to maintain familywise error rate (FWER)
control for multiple pairwise comparisons of means. The specific case comparing three
group means was explored, where the closed testing procedure provides FWER control
with very little computational cost added. Simulation results using generated data show
that the F-test commonly used in a one-way analysis of variance gives a powerful closed
testing procedure in this scenario, confirming earlier results by Shaffer (1981).
Goeman et al. (2011) presented a way to use closed testing procedures for the purpose of
making confidence statements about the false discovery proportion (FDP). This method was
applied for the purpose of model selection in multiple linear regression, and was compared
to conventional methods such as lasso regression and best subset selection based on the
Akaike information criterion (AIC). False discovery rate control with the Benjamini &
Hochberg procedure (Benjamini and Hochberg, 1995) was also tested. Simulation results
using generated data from various randomly constructed linear models show that the
performance of the multiple testing procedures was similar to that of conventional methods
in many cases, and generally better with respect to identifying relevant covariates. The FDP
based method appeared somewhat strict when it came to making predictions on unseen
data, while the Benjamini & Hochberg procedure was comparable to conventional methods
for this purpose. | |
dc.language | eng | |
dc.publisher | NTNU | |
dc.title | Properties of the closed testing procedure, with applications in pairwise comparisons and model selection | |
dc.type | Master thesis | |