Different Approaches for Calculating the Confidence Intervals for the Binomial Proportion

Abstract

Det finnes mange forskjellige metoder for å konstruere konfidensintervall for p i den binomiske fordelingen, der p er sannsynligheten for suksess i hvert forsøk. De kan bli delt inn i to grupper: eksakte og asymptotiske metoder. For eksakte metoder er sannsynligheten for at parameteren p blir dekket av konfidensintervallet høyere eller lik konfidensnivået 1 − α, mens for asymptotiske metoder kan sannsynligheten være mindre (Thulin, 2014, p. 818). I denne avhandlingen skal vi utlede og sammenlikne fire forskjellige metoder, to asymptotiske og to eksakte, hovedsakelig basert på den faktiske dekningsgraden og den forventede lengden til intervallene. De fire diskuterte metodene er Waldmetoden (Laplace, 1812) (med og uten kontinuitetskorreksjon), Wilson-score-metoden (Wilson, 1927), Clopper–Pearson-metoden (Clopper and Pearson, 1934) og Blakermetoden (Blaker, 2000). Dekningsgraden for den orginale Waldmetoden er som oftest utilstrekkelig. I tillegg sliter den med intervaller med lengde lik 0, og at de overstiger 1 eller går under 0. Dekningsgraden er bedre med Waldmetoden med kontinuitetskorreksjon, men intervallene blir unødvendig store og går oftere utenfor intervallet [0,1]. Wilson-score-metoden presterer mye bedre, med gjennomsnittlig dekningsgrad over konfidensnivået for alle n, og med smalere intervaller. Av den grunn konkluderes det med at Wilson-score-metoden er den beste asymptotiske metoden. Clopper–Pearson-metoden er ganske konservativ, med store intervaller og med dekningsgrad som ofte er mye større enn konfidensnivået, med mindre n er veldig stor. Blakermetoden er mindre konservativ enn Clopper–Pearson-metoden, ettersom intervallene er delmengder av Clopper–Pearson-intervallene (Klaschka and Reiczigel, 2021, pp. 1779–1780). De er smalere med dekningsgrad nærmere konfidensnivået for alle n. Den har imidlertid flere uønskede egenskaper som vi ikke ser hos Clopper–Pearson-metoden (Vos and Hudson, 2008, p. 81).

There are plenty of different methods for creating confidence intervals for the binomial proportion, and these can be divided into two groups: exact methods with coverage probability above the confidence level 1 − α, and asymptotic methods, which may have lower coverage probability (Thulin, 2014, p. 818). In this thesis we derive and compare four different methods, two asymptotic and two exact, mainly based on the actual coverage probability and the expected length of the intervals. The four methods are the Wald method (Laplace, 1812) (with and without continuity correction), the Wilson score method (Wilson, 1927), the Clopper– Pearson method (Clopper and Pearson, 1934) and the Blaker method (Blaker, 2000). The coverage probability of the original Wald method is in most cases unsatisfactory. In addition, it struggles with both zero-width intervals and overshooting. Although the coverage probability is better when using the Wald method with continuity correction, the interval becomes unnecessary large and the problem with overshooting worsen. The Wilson score method performs a lot better, with average coverage above the confidence level for all tested n, and narrower intervals. For this reason it proves to be a better choice when going for an asymptotic method. The Clopper–Pearson method is quite conservative, with wide intervals and coverage probability frequently a lot larger than the confidence level, unless when n is very large. The Blaker method produces intervals which are subsets of the Clopper–Pearson intervals (Klaschka and Reiczigel, 2021, pp. 1779–1780), thus they are less conservative. They are narrower with coverage probability closer to the confidence level for every tested n. However, this method has some unwanted properties, that the Clopper–Pearson method does not (Vos and Hudson, 2008, p. 81).