Оцінка інтервалу біноміального довіри

30

Я використовував наступний код r для оцінки довірчих інтервалів біноміальної пропорції, тому що я розумію, що це замінює "розрахунок потужності" при проектуванні конструкцій характеристичної кривої приймача, що шукають виявлення захворювань у популяції.

n - 150, а захворювання, ми вважаємо, на 25% поширене в популяції. Я підрахував значення для 75% чутливості та 90% специфічності (тому що, здається, це роблять люди).

    binom.test(c(29,9), p=0.75, alternative=c("t"), conf.level=0.95)

    binom.test(c(100, 12), p=0.90, alternative=c("t"), conf.level=0.95)

Я також відвідав цей сайт:

http://statpages.org/confint.html

Яка сторінка java, яка обчислює довірчі інтервали бінома, і вона дає ту саму відповідь.

У будь-якому разі, після цього тривалого налаштування, я хочу запитати, чому довірчі інтервали не симетричні, наприклад, чутливість

   95 percent confidence interval:
   0.5975876 0.8855583 

   sample estimate probability: 0.7631579

Вибачте, якщо це дурне запитання, але скрізь, де я виглядаю, напрошується думка, що вони будуть симетричними, а мій колега, здається, вважає, що вони теж будуть.

confidence-interval binomial

— Кріс Білі
джерело

20

Вважається, що вони симетричні, тому що досить часто використовується нормальне наближення. Цей працює досить добре, якщо р лежить близько 0,5. binom.testз іншого боку, повідомляє про "точні" інтервали Clopper-Pearson, які базуються на розподілі F (див. тут точні формули обох підходів). Якби ми реалізували інтервал Clopper-Pearson в R, це було б щось на зразок (див. Примітку ):

Clopper.Pearson <- function(x, n, conf.level){
    alpha <- (1 - conf.level) / 2
    QF.l <- qf(1 - alpha, 2*n - 2*x + 2, 2*x)
    QF.u <- qf(1 - alpha, 2*x + 2, 2*n - 2*x)

    ll <- if (x == 0){
          0
    } else { x / ( x + (n-x+1)*QF.l ) }

    uu <- if (x == 0){
          0
    } else { (x+1)*QF.u / ( n - x + (x+1)*QF.u ) }

    return(c(ll, uu))
}

Як за посиланням, так і за реалізацією ви бачите, що формула верхньої та нижньої межі абсолютно відрізняється. Єдиний випадок симетричного довірчого інтервалу - коли p = 0,5. Використовуючи формули за посиланням та беручи до уваги, що в цьому випадку легко зрозуміти, як це відбувається. $n = 2\times x$

Я особисто це зрозумів, дивлячись на довірчі інтервали, засновані на логістичному підході. Біноміальні дані, як правило, моделюються за допомогою функції посилання logit, визначеної як:

l o g i t (x) = \log (\frac{x}{1 - x})

${\rm logit}(x) = \log\! \bigg( \frac{x}{1-x} \bigg)$

Ця функція зв'язку "відображає" термін помилки в логістичній регресії до нормального розподілу. Як наслідок, довірчі інтервали в логістичній структурі симетричні навколо значень logit, подібно до класичної лінійної регресійної системи. Перетворення logit використовується саме для того, щоб використовувати всю теорію, засновану на нормальності, навколо лінійної регресії.

Після здійснення зворотного перетворення:

{l o g i t}^{- 1} (x) = \frac{e^{x}}{1 + e^{x}}

${\rm logit}^{-1}(x) = \frac{e^x}{1+e^{x}}$

Ви знову отримуєте асиметричний інтервал. Зараз ці довірчі інтервали фактично упереджені. Їх висвітлення - це не те, чого можна було б очікувати, особливо на межах біноміального розподілу. Однак, як ілюстрацію вони показують, чому логічно, що біноміальний розподіл має асиметричні довірчі інтервали.

Приклад в R:

logit <- function(x){ log(x/(1-x)) }
inv.logit <- function(x){ exp(x)/(1+exp(x)) }
x <- c(0.2, 0.5, 0.8)
lx <- logit(x)
upper <- lx + 2
lower <- lx - 2

logxtab <- cbind(lx, upper, lower)
logxtab # the confidence intervals are symmetric by construction
xtab <- inv.logit(logxtab)
xtab # back transformation gives asymmetric confidence intervals

Примітка : Насправді R використовує бета-розподіл, але це абсолютно рівнозначно і обчислювально трохи ефективніше. Таким чином, реалізація в R відрізняється від того, що я показую тут, але це дає точно такий же результат.

— Joris Meys
джерело

2

Did you really mean to say that the logit "transforms the binomial distribution in a normal distribution"??

— whuber

@whuber: nice catch of the formula, and nice catch of the formulation. Pretty much not. It makes sure the errors in a logistic regression follow the normal distribution. Thx for the correction.

— Joris Meys

Just a brief technical note, the "arcsine" transformation is one which has a faster convergence to normality than the logistic transformation. Set

Y = \frac{2}{π} \arcsin \sqrt{\frac{X}{N}}

$Y=\frac{2}{\pi}\arcsin{\sqrt{\frac{X}{N}}}$ (where

X

$X$ is number of "successes" and

N

$N$ the number of trials), and you can show with the so called "delta method" that the variance of

Y

$Y$ is approximately constant (and independent of

Y

$Y$ , as it should be in the normal distribution).

— probabilityislogic

The link you provide for "exact probabilities" is broken. Do you have another one?

— S. Kolassa - Reinstate Monica

@StephanKolassa You can find the Clopper Pearson formulae here as well : en.wikipedia.org/wiki/…

— Joris Meys

24

To see why it should not be symmetric, think of the situation where $p=0.9$ and you get 9 successes in 10 trials. Then $\hat{p}=0.9$ and the 95% CI for $p$ is [0.554, 0.997]. The upper limit cannot be greater than 1 obviously, so most of the uncertainty must fall to the left of $\hat{p}$ .

— Rob Hyndman
джерело

9

@Joris mentioned the symmetric or "asymptotic" interval, that is most likely the one you are expecting. @Joris also mentioned the "exact" Clopper-Pearson intervals and gave you a reference which looks very nice. There is another confidence interval for proportions which you will likely encounter (note it is also not symmetric), the "Wilson" interval which is a type of asymptotic interval based on inverting the score test. The endpoints of the interval solve (in $p$ ) the equation

(\hat{p} - p) / \sqrt{p (1 - p)} = \pm z_{α / 2}

$(\hat{p} - p)/\sqrt{p(1-p)}=\pm z_{\alpha/2}$

Anyway, you can get all three in R with the following:

library(Hmisc)
binconf(29, 38, method = "asymptotic")
binconf(29, 38, method = "exact")
binconf(29, 38, method = "wilson")

Note that method "wilson" is the same confidence interval used by prop.test without Yates' continuity correction:

prop.test(29, 38, correct = FALSE)

See here for Laura Thompson's free SPLUS + R manual which accompanies Agresti's Categorical Data Analysis in which these issues are discussed in great detail.

1

(+1) Nice that you cite Laura's textbook and add this complement of information about Wilson's CIs.

— chl

2

Thanks. I would like to point out that the Wilson interval is discussed in the article that @Joris referenced.

9

There are symmetric confidence intervals for the Binomial distribution: asymmetry is not forced on us, despite all the reasons already mentioned. The symmetric intervals are usually considered inferior in that

Although they are numerically symmetric, they are not symmetric in probability: that is, their one-tailed coverages differ from each other. This--a necessary consequence of the possible asymmetry of the Binomial distribution--is the crux of the matter.
Often one endpoint has to be unrealistic (less than 0 or greater than 1), as @Rob Hyndman points out.

Having said that, I suspect that numerically symmetric CIs might have some good properties, such as tending to be shorter than the probabilistically symmetric ones in some circumstances.

— whuber
джерело

With regard to the last sentence: then why not calculate the shortest confidence interval (which has equal density values instead of equal interval width or equal tail area to both sides)? With regard to 2.: having the same width to both sides of

\hat{p} = k / n

$\hat p = k/n$ does not imply that a (the normal) approximation must be used. I'd say that this particular interval does not exist if the limits would need to be extended outside [0, 1].

— cbeleites supports Monica

@cb I don't follow this. First, a shortest CI will not necessarily have equal densities at each end. Second, the comment about "does not exist" makes no sense to me: what does "not exist" mean?

— whuber

1

shortest CI. To calculate the shortest CI for a given coverage, I'd start at the max density and enlarge a short step to the side where density is higher. There I get most confidence coverage (for the short step that is). I enlarge the c.i. repeatedly until I have the desired area (coverage). If my steps are small (infinitesimal) the density at both sides will be (approx.) the same. Did I make a mistake in this strategy?

— cbeleites supports Monica

does not exist: e.g. 4 successes out of 5. It does make sense to ask for the 95 % c.i. However if I calculate the probability density for the true

p

$p$ given that I observed 4 successes out of 5 trials, the tail above

\hat{p} = 4 / 5 = 0.8

$\hat p = 4/5 = 0.8$ is only about 0.35. Thus instead of accepting e.g. the normal approximation saying the 95% c.i. goes up to 1.15 (which cannot be correct as the the true

p

$p$ of the binomial trial cannot exceed 1, I'd say the c.i. with equal width towards lower and higher

p

$p$ does only exist for confidence levels

< 70 %

$< 70 \%$ .

— cbeleites supports Monica

1

Are we talking about different things? The binomial distribution is discrete, a c.i. would be "for

p = 0.8

$p = 0.8$ , in 94 % of the repetitions we observe

k \in {3, 4, 5}

$k \in \{3, 4, 5\}$ successes in

n = 5

$n = 5$ tests". But I understood that we are to estimate

p

$p$ for already observed

n

$n$ and

k

$k$ . E.g.

p

$p$ given that

k = 4

$k = 4$ out of

n = 5

$n = 5$ tests were successes. So I'm talking about

P r (p | n = 5, k = 4)

$Pr (p | n = 5, k = 4)$ ,

p \in [0, 1]

$p \in [0, 1]$ . This is not the binomial distribution

P r (k | n, p)

$Pr (k | n, p)$ but that of proportion

p

$p$ (I don't know its name). Please help me to understand why there is no density for this distribution?

— cbeleites supports Monica

6

Binomial distribution is just not symmetric, yet this fact emerges especially for $p$ near $0$ or $1$ and for small $n$ ; most people use it for $p\approx 0.5$ and so the confusion.

— chl
джерело

2

I know that it has been a while, but I thought that I would chime in here. Given n and p, it is simple to compute the probability of a particular number of successes directly using the binomial distribution. One can then examine the distribution to see that it is not symmetric. It will approach symmetry for large np and large n(1-p).

One can accumulate the probabilities in the tails to compute a particular CI. Given the discrete nature of the distribution, finding a particular probability in a tail (e.g., 2.5% for a 95% CI) will require interpolation between the number of successes. With this method, one can compute CIs directly without approximation (other than the required interpolation).

— Dr. Eric
джерело

Оцінка інтервалу біноміального довіри - чому воно не симетричне?