Чому ми не використовуємо t-розподіл для побудови довірчого інтервалу для пропорції?

Для обчислення довірчого інтервалу (CI) для середнього значення з невідомим стандартним відхиленням (sd) ми оцінюємо стандартне відхилення чисельності населення, використовуючи t-розподіл. Зокрема, $CI=\bar{X} \pm Z_{95\% }\sigma_{\bar X}$ де $\sigma_{\bar X} = \frac{\sigma}{\sqrt n}$ . Але оскільки у нас немає точкової оцінки стандартного відхилення сукупності, ми оцінюємо через наближення$CI=\bar{X} \pm t_{95\% }(se)$де$se = \frac{s}{\sqrt n}$

І навпаки, для пропорції населення, розрахувати CI, апроксимувати , як $CI = \hat{p} \pm Z_{95\% }(se)$ де $se = \sqrt\frac{\hat{p}(1-\hat{p})}{n}$ при умови$n \hat{p} \ge 15$і$n(1-\hat{p}) \ge 15$

Моє запитання: чому ми поступаємось зі стандартним розподілом за часткою населення?

Як стандартні, так і звичайні розподіли t є досить поганими наближеннями до розподілу

для малих $n,$ настільки бідних, що помилка придушує відмінності між цими двома розподілами.

Ось порівняння всіх трьох розподілів (виключивши випадки , коли р або 1 - р дорівнюють нулю, де невизначене ставлення) для п = 10 , р = 1 / 2 :$\hat p$$1-\hat p$$n=10, p=1/2:$

«Емпіричне» розподіл є те , що $Z,$ який повинен бути дискретним , оскільки оцінки р обмежені кінцевого безлічі { 0 , 1 / п , 2 / п , ... , п / п } .$\hat p$$\{0, 1/n, 2/n, \ldots, n/n\}.$

$t$ розподіл , як видається , зробити кращу роботу по наближенню.

Для $n=30$ і $p=1/2,$ ви можете побачити різницю між стандартними розподілами нормальних і Стьюдента абсолютно незначна:

Оскільки розподіл Student t складніше, ніж стандартний Normal (це дійсно ціла сім'я розподілів, індексована "ступенями свободи", раніше потрібні цілі глави таблиць, а не одна сторінка), стандарт Normal використовується майже для всіх наближення.

Обґрунтування використання розподілу t в довірчому інтервалі для середнього опирається на припущення, що базові дані слід нормальному розподілу, що призводить до розподілу в квадраті при оцінці стандартного відхилення, і, отже, $\frac{\bar{x}-\mu}{s/ \sqrt{n}} \sim t_{n-1}$. Це точний результат при припущенні, що дані є абсолютно нормальними, що призводить до довірчих інтервалів ізрівнемпокриття рівно 95% при використанні$t$і менше 95% покриття при використанні$z$.

У разі інтервалів Wald для пропорцій, ви отримаєте тільки асимптотическую нормальність для р - р$\frac{\hat{p}- p}{\sqrt{ \hat{p}(1-\hat{p} )/n}}$коли п досить велике, що залежить від р. Фактична ймовірність покриття процедури, оскільки основні підрахунки успіху є дискретними, іноді нижче, а іноді вище номінальної ймовірності покриття на 95% залежно від невідомого$p$. Отже, немає теоретичного обґрунтування використання$t$, і немає гарантії, що з практичної точки зору використання$t$просто для розширення інтервалів насправді допоможе досягти номінального покриття на 95%.

Ймовірність покриття можна точно розрахувати, хоча моделювати її досить просто. Наступний приклад показує імітовану ймовірність покриття, коли n = 35. Це демонструє, що ймовірність покриття для використання z-інтервалу, як правило, трохи менша, ніж .95, тоді як вірогідність покриття для t-інтервалу, як правило, може бути меншою, ніж в середньому .95 в залежності від ваших попередніх переконань щодо правдоподібних значень p .

І AdamO, і jsk дають чудову відповідь.

Я б спробував повторити їхні моменти простою англійською мовою:

Коли базовий розподіл є нормальним, ви знаєте, що є два параметри: середнє та дисперсія . Розподіл T пропонує спосіб зробити висновок про середнє значення, не знаючи точного значення дисперсій. Замість використання фактичних дисперсій потрібні лише вибіркові засоби та вибіркові відхилення. Оскільки це точний розподіл, ви точно знаєте, що отримуєте. Іншими словами, вірогідність покриття є правильною. Використання t просто відображає бажання обійти невідому дисперсію популуації.

Однак, коли ми робимо висновок пропорційно, базовий розподіл є двочленним. Щоб отримати точний розподіл, потрібно переглянути довірчі інтервали Clopper-Pearson. Наведена формула - це формула довірчого інтервалу Уолда. Він використовує нормальний розподіл для наближення біноміального розподілу, оскільки нормальний розподіл є граничним розподілом біноміального розподілу. У цьому випадку, оскільки ви лише наближаєтесь, додатковий рівень точності використання статистики t стає непотрібним, все зводиться до емпіричної ефективності. Як і пропонується у відповіді Брюсе, «Агресті-Кулл» є простою та стандартною формулою на сьогодні для такого наближення.

Мій професор д-р Лонгнекер з Техасу A&M зробив просте моделювання, щоб проілюструвати, як працює різне наближення порівняно з ДІ на основі бінома.

Додаткову інформацію можна знайти у статті Інтервальна оцінка біноміального пропорції в статистичній науці , Vol. 16, стор.101-133, Л. Браун, Т. Кай та А. ДасГупта. В основному, AC CI рекомендується для n> = 40.

$X_1, X_2, \dots X_n$$\mu$$\sigma$$H_0:\mu = \mu_0$$H_a: \mu \ne \mu_0$$Z = \frac{\bar X - \mu_0}{\sigma/\sqrt{n}}.$$H_0$$Z \sim \mathsf{Norm}(0,1),$$H_0$$|Z| \ge 1.96.$

$\mu$$\mu_0$$\mu.$$\bar X \pm 1.96\sigma/\sqrt{n},$$\pm 1.96$

$\sigma$$S,$$T=\frac{\bar X - \mu_0}{S/\sqrt{n}}.$ Before the early 1900's people supposed that $T$ is approximately standard normal for $n$ large enough and used $S$ as a substitute for unknown $\sigma.$ There was debate about how large counts as large enough.

Eventually, it was known that $T \sim \mathsf{T}(\nu = n-1),$ Student's t distribution with $n-1$ degrees of freedom. Accordingly, when $\sigma$ is not known, we use $\bar X \pm t^*S/\sqrt{n},$ where $\pm t^*$ cut probability 0.025 from the upper and lower tails, respectively, of $\mathsf{T}(n-1).$

[Note: For $n > 30,$ people have noticed that for 95% CIs $t^* \approx 2 \approx 1.96.$ Thus the century-old idea that you can "get by" just substituting $S$ for $\sigma$ when $\sigma$ is unknown and $n > 30,$ has persisted even in some recently-published books.]

Confidence interval for binomial proportion. In the binomial case, suppose we have observed $X$ successes in a binomial experiment with $n$ independent trials. Then we use $\hat p =X/n$ as an estimate of the binomial success probability $p.$ In order to test $H_0:p = p_0$ vs $H_a: p \ne p>0,$ we use the statitic $Z = \frac{\hat p - p_0}{\sqrt{p_0(1-p_0)/n}}.$ Under $H_0,$ we know that $Z \stackrel{aprx}{\sim} \mathsf{Norm}(0,1).$ So we reject $H_0$ if $|Z| \ge 1.96.$

If we seek to invert this test to get a 95% CI for $p,$ we run into some difficulties. The 'easy' way to invert the test is to start by writing $\hat p \pm 1.96\sqrt{\frac{p(1-p)}{n}}.$ But his is useless because the value of $p$ under the square root is unknown. The traditional Wald CI assumes that, for sufficiently large $n,$ it is OK to substitute $\hat p$ for unknown $p.$ Thus the Wald CI is of the form $\hat p \pm 1.96\sqrt{\frac{\hat p(1-\hat p)}{n}}.$ [Unfortunately, the Wald interval works well only if the number of trials $n$ is at least several hundred.]

More carefully, one can solve a somewhat messy quadratic inequality to 'invert the test'. The result is the Wilson interval. (See Wikipedia.) For a 95% confidence interval a somewhat simplified version of this result comes from defining $\check n = n+4$ and $\check p = (X+2)/\check n$ and then computing the interval as $\check p \pm 1.96\sqrt{\frac{\check p(1-\check p)}{\check n}}.$ This style of binomial confidence interval is widely known as the Agresti-Coull interval; it has been widely advocated in elementary textbooks for about the last 20 years.

In summary, one way to look at your question is that CIs for normal $\mu$ and binomial $p$ can be viewed as inversions of tests.

(a) The t distribution provides an exact solution to the problem of needing to use $S$ for $\sigma$ when $\sigma$ is unknown.

(b) Using $\hat p$ for $p$ requires some care because the mean and variance of $\hat p$ both depend on $p.$ The Agresti-Coull CI provides one serviceable way to get CIs for binomial $p$ that are reasonably accurate even for moderately small $n.$

Note your use of the $\sigma$ notation which means the (known) population standard deviation.

The T-distribution arose as an answer to the question: what happens when you don't know $\sigma$?

He noted that, when you cheat by estimating $\sigma$ from the sample as a plug-in estimator, your CIs are on average too narrow. This necessitated the T-distribution.

Conversely, if you use the T distribution when you actually do know $\sigma$, your confidence intervals will on average be too wide.

Also, it should be noted that this question mirrors the answer solicited by this question.