Похибка апроксимації довірчого інтервалу для середнього значення, коли

Нехай $\{X_i\}_{i=1}^n$ - сімейство iid випадкових величин, що приймають значення в $[0,1]$ , що мають середнє $\mu$ та дисперсію $\sigma^2$ . Простий довірчий інтервал для середнього, використовуючи $\sigma$ коли він відомий, задається

$$P( | \bar X - \mu| > \varepsilon) \le \frac{\sigma^2}{n\varepsilon^2} \le\frac{1}{n \varepsilon^2} \qquad (1).$$

Також тому, що $\frac{\bar X- \mu}{\sigma/\sqrt{n}}$ асимптотично розподілений як стандартна нормальна випадкова величина, звичайний розподіл іноді використовується для "побудови" приблизного довірчого інтервалу.

---

У екзаменах зі статистикою відповідей з декількома варіантами мені довелося використовувати це наближення замість $(1)$ коли $n \geq 30$ . Мені завжди було дуже незручно з цим (більше, ніж ви можете собі уявити), оскільки помилка наближення не оцінюється кількісно.

---

• Навіщо використовувати звичайне наближення, а не $(1)$ ?

• Я не хочу більше ніколи сліпо застосовувати правило $n \geq 30$ . Чи є хороші посилання, які можуть підтримати мене у відмові від цього та надати відповідні альтернативи? ( $(1)$ є прикладом того, що я вважаю відповідною альтернативою.)

Тут, а $\sigma$ і $E[ |X|^3]$ невідомі, вони легко обмежуються.

Зауважте, що моє запитання є довідковим запитом, особливо щодо довірчих інтервалів, і тому воно відрізняється від питань, які були запропоновані як часткові дублікати тут і тут . Там не відповідають.

Навіщо використовувати нормальне наближення?

Це так само просто, як сказати, що завжди краще використовувати більше інформації, ніж менше. У рівнянні (1) використовується теорема Чебишева . Зауважте, як він не використовує ніякої інформації про форму вашого розповсюдження, тобто працює для будь-якого розповсюдження із заданою дисперсією. Отже, якщо ви використовуєте якусь інформацію про форму вашого розповсюдження, ви повинні отримати краще наближення. Якщо ви знали, що ваш розподіл є гауссовим, то використовуючи ці знання, ви отримуєте кращу оцінку.

Оскільки ви вже застосовуєте центральну граничну теорему, чому б не використати гауссова апроксимація меж? Насправді вони стануть кращими, жорсткішими (або чіткішими), оскільки ці оцінки базуються на знанні форми, яка є додатковою інформацією.

Правило великого пальця 30 - це міф, який виграє від упередженості підтвердження . Він просто копіюється з однієї книги в іншу. Одного разу я знайшов в документі 1950-х років посилання, що пропонувало це правило. Як я пам’ятаю, це був не якийсь надійний доказ. Це було якесь емпіричне дослідження. В основному, єдиною причиною його використання є те, що це працює. Ви не бачите, що це порушено погано.

ОНОВЛЕННЯ Перегляньте статтю Захарі Р. Сміта та Крейга С. Уеллса " Теорема центральної межі та розмір вибірки ". Вони представляють емпіричне дослідження конвергенції CLT для різних видів розподілів. Магічне число 30, звичайно, не спрацьовує.

Проблема використання нерівності Чебишева для отримання інтервалу для справжнього значення полягає в тому, що воно дає лише нижню межу ймовірності, яка до того ж іноді тривіальна, або, щоб не бути тривіальною, може дати дуже широку довірчий інтервал. Ми маємо

$$P( | \bar X - \mu| > \varepsilon) = 1 - P(\bar X-\varepsilon \leq \mu \leq \bar X+\varepsilon)$$

$$\implies P(\bar X-\varepsilon \leq \mu \leq \bar X+\varepsilon) \geq 1- \frac{1}{n \varepsilon^2}$$

Ми бачимо, що, залежно від розміру вибірки, якщо зменшити "занадто багато", ми отримаємо тривіальну відповідь "ймовірність більша за нуль".$\varepsilon$

Крім того, що ми отримуємо з цього підходу є висновок форми «» ймовірність падіння в [ ˉ X & plusmn ; & epsi ; ] є рівним або більше , ніж ... »$\mu$$[\bar X \pm \varepsilon]$

Але припустимо, що з цим нам добре, і позначимо мінімальну ймовірність, з якою нам комфортно. Так ми хочемо$p_{min}$

$$1- \frac{1}{n \varepsilon^2} = p_{min} \implies \varepsilon = \sqrt {\frac {1}{(1-p_{min})n}}$$

При невеликих розмірах вибірки та високій бажаній мінімальній ймовірності це може дати незадовільно широкий інтервал довіри. Наприклад, для і n = 100 ми отримаємо ε ≈ .316 , що, наприклад, для змінної, обробленої ОП, обмеженою в [ 0 , 1 ], здається, занадто великою, щоб бути корисною.$p_{min} =0.9$$n=100$$\varepsilon \approx .316$$[0,1]$

Але підхід є дійсним і без розповсюдження, тому можуть бути випадки, коли він може бути корисним.

Можна також перевірити нерівність Височанського - Петуніна, згадану в іншій відповіді, яка має на увазі безперервні одномодальні розподіли та уточнює нерівність Чебишева.

Коротка відповідь полягає в тому, що це може пройти досить погано, але тільки якщо один або обидва хвости розподілу вибірки дійсно жирні .

Цей код R генерує мільйон наборів з 30 гамма-розподілених змінних і приймає їх середнє значення; з його допомогою можна зрозуміти, як виглядає розподіл вибірки середнього. Якщо нормальне наближення працює за призначенням, результати повинні бути приблизно нормальними із середнім значенням 1 та дисперсією 1/(30 * shape).

f = function(shape){replicate(1E6, mean(rgamma(30, shape, shape)))}

Коли shapeдорівнює 1,0, розподіл гамми стає експоненціальним розподілом , що досить ненормально. Тим не менше, не-гауссові частини в основному середні, і тому наближення Гаусса не так вже й погано:

Явно є деякі упередження, і було б добре уникати цього, коли це можливо. Але, чесно кажучи, такий рівень упередженості, ймовірно, не буде найбільшою проблемою, що стоять перед типовим дослідженням.

Однак, все може погіршитися. З f(0.01), гістограма виглядає так:

Перетворення журналу 30 вибіркових точок даних перед усередненням дуже допомагає:

Взагалі, для розподілу з довгими хвостами (на одній або обох сторонах розподілу) знадобиться найбільше вибірок, перш ніж Гауссове наближення почне ставати надійним. Існують навіть патологічні випадки, коли буквально ніколи не буде достатньо даних для того, щоб наближення Гаусса спрацювало, але ви, мабуть, матимете серйозніші проблеми в цьому випадку (оскільки розподіл вибірки не має чітко визначеного середнього значення або дисперсії для початку з).

Проблема з довірчим інтервалом Чебишева

$\sigma^2 \le \frac{1}{4}$$\text{Var}(X) \le \mu(1-\mu)$. Therefore a confidence interval for $\mu$ is given by

$$P(|\bar{X}-\mu| \geq \varepsilon) \le \frac{1}{4n\varepsilon^2}.$$ The problem is that the inequality is, in a certain sense, quite loose when $n$ gets large. An improvement is given by Hoeffding's bound and shown below. However, we can also demonstrate how bad it can get using the Berry-Esseen theorem, pointed out by Yves. Let $X_i$ have a variance $\tfrac{1}{4}$, the worst possible case. The theorem implies that $P(|\bar X - \mu| \geq \tfrac{\varepsilon}{2\sqrt{n}}) \le 2\, \text{SF}(\varepsilon) + \tfrac{8}{\sqrt{n}},$ where $\text{SF}$ is the survival function of the standard normal distribution. In particular, with $\varepsilon = 16$, we get $\text{SF}(16) \approx e^{-58}$ (according to Scipy), so that essentially $$P(|\bar X - \mu| \geq \tfrac{8}{\sqrt{n}}) \le \tfrac{8}{\sqrt{n}} + 0, \qquad (*)$$ whereas the Chebyshev inequality implies $$P(|\bar X - \mu| \geq \tfrac{8}{\sqrt{n}}) \le \tfrac{1}{256}.$$ Note that I did not try to optimize the bound given in $(*)$, the result here is only of conceptual interest.

---

Comparing the lengths of the confidence intervals

Consider the $(1-\alpha)$-level confidence interval lengths $\ell_Z(\alpha, n)$ and $\ell_C(\alpha, n)$ obtained using the normal approximation ($\sigma = \tfrac{1}{2}$) and the Chebyshev inequality, repectively. It turns out that $\ell_C(\alpha, n)$ is a constant times bigger than $\ell_Z(\alpha, n)$, independently of $n$. Precisely, for all $n$,

$$\ell_C(\alpha, n) = \kappa(\alpha) \ell_Z(\alpha, n), \quad \kappa(\alpha) = \left(\text{ISF}\left(\tfrac{\alpha}{2}\right) \sqrt{\alpha}\right)^{-1},$$ where $\text{ISF}$ is the inverse survival function of the standard normal distribution. I plot below the multiplicative constant.

$\hskip 1in$

In particular, the $95\%$ level confidence interval obtained using the Chebyshev inequality is about $2.3$ times bigger than the same level confidence interval obtained using the normal approximation.

---

Using Hoeffding's bound

Hoeffding's bound gives

$$P(|\bar X - \mu| \geq \varepsilon) \leq 2e^{-2n \varepsilon^2}.$$ Thus an $(1-\alpha)$-level confidence interval for $\mu$ is $$(\bar X - \varepsilon, \bar X + \varepsilon), \quad \varepsilon = \sqrt{\frac{-\ln \tfrac{\alpha}{2}}{2n}},$$ of length $\ell_H (\alpha, n) = 2\varepsilon$. I plot below the lengths of the different confidence intervals (Chebyshev inequality: $\ell_C$; normal approximation ($\sigma = 1/2$): $\ell_Z$; Hoeffding's inequality: $\ell_H$) for $\alpha = 0.05$.

$\hskip 0.5in$

let's start with the number 30: it's, as anyone will say, a rule of thumb. but how can we find a number that fits better to our data? It's actually mostly a matter of skewness: even the strangest distribution will fast converge to normal if they are simmetric and continuous, skewed data will be much slower. I remember learning that a binomial distribution can be properly approximated to normal when its variance is greater than 9; for this example it's to be considered that discrete distribution also have the problem that they need great numbers to simulate continuity, but think to this: a simmetric binomial distribution will reach that variance with n = 36, if p = 0.1 instead, n must go up to 100 (variabile trasformation, however, would help a lot)!

If you only want to use variance instead, dropping gaussian approximation, consider Vysochanskij–Petunin inequality over Chebichev's, it needs the assumption of unimodal distribution of the mean, but this is a very safe one with any sample size, I'd say, greater than 2.