Чи є приклади, коли теорема про центральну межу не дотримується?

32

У Вікіпедії сказано -

В теорії ймовірностей центральна гранична теорема (CLT) встановлює, що в більшості ситуацій , коли додаються незалежні випадкові величини, їх нормально нормалізована сума має тенденцію до нормального розподілу (неофіційно "крива дзвінка"), навіть якщо самі вихідні змінні не є нормально розподіляється ...

Коли він говорить "у більшості ситуацій", у яких ситуаціях центральна межа теореми не працює?

— Райан Макколі
джерело

33

Щоб зрозуміти це, потрібно спершу викласти версію теореми про центральний межа. Ось "типовий" вислів центральної граничної теореми:

Ліндеберг – Леві CLT. Припустимо, - це послідовність iid випадкових змінних з та . Нехай . Тоді, коли наближається до нескінченності, випадкові величини переходять у розподілі до нормального тобто ${X_1, X_2, \dots}$ $E[X_i] = \mu$ $Var[X_i] = \sigma^2 < \infty$ $S_{n}:={\frac {X_{1}+\cdots +X_{n}}{n}}$ $n$ $\sqrt{n}(S_n − \mu)$ $N(0,\sigma^2)$

$\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ) \overset{d}{\to} N (0, σ^{2}) .$ ${\displaystyle {\sqrt {n}}\left(\left({\frac {1}{n}}\sum _{i=1}^{n}X_{i}\right)-\mu \right)\ {\xrightarrow {d}}\ N\left(0,\sigma ^{2}\right).}$

Отже, чим це відрізняється від неофіційного опису, і які прогалини? Існує кілька відмінностей між вашим неофіційним описом та цим описом, деякі з яких були обговорені в інших відповідях, але не повністю. Отже, ми можемо перетворити це на три конкретні питання:

Що станеться, якщо змінні не однаково розподілені?
Що робити, якщо змінні мають нескінченну дисперсію або нескінченне значення?
Наскільки важлива незалежність?

Беручи їх по черзі,

Нерозподілені однаково . Найкращими загальними результатами є версії Ліндеберга та Ляпонова у центральній граничній теоремі. В основному, поки стандартні відхилення не зростають занадто дико, ви можете отримати з нього гідну теорему центрального межі.

Ляпунов CLT. [5] Припустимо, - це послідовність незалежних випадкових величин, кожна з кінцевим очікуваним значенням та дисперсією Визначте: ${X_1, X_2, \dots}$ $\mu_i$ $\sigma^2$ $s_{n}^{2}=\sum _{i=1}^{n}\sigma _{i}^{2}$

Якщо для деяких , стан Ляпунова задовольняється, то сума у розподілі до стандартної нормальної випадкової величини, оскільки n переходить до нескінченності: $\delta > 0$ $\lim _{n\to \infty }{\frac {1}{s_{n}^{2+\delta }}}\sum_{i=1}^{n}\operatorname {E} \left[|X_{i}-\mu _{i}|^{2+\delta }\right]=0$ $X_i − \mu_i / s_n$

${{\frac {1}{s_{n}}}\sum _{i=1}^{n}\left(X_{i}-\mu_{i}\right)\ {\xrightarrow {d}}\ N(0,1).}$

Нескінченна Дисперсія теорема аналогічна центральним граничну теорема існує для змінних з нескінченної дисперсією, але умови є значно вужчою , ніж для звичайної теореми центральної граничної. По суті, хвіст розподілу ймовірностей повинен бути асимптотичним до при . У цьому випадку відповідні масштабовані суми збігаються до стабільного розподілу Levy-Alpha . $|x|^{-\alpha-1}$ $0 < \alpha < 2$

Важливість незалежності Існує багато різних центральних граничних теорем для незалежних послідовностей . Всі вони є дуже контекстуальними. Як зазначає Бетмен, є одна для Мартінгейлів. Це питання є постійною областю дослідження, що має багато, багато різних варіацій, залежно від конкретного контексту, який цікавить. Це питання на Math Exchange - це ще одна публікація, пов’язана з цим питанням. $X_i$

— Джон
джерело

2

Я видалив заблокований ">" формулу, яка, на мою думку, виникла через систему цитування - сміливо скасуйте мою редагування, якщо це було навмисно!

— Срібна рибка

Трикутний масив CLT, мабуть, є більш представницьким CLT, ніж заявлений. Що стосується не незалежних, то мартингейл CLT є досить часто використовуваним випадком.

— Бетмен

@Batman, що є прикладом трикутного масиву CLT? Не соромтесь відредагувати мою відповідь та додати її. Я з цим не знайомий.

— Іван

Щось на зразок сек. 4.2.3 в personal.psu.edu/drh20/asymp/lectures/p93to100.pdf

— Бетмен

1

"до тих пір, поки стандартні відхилення не зростатимуть занадто дико" або зменшуються (наприклад:

σ_{i}^{2} = σ_{i - 1}^{2} / 2

$\sigma_i^2 = \sigma_{i-1}^2/2$

— 2/2

21

Хоча я майже впевнений, що на нього вже відповіли, ось ще один:

Існує кілька версій центральної граничної теореми, найбільш загальною є те, що за заданих довільних функцій щільності ймовірності сума змінних буде розподілятися нормально із середнім значенням, рівним сумі середніх значень, а також дисперсія є сумою окремих варіацій.

Дуже важливим і актуальним обмеженням є те, що середнє значення та дисперсія даного pdfs повинні існувати і повинні бути кінцевими.

Отже, просто візьміть будь-який pdf без середнього значення чи дисперсії - і центральна гранична теорема більше не буде тримати. Тож візьмемо для прикладу Лоренційський розподіл.

— херувим
джерело

+1 Або прийміть розподіл з нескінченною дисперсією, як розподіл випадкової прогулянки.

— Олексій

2

@ Алексис - якщо припустити, що ви дивитесь на випадкову прогулянку в кінцевий момент часу, я б подумав, що це буде кінцева дисперсія, що є сумою кроків iid кожного з кінцевою дисперсією

n

$n$

— Генрі

1

@ Генрі: Ні, я не маю на увазі момент, але дисперсія розподілу всіх можливих випадкових прогулянок нескінченної довжини.

— Олексій

1

@ Алексис Якщо кожен крок випадкової прогулянки дорівнює або iid з однаковою ймовірністю, а позиції тоді теорема центрального граничного значення означає, що як ви маєте розподіл конвергенція в розподілі до

X_{i}

$X_i$

+ 1

$+1$

- 1

$-1$

Y_{n} = \sum_{1}^{n} X_{i}

$Y_n =\sum_1^n X_i$

n \to \infty

$n \to \infty$

\sqrt{n} (\frac{1}{n} Y_{n}) = \frac{Y_{n}}{\sqrt{n}}

$\sqrt{n}\left(\frac1n Y_n\right) = \frac{Y_n}{\sqrt{n}}$

N (0, 1)

$\mathcal N(0,1)$

— Генрі

1

@ Алексис не має значення для CLT, оскільки кожен окремий розподіл все ще має кінцеву дисперсію.

— Кубік

15

Ні, CLT завжди дотримується, коли його припущення виконуються. Кваліфікації, такі як "у більшості ситуацій", - це неофіційні посилання на умови, за яких CLT повинен застосовуватися.

Наприклад, лінійна комбінація незалежних змінних з розподілу Коші не додаватиме до звичайної розподіленої змінної . Однією з причин є те, що дисперсія не визначена для розподілу Коші , тоді як CLT ставить певні умови дисперсії, наприклад, що вона повинна бути кінцевою. Цікавим є той факт, що оскільки симуляції Монте-Карло мотивовані CLT, ви повинні бути обережними з імітаціями Монте-Карло, коли маєте справу з розподілами жиру, наприклад, Коші.

Зауважимо, що існує узагальнена версія CLT. Він працює для нескінченних або невизначених дисперсій, таких як розподіл Коші. На відміну від багатьох добре розподілених розподілів, правильно нормалізована сума чисел Коші залишається Коші. Він не зближується з Гауссом.

До речі, не лише Гаусса, але й багато інших дистрибутивів мають дзвіночки у форматі PDF, наприклад, Student t. Ось чому опис, який ви цитували, є досить ліберальним і неточним, можливо, спеціально.

— Аксакал
джерело

7

Ось ілюстрація відповіді херувима, гістограма розміром 1e5 витягується зі шкали (від ) вибіркові засоби t-розподілів з двома ступенями свободи, такі, щодисперсія не існує. $\sqrt{n}$

Якщо CLT зробив застосувати, гистограмму для більше, повинен нагадувати щільність стандартного нормального розподілу (який, наприклад, має щільність $n$ $n=1000$ на своєму піку), чого, очевидно, немає. $1/\sqrt{2\pi}\approx0.4$

library(MASS)
n <- 1000
samples.from.t <- replicate(1e5, sqrt(n)*mean(rt(n, df = 2)))
truehist(samples.from.t, xlim = c(-10,10), col="salmon")

— Крістоф Ганк
джерело

3

t

$t$

3

$3$

0.4

$0.4$

\frac{1}{\sqrt{6 π}} \approx 0.23

$\frac1{\sqrt{6\pi}}\approx 0.23$

1

$1$

Це хороший момент, можна стандартизувати середнє значення, sd(x)щоб отримати щось, що, якщо CLT працює, конвергується за теоремою Слуцького, до N (0,1) змінної. Я хотів, щоб приклад був простим, але ви, звичайно, праві.

— Крістоф Ганк

6

Простий випадок, коли CLT не може виконати з дуже практичних причин, це коли послідовність випадкових величин наближається до межі ймовірності суворо з одного боку . Це зустрічається, наприклад, в оцінювачах, які оцінюють щось, що лежить на межі.

$\theta$ $U(0,\theta)$ $\theta$ $\theta$ $\theta$

Правильно масштабований оцінювач має обмежувальне поширення, але не "сорту CLT".

— Алекос Пападопулос
джерело

3

Швидке рішення ви можете знайти тут.

Виникають винятки з центральної граничної теореми

Коли є кілька максимумів однакової висоти, і
Де друга похідна максимум зникає.

Є певні інші винятки, які викладені у відповіді @cherub.

Це ж питання вже задавали на math.stackexchange . Відповіді ви можете перевірити там.

— Ферді
джерело

5

Під максимумом ви маєте на увазі режими? Бути бімодальним не має нічого спільного з тим, що не задовольняє CLT.

— Накопичення

M (z) = \sum_{n = - \infty}^{\infty} P (X = n) z^{n}

$M(z)=\sum_{n=-\infty}^\infty P(X=n)z^n$

@AlexR. Відповідь взагалі не має сенсу, не читаючи посилання, і далеко не зрозуміла навіть за посиланням. Я схиляюсь до того, що це зволікає як навіть гірше, ніж відповідь лише на посилання.

— Накопичення