Звідки береться в центральній граничній теоремі (CLT)?

36

Дуже проста версія центральної обмеженої теореми нижче що є Ліндебергом – Леві CLT. Я не розумію, чому на лівій стороні є . І Ляпунов CLT каже але чому не ? Хто-небудь сказав би мені, що це за фактори, такі та ? як ми їх отримуємо в теоремі?

n - - \sqrt ((1 n \sum i = 1 n X i) - μ) \to d N (0, σ 2)

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)\ \xrightarrow{d}\ \mathcal{N}(0,\;\sigma^2)$

n−−√ $\sqrt{n}$

1 s n \sum i = 1 n (X i - μ i) \to d N (0, 1)

$\frac{1}{s_n} \sum_{i=1}^{n} (X_i - \mu_i) \ \xrightarrow{d}\ \mathcal{N}(0,\;1)$

sn−−√ $\sqrt{s_n}$

n−−√ $\sqrt{n}$

1sn $\frac{1}{s_n}$

central-limit-theorem intuition

— Літаюча свиня
джерело

3

Це пояснюється на сайті stats.stackexchange.com/questions/3734 . Ця відповідь довга, тому що вона вимагає "інтуїції". Він робить висновок: "Це просте наближення, однак, говорить про те, як де Моївр міг спочатку підозрювати, що існує універсальний обмежуючий розподіл, що його логарифм є квадратичною функцією, і що власне масштабний коефіцієнт повинен бути пропорційним .... "

sn $s_n$

n−−√ $\sqrt{n}$

— whuber

1

Інтуїтивно зрозуміло, якщо всі то а 2-й рядок випливає з 1-го рядка: розділити на (звичайно умова Ляпунова, комбінація вимкнена все , інше питання)

σi=σ $\sigma_i=\sigma$

sn=∑σ2i−−−−−√=n−−√σ $s_n = \sqrt{\sum\sigma_i^2}=\sqrt{n}\sigma$

n - - \sqrt ((1 n \sum i = 1 n X i) - μ) = 1 n - - \sqrt \sum i = 1 n (X i - μ) \to d N (0, σ 2)

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg)-\mu\bigg)=\frac{1}{\sqrt{n}}\sum_{i=1}^n \bigg(X_i-\mu\bigg)\xrightarrow{d}\ \mathcal{N}(0,\;\sigma^2)$

σ=snn√ $\sigma = \frac{s_n}{\sqrt{n}}$

1 n \sqrt \sum n i = 1 ( X i - μ ) s n n \sqrt = 1 s n \sum i = 1 n (X i - μ i) \to d N (0, 1)

$\frac{\frac{1}{\sqrt{n}}\sum_{i=1}^n \bigg(X_i-\mu\bigg)}{\frac{s_n}{\sqrt{n}}}=\frac{1}{s_n}\sum_{i=1}^{n}(X_i-\mu_i)\xrightarrow{d}\ \mathcal{N}(0,\;1)$ $\sigma_i$

— Секст Емпірік

33

Приємне запитання (+1) !!

Ви пам’ятаєте, що для незалежних випадкових величин і , і . Отже, дисперсія є , а дисперсія є . $X$ $Y$ $Var(X+Y) = Var(X) + Var(Y)$ $Var(a\cdot X) = a^2 \cdot Var(X)$ $\sum_{i=1}^n X_i$ $\sum_{i=1}^n \sigma^2 = n\sigma^2$ $\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$ $n\sigma^2 / n^2 = \sigma^2/n$

Це для дисперсії . Щоб стандартизувати випадкову величину, ви розділите її на стандартне відхилення. Як відомо, очікуване значення становить , тому змінна $\bar{X}$ $\mu$

X ¯ - E ( X ¯ ) V a r ( X ¯ ) - - - - - - \sqrt = n - - \sqrt X ¯ - μ σ

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} \frac{\bar{X} - \mu}{\sigma}$ очікував значення 0 і дисперсію 1. Отже, якщо він схильний до гаусса, він повинен бути стандартним гауссовим . Ваше формулювання в першому рівнянні рівнозначне. Помноживши ліву частину на ви встановите дисперсію на .

N(0,1) $\mathcal{N}(0,\;1)$

σ $\sigma$

σ2 $\sigma^2$

Стосовно вашого другого пункту, я вважаю, що наведене вище рівняння ілюструє, що вам потрібно розділити на а не для стандартизації рівняння, пояснюючи, чому ви використовуєте (оцінювач а не . $\sigma$ $\sqrt{\sigma}$ $s_n$ $\sigma)$ $\sqrt{s_n}$

Додавання: @whuber пропонує обговорити причину масштабування за допомогою . Він це робить там , але оскільки відповідь дуже довгий, я спробую зафіксувати суть його аргументу (що є реконструкцією думок де Мойвра). $\sqrt{n}$

Якщо додати велику кількість + 1 та -1, можна приблизно оцінити ймовірність того, що сума буде , елементарним підрахунком. Журнал такої ймовірності пропорційний . Отже, якщо ми хочемо, щоб ймовірність вище перейшла в константу, оскільки стає великою, ми повинні використовувати нормалізуючий коефіцієнт в . $n$ $j$ $-j^2/n$ $n$ $O(\sqrt{n})$

Використовуючи сучасні математичні засоби (post de Moivre), ви можете побачити згадане вище наближення, помітивши, що шукана ймовірність

P (j) = ( n n / 2 + j ) 2 n = n ! 2 n ( n / 2 + j ) ! ( n / 2 - j ) !

$P(j) = \frac{{n \choose n/2+j}}{2^n} = \frac{n!}{2^n(n/2+j)!(n/2-j)!}$

яку ми наближаємо за формулою Стірлінга

P (j) \approx n n e n / 2 + j e n / 2 - j 2 n e n ( n / 2 + j ) n / 2 + j ( n / 2 - j ) n / 2 - j = (1 1 + 2 j / n) n + j (1 1 - 2 j / n) n - j .

$P(j) \approx \frac{n^n e^{n/2+j} e^{n/2-j}}{2^n e^n (n/2+j)^{n/2+j} (n/2-j)^{n/2-j} } = \left(\frac{1}{1+2j/n}\right)^{n+j} \left(\frac{1}{1-2j/n}\right)^{n-j}.$

log (P (j)) = - (n + j) log (1 + 2 j / n) - (n - j) log (1 - 2 j / n) \sim - 2 j (n + j) / n + 2 j (n - j) / n \propto - j 2 / n .

$\log(P(j)) = -(n+j) \log(1+2j/n) - (n-j) \log(1-2j/n) \\ \sim -2j(n+j)/n + 2j(n-j)/n \propto -j^2/n.$

— gui11aume
джерело

Будь ласка, дивіться мої коментарі до попередніх відповідей Майкла К. та хлопця.

— whuber

Схоже, перше рівняння (LL CLT) s / b ? Це мене також збентежило, що з'явилося як дисперсія.

n−−√((1n∑ni=1Xi)−μ) →d N(0,1) $\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)\ \xrightarrow{d}\ \mathcal{N}(0,\;1)$

σ2 $\sigma^2$

— B_Miner

Якщо ви параметризуєте гаусса із середнім значенням та дисперсією (не стандартним відхиленням), тоді я вважаю, що формула ОП є правильною.

— gui11aume

1

А-а ... Надайте, що якщо множимо по ми отримуємо те, що було показано ОП ( cancel): а саме . Але ми знаємо, що VAR (aX) = a ^ 2Var (X), де в цьому випадку a = і Var (X) дорівнює 1, тож розподіл є .

X¯−E(X¯)Var(X¯)√=n−−√X¯−μσ→d N(0,1) $\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} \frac{\bar{X} - \mu}{\sigma} \xrightarrow{d}\ \mathcal{N}(0,\;1)$

X¯−E(X¯)Var(X¯)√ $\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }}$

σ $\sigma$

n−−√((1n∑ni=1Xi)−μ) $\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)$

σ2 $\sigma^2$

N(0,σ2) $\mathcal{N}(0,\;\sigma^2)$

— B_Miner

Гі, якби не пізно, я хотів переконатися, що я це правильно. Якщо припустити і множимо на постійне ( ) очікуване значення цієї величини (тобто ), який дорівнював нулю, все одно дорівнює нулю, оскільки E [aX] = a * E [X] => * 0 = 0. Це правильно?

X¯−E(X¯)Var(X¯)√=n−−√(X¯−μ)→d N(0,1) $\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} ({\bar{X} - \mu}) \xrightarrow{d}\ \mathcal{N}(0,\;1)$

σ $\sigma$

n−−√(X¯−μ) $\sqrt{n} ({\bar{X} - \mu})$

σ $\sigma$

— B_Miner

8

Існує приємна теорія того, який вид розподілів може бути обмежуючим розподілом сум випадкових величин. Приємним ресурсом є наступна книга Петрова, якою я особисто користувався величезною насолодою .

Виходить, що якщо ви досліджуєте межі цього типу де - незалежні випадкові величини, розподіл меж лише певні розподіли.

1 a n \sum i = 1 n X n - b n, (1)

$\frac{1}{a_n}\sum_{i=1}^nX_n-b_n, \quad (1)$

Xi $X_i$

Тоді відбувається багато математики, яка зводиться до кількох теорем, що повністю характеризує те, що відбувається в межі. Одна з таких теорем обумовлена Феллером:

Теорема Нехай - послідовність незалежних випадкових величин, - функція розподілу , - послідовність позитивної постійної. Для того щоб $\{X_n;n=1,2,...\}$ $V_n(x)$ $X_n$ $a_n$

max 1 \leq k \leq n P (| X k | \geq ε a n) \to 0, for every fixed ε > 0

$\max_{1\le k\le n}P(|X_k|\ge\varepsilon a_n)\to 0, \text{ for every fixed } \varepsilon>0$

і

sup x ∣ ∣ ∣ ∣ P (a - 1 n \sum k = 1 n X k < x) - Φ (x) ∣ ∣ ∣ ∣ \to 0

$\sup_x\left|P\left(a_n^{-1}\sum_{k=1}^nX_k<x\right)-\Phi(x)\right|\to 0$

це необхідно і достатньо

\sum k = 1 n \int | x | \geq ε a n d V k (x) \to 0 for every fixed ε > 0,

$\sum_{k=1}^n\int_{|x|\ge \varepsilon a_n}dV_k(x)\to 0 \text{ for every fixed }\varepsilon>0,$

a - 2 n \sum k = 1 n (\int | x | < a n x 2 d V k (x) - (\int | x | < a n x d V k (x)) 2) \to 1

$a_n^{-2}\sum_{k=1}^n\left(\int_{|x|<a_n}x^2dV_k(x)-\left(\int_{|x|<a_n}xdV_k(x)\right)^2\right)\to 1$

і

a - 1 n \sum k = 1 n \int | x | < a n x d V k (x) \to 0.

$a_n^{-1}\sum_{k=1}^n\int_{|x|<a_n}xdV_k(x)\to 0.$

Потім ця теорема дає вам уявлення про те, як має виглядати . $a_n$

Загальна теорія в книзі побудована таким чином, що константа нормування будь-яким чином обмежена, але остаточні теореми, що дають необхідні та достатні умови, не залишають місця для нормування константою, окрім . $\sqrt{n}$

— mpiktas
джерело

4

s являє собою стандартне відхилення вибірки для середнього зразка. s - дисперсія вибірки для середнього зразка і дорівнює S / n. Де S - вибіркова оцінка дисперсії популяції. Оскільки s = S / √n, це пояснює, як √n з'являється в першій формулі. Зауважимо, що в знаменнику було б σ, якби межа була $_n$ $_n$ $^2$ $_n$ $^2$ $_n$ $^2$ $_n$ $_n$

N (0,1), але межа задається як N (0, σ ). Оскільки S є послідовною оцінкою σ, то в рівнянні секунди використовується σ, виведена з межі. $^2$ $_n$

— Майкл Р. Черник
джерело

А як щодо іншої (більш основної та важливої) частини питання: чому а не якась інша міра дисперсності?

sn $s_n$

— whuber

@whuber Це може бути обговорено, але це не було частиною питання. ОП просто хотіла знати, чому s і √n з'являються у формулі для CLT. Звичайно, S є, тому що він відповідає σ і в такому вигляді CLT σ видаляється.

n $_n$

— Майкл Р. Черник

1

Мені зовсім не зрозуміло, що

присутній, тому що він "відповідає

". Чому це також не означає, скажімо, що

слід використовувати для нормалізації статистики надзвичайних значень (яка б не працювала)? Я пропускаю щось просте і само собою зрозуміле? І, щоб повторити ОП, чому б не використати

sn $s_n$

σ $\sigma$

sn $s_n$

--after все, що відповідає для

sn−−√ $\sqrt{s_n}$

! σ−−√ $\sqrt{\sigma}$

— whuber

Як заявлена теорема має збіжність до N (0,1), тому для досягнення цього вам або потрібно знати σ і використовувати її, або використовувати послідовну її оцінку, яка працює за теоремою Слуцького, я думаю. Невже мені це було незрозуміло?

— Майкл Р. Черник

Я не думаю, що ти був незрозумілим; Я просто думаю, що важливий момент може бути відсутнім. Зрештою, для багатьох розподілів ми можемо отримати обмежувальний нормальний розподіл, використовуючи IQR замість

-, але результат не такий акуратний (SD обмежувального розподілу залежить від розповсюдження, з якого ми починаємо). Я просто припускаю, що це заслуговує того, щоб викликати і пояснити. Це не буде настільки очевидним для того, хто не має інтуїції, розробленої за 40 років стандартизації всіх розподілів, з якими вони стикаються! sn $s_n$

— whuber

2

Інтуїтивно, якщо для деякого слід очікувати, що приблизно дорівнює ; це здається досить розумним очікуванням, хоча я взагалі не думаю, що це потрібно. Причина $Z_n \to \mathcal N(0, \sigma^2)$ $\sigma^2$ $\mbox{Var}(Z_n)$ $\sigma^2$ у першому виразі полягає в тому, що дисперсіяпереходить дояк $\sqrt n$ $\bar X_n - \mu$ $0$ і так $\frac 1 n$ надуває дисперсію так, що вираз просто має дисперсію, рівну. У другому виразі термінвизначається як $\sqrt n$ $\sigma^2$ $s_n$ тоді як дисперсія чисельника зростає як, тому ми знову маємо, що дисперсія всього виразу є постійною (у цьому випадку). $\sqrt{\sum_{i = 1} ^ n \mbox{Var}(X_i)}$ $\sum_{i = 1} ^ n \mbox{Var}(X_i)$ $1$

По суті, ми знаємо, що щось «цікаве» відбувається з розподілом , але якщо ми не будемо належним чином центрувати і масштабувати, ми не зможемо його побачити. Я чув, що описане іноді потребує регулювання мікроскопа. Якщо ми не підірвемо (наприклад)на $\bar X_n := \frac 1 n \sum_i X_i$ $\bar X - \mu$ тоді у нас простоза розподілом за слабким законом; цікавий результат саме по собі, але не такий інформативний, як CLT. Якщо ми надуємо будь-яким факторомякому переважає $\sqrt n$ $\bar X_n - \mu \to 0$ $a_n$ , ми все ще отримуємоа будь-який чинникдомінуюча $\sqrt n$ $a_n(\bar X_n - \mu) \to 0$ $a_n$ дає. Виходить $\sqrt n$ $a_n(\bar X_n - \mu) \to \infty$ - просто правильне збільшення, щоб можна було побачити, що відбувається в даному випадку (зауважте: вся конвергенція тут знаходиться в розподілі; є ще один рівень збільшення, який цікавий майже впевненою конвергенцією, що породжує закон ітераційного закону логарифм). $\sqrt n$

— хлопець
джерело

4

Більш фундаментальне питання, яке слід вирішити спочатку, - це те, чому СД використовується для вимірювання дисперсії. Чому б не абсолютний центральний

момент для деякого іншого значення

? Або чому б не IQR чи хтось із його родичів? Після того, що відповідає, то прості властивості ковариации відразу дають

$k^\text{th}$

$k$

залежність (як нещодавно пояснив @ Gui11aume) $\sqrt{n}$

— whuber

1

@whuber Я згоден, саме тому я представив це як евристичний. Я не впевнений, що це піддається простому поясненню, хоча я хотів би його почути. Для мене я не впевнений, що у мене є простіша, пояснювальна причина минулого, "оскільки квадратний термін є відповідним терміном у розширенні Тейлора характерної функції, коли ви віднімаєте середнє значення".

— хлопець