У кількох різних контекстах ми посилаємося на центральну граничну теорему, щоб обґрунтувати будь-який статистичний метод, який ми хочемо прийняти (наприклад, апроксимувати біноміальний розподіл звичайним розподілом). Я розумію технічні деталі того, чому теорема є правдивою, але мені тільки що прийшло в голову, що я не дуже розумію інтуїцію, що стоїть за центральною граничною теоремою.

Отже, яка інтуїція стоїть за центральною граничною теоремою?

Пояснення щодо неспеціалістів були б ідеальними. Якщо потрібні якісь технічні деталі, припустіть, що я розумію поняття pdf, cdf, випадкової змінної тощо, але не маю знань про поняття конвергенції, характерні функції або що-небудь спільне з теорією вимірювань.

Я заздалегідь прошу вибачення за тривалість цієї посади: я з певним побоюванням випускаю її на публіці взагалі, тому що для читання потрібен певний час і увагу, і, безсумнівно, є типографічні помилки та прогалини у сховищах. Але ось це для тих, хто цікавиться захоплюючою темою, пропонуючи з надією, що це спонукає вас визначити одну чи декілька з багатьох частин CLT для подальшого опрацювання у ваших власних відповідях.

---

Більшість спроб "пояснити" CLT - це ілюстрації чи просто перестановки, які стверджують, що це правда. Справді проникливе, правильне пояснення повинно було б пояснити дуже багато речей.

Перш ніж розглядати це далі, давайте будемо зрозуміти, що говорить CLT. Як ви всі знаєте, існують версії, які відрізняються за своєю загальністю. Загальний контекст - це послідовність випадкових змінних, які є певними видами функцій у загальному просторі ймовірностей. Для інтуїтивно зрозумілих пояснень, які суворо тримаються, я вважаю корисним уявити про простір ймовірностей як коробку з різними предметами. Не має значення, що це за об'єкти, але я назву їх "квитками". Ми робимо одне «спостереження» за коробкою, ретельно перемішуючи квитки та оформляючи один; цей квиток є спостереженням. Записавши його для подальшого аналізу, ми повертаємо квиток у вікно, щоб його вміст залишався незмінним. В основному "випадкова змінна" - це число, записане на кожному квитку.

У 1733 році Авраам де Моївр розглянув випадок єдиної скриньки, де цифри в квитках є лише нулями та одиницями ("випробування Бернуллі"), причому деякі з кожного номера присутні. Він уявляв собі фізично незалежних спостережень, отримуючи послідовність значень , всі з яких дорівнюють нулю або одиниці. Сума цих значень, , є випадковим , так як члени в сумі є. Тому, якби ми могли повторити цю процедуру багато разів, різні суми (цілі числа від до ) з'являлися з різними частотами - пропорціями від загальної суми. (Див. Гістограми нижче.)x 1 , x 2 , … , x n y n = x 1 + x 2 + … + x n 0 $n$$x_1, x_2, \ldots, x_n$$y_n = x_1 + x_2 + \ldots + x_n$$0$$n$

Тепер можна було б очікувати - і це правда - що при дуже великих значеннях всі частоти були б зовсім маленькими. Якби ми повинні були бути настільки сміливим (чи нерозумно), щоб спробувати «взяти межа» або «хай перейти до », ми б правильно зробити висновок , що всі частоти зводяться до . Але якщо ми просто намалюємо гістограму частот, не звертаючи ніякої уваги на те, як маркуються її осі, ми бачимо, що гістограми для великих всі починають виглядати однаково: у певному сенсі ці гістограми наближаються до межі, навіть якщо частоти самі всі йдуть до нуля.n ∞ 0 $n$$n$$\infty$$0$$n$

Ці гістограми зображають результати повторення процедури отримання багато разів. - "кількість випробувань" у заголовках.$y_n$$n$

Розуміння тут полягає в тому, щоб спочатку намалювати гістограму та позначити її осі пізніше . При великій гістограма охоплює великий діапазон значень, орієнтованих навколо (на горизонтальній осі) та зникаючий малий інтервал значень (на вертикальній осі), оскільки окремі частоти зростають зовсім невеликими. Тому встановлення цієї кривої в графічну область вимагало як зміщення, так і зміни шкали гістограми. Математичний опис цього полягає в тому, що для кожного ми можемо вибрати деяке центральне значення (не обов'язково унікальне!) Для позиціонування гістограми та деяке значення масштабуn / 2 n m n s n y n z n = ( y n - m n ) / s $n$$n/2$$n$$m_n$$s_n$(не обов'язково унікальний!), щоб він змістився в межах осей. Це можна зробити математично, змінивши на .$y_n$$z_n = (y_n - m_n) / s_n$

Пам'ятайте, що гістограма представляє частоти за областями між нею та горизонтальною віссю. Отже, можливу стійкість цих гістограм для великих значень слід визначати за площею. $n$ a b > a n z n ( a , b ] Отже, виберіть будь-який інтервал значень, який вам подобається, скажімо, від до і, по мірі збільшення відслідковуйте площу частини гістограми яка горизонтально охоплює інтервал . CLT стверджує кілька речі:$a$$b \gt a$$n$$z_n$$(a, b]$

1. Незалежно від того, що таке і ,$a$$b$ якщо ми обираємо послідовності і відповідним чином (таким чином, що взагалі не залежить від або ), ця область дійсно наближається до межі, оскільки стає великою.s n a b $m_n$$s_n$$a$$b$$n$

2. Послідовності та можна вибрати таким чином, який залежить лише від , середнього значення у полі та деякого показника поширення цих значень - але нічого іншого - так що незалежно від того, що знаходиться у полі , межа завжди однакова. (Ця властивість універсальності дивовижна.)s n$m_n$$s_n$$n$

3. Зокрема, що обмежуюча область - це площа під кривою між і : це формула цієї універсальної обмежуючої гістограми. a$y = \exp(-z^2/2) / \sqrt{2 \pi}$$a$$b$

   Перше узагальнення CLT додає,

4. Коли вікно може містити цифри на додаток до нулів та одиниць, точно такі самі висновки (за умови, що пропорції надзвичайно великих чи малих чисел у полі не "занадто великі", критерій, який має точне та просте кількісне висловлення) .

   Наступне узагальнення, і, мабуть, найдивовижніше, замінює цю єдину коробку квитків упорядкованим нескінченно довгим набором ящиків з квитками. Кожна скринька може мати різні номери на своїх квитках у різних пропорціях. Спостереження проводиться шляхом витягування квитка з першого поля, надходить з другого поля тощо.х $x_1$$x_2$

5. Точно такі ж висновки мають місце за умови, що вміст полів "не надто різний" (є кілька точних, але різних кількісних характеристик того, що має означати "не надто різне"; вони дозволяють вражати величиною широти).

Ці п'ять тверджень, як мінімум, потребують пояснення. Є ще більше. Деякі інтригуючі аспекти налаштування містяться в усіх твердженнях. Наприклад,

• У чому особливість суми ? Чому ми не маємо центральних граничних теорем для інших математичних комбінацій чисел, таких як їх добуток чи максимум? (Виявляється, ми це робимо, але вони не настільки загальні і не мають завжди такого чистого, простого висновку, якщо їх не можна звести до CLT.) Послідовності і не є унікальними, але вони майже унікальні в тому сенсі, що в кінцевому підсумку вони повинні наблизити очікування суми квитків і стандартного відхилення суми відповідно (що в перших двох заявах CLT дорівнює разів більше стандартного відхилення ящик). s n n $m_n$$s_n$$n$$\sqrt{n}$

  Стандартне відхилення - це одна міра поширення значень, але це аж ніяк не єдина, і не є найбільш "природною", ні історично, ні для багатьох застосувань. (Багато людей обрали б, наприклад, середнє абсолютне відхилення від медіани , наприклад.)

• Чому SD з'являється таким суттєвим чином?

• Розглянемо формулу обмежувальної гістограми: хто міг би очікувати, що вона прийме таку форму? Він говорить, що логарифм щільності ймовірності є квадратичною функцією. Чому? Чи є якесь інтуїтивне чи чітке, переконливе пояснення цьому?

---

Зізнаюся, я не в змозі досягти остаточної мети - дати відповіді, які є досить простими, щоб відповідати складним критеріям Шріканта щодо інтуїтивності та простоти, але я намалював цей фон у надії, що інші можуть бути натхненні заповнити деякі з багатьох прогалин. Я думаю, що для гарної демонстрації в кінцевому рахунку доведеться покладатися на елементарний аналіз того, як можуть виникати значення між та при формуванні суми . Повернувшись до однофазної версії CLT, випадок симетричного розподілу простіший в управлінні: його медіана дорівнює його середній, тому існує 50% шансів, що буде меншим за середнє значення коробки, і 50% шансів, щоβ n = b s n + m n x 1 + x 2 + … + x n x i x i$\alpha_n = a s_n + m_n$$\beta_n = b s_n + m_n$$x_1 + x_2 + \ldots + x_n$$x_i$$x_i$буде більше його середнього значення. Більше того, коли досить велике, позитивні відхилення від середнього значення повинні компенсувати негативні відхилення в середньому. (Це вимагає ретельного обґрунтування, а не просто розмахування рукою.) Таким чином, нам слід перейматися насамперед підрахунком кількості позитивних та негативних відхилень і мати лише вторинну стурбованість щодо їх розмірів.$n$ (З усього, що я написав тут, це може бути найкориснішим, коли я маю певну інтуїцію щодо того, чому працює CLT. Дійсно, технічні припущення, необхідні, щоб зробити узагальнення CLT по суті, є різними способами виключення можливості того, що рідкісні величезні відхилення будуть порушувати рівновагу достатньо, щоб запобігти появі обмежувальної гістограми.)

Це так чи інакше показує, чому перше узагальнення CLT насправді не виявляє нічого, що не було в оригінальній пробній версії Бернуллі де Моєрре.

На даний момент схоже, що для цього немає нічого, крім того, щоб зробити трохи математики: нам потрібно порахувати кількість різних способів, за якими кількість позитивних відхилень від середнього може відрізнятися від кількості негативних відхилень на будь-яке заздалегідь задане значення , де очевидно є одним із . Але оскільки зникаючі невеликі помилки зникнуть в межі, нам не доведеться точно рахувати; нам потрібно лише наблизити підрахунки. Для цього достатньо це знатиk - n , - n + 2 , … , n - 2 , $k$$k$$-n, -n+2, \ldots, n-2, n$

$$\text{The number of ways to obtain } k \text{ positive and } n-k \text{ negative values out of } n$$

$$\text{equals } \frac{n-k+1}{k}$$

$$\text{times the number of ways to get } k-1 \text{ positive and } n-k+1 \text { negative values.}$$

(Це абсолютно елементарний результат, тому я не буду намагатися записувати виправдання.) Тепер ми орієнтуємося на оптовий продаж. Максимальна частота виникає, коли максимально наближений до (також елементарного). Запишемо . Тоді відносно максимальної частоти частота позитивних відхилень ( ) оцінюється добуткомn / 2 m = n / 2 m + j + 1 j ≥ $k$$n/2$$m = n/2$$m+j+1$$j \ge 0$

$$\frac{m+1}{m+1} \frac{m}{m+2} \cdots \frac{m-j+1}{m+j+1}$$

$$=\frac{1 - 1/(m+1)}{1 + 1/(m+1)} \frac{1-2/(m+1)}{1+2/(m+1)} \cdots \frac{1-j/(m+1)}{1+j/(m+1)}.$$

За 135 років до того, як де Моївр писав, Джон Неп'є винайшов логарифми для спрощення множення, тож давайте скористаємося цим. Використовуючи наближення

$$\log\left(\frac{1-x}{1+x}\right) \sim -2x,$$

ми знаходимо, що журнал відносної частоти приблизно

$$-2/(m+1) - 4/(m+1) - \cdots - 2j/(m+1) = -\frac{j(j+1)}{m+1} \sim -\frac{j^2}{m}.$$

Оскільки сукупна помилка пропорційна , це повинно працювати добре, якщо є невеликим відносно . Це охоплює більший діапазон значень ніж потрібно. (Для апроксимації достатньо працювати для лише в порядку який асимптотично набагато менший, ніж .)j 4 m 3 j j $j^4/m^3$$j^4$$m^3$$j$$j$ м 3 /$\sqrt{m}$$m^{3/4}$

---

Очевидно, що набагато більше подібного аналізу слід подати, щоб виправдати інші твердження в CLT, але мені не вистачає часу, простору та енергії, і я, мабуть, втратив 90% людей, які все-таки почали це читати. Це просте наближення, однак, говорить про те, як де Моєвр міг спочатку підозрювати, що існує універсальний обмежуючий розподіл, що його логарифм є квадратичною функцією і що власне масштабний коефіцієнт повинен бути пропорційним (тому що ).$s_n$$\sqrt{n}$$j^2/m = 2 j^2 / n = 2 (j/\sqrt{n})^2$ Важко уявити, як можна пояснити цю важливу кількісну залежність, не посилаючись на якусь математичну інформацію та міркування; все менше залишало б точну форму обмежувальної кривої повною загадкою.

Найприємніша анімація, яку я знаю: http://www.ms.uky.edu/~mai/java/stat/GaltonMachine.html

Найпростіші слова, які я прочитав: http://elonen.iki.fi/articles/centrallimit/index.en.html

Якщо підсумувати результати цих десяти кидків, то, що ви отримаєте, швидше за все, буде ближче до 30-40, ніж максимальне, 60 (усі шістдесят) або, з іншого боку, мінімум, 10 (усі).

Причиною цього є те, що ви можете отримати середні значення набагато іншими способами, ніж крайні. Приклад: при киданні двох кубиків: 1 + 6 = 2 + 5 = 3 + 4 = 7, але лише 1 + 1 = 2 і лише 6 + 6 = 12.

Тобто: хоч ви отримуєте будь-яке з шести чисел однаково ймовірними при киданні однієї матриці, крайні показники є менш вірогідними, ніж середні значення в сумах кількох кісток.

Інтуїція - справа хитра. Це навіть складніше з теорією в наших руках, зав'язаних за спиною.

CLT - це вся сума крихітних незалежних порушень. "Суми" у розумінні вибірки означають, "крихітні" у значенні кінцевої дисперсії (популяції) та "порушення" у значенні плюс / мінус навколо центрального (популяційного) значення.

Для мене пристроєм, який найбільше звертається до інтуїції, є квінкункс, або «коробка Галтона», див. Вікіпедія (для «бобової машини»?) Ідея полягає в тому, щоб згорнути крихітну кульку вниз обличчям дошки, прикрашеної решіткою. однаково розташованих штифтів. Під час руху вниз куля відхиляється вправо і вліво (... випадковим чином, незалежно) і збирається внизу. З часом ми бачимо приємну форму дзвіниці у формі дзвіночка прямо перед очима.

CLT говорить те саме. Це математичний опис цього явища (точніше, квінкункс є фізичним свідченням нормального наближення до біноміального розподілу). Чітко кажучи, CLT говорить про те, що поки наше населення не надто поводиться (тобто якщо хвости PDF-файлу є досить тонкими), то середній зразок (правильно масштабований) поводиться так само, як маленький кулька, що підстрибує обличчя quincunx: іноді він падає зліва, іноді відпадає праворуч, але більшу частину часу він приземляється прямо навколо середини, у приємній формі дзвоника.

Величність CLT (на мене) полягає в тому, що форма основного населення не має значення. Форма відіграє лише певну роль, оскільки делегує час, який нам потрібно чекати (у розумінні розміру вибірки).

Спостереження щодо CLT може бути наступним. Коли у вас є сума безлічі випадкових компонентів, якщо одна "менша, ніж зазвичай", то це в основному компенсується тим, що деякі інші компоненти є "більшими, ніж зазвичай". Іншими словами, негативні відхилення та позитивні відхилення від компонента означає скасування один одного у підсумовуванні. Особисто я не маю чіткої інтуїції, чому саме решта відхилень утворюють розподіл, який виглядає все нормальніше і більше, ніж більше термінів.

$$S = X_1 + X_2 + \ldots + X_n$$

Існує багато версій CLT, деякі сильніші за інші, деякі з послабленими умовами, такими як помірна залежність між термінами та / або не ідентичні розподіли для термінів. У найпростішому випадку до довести версії ЦПТА, доказ, як правило , на основі функції моменту генеруючої (або перетворення Лапласа-Стілтьєса або який - або інше відповідне перетворення щільності) суми . Якщо записати це як розширення Тейлора і зберегти лише найбільш домінуючий термін, то ви створюєте функцію, що генерує момент, нормального розподілу. Тож для мене особисто нормальність - це те, що випливає з купки рівнянь, і я не можу надати більше інтуїції, ніж це.$S$

Слід зазначити, однак, що розподіл суми ніколи насправді не розподіляється нормально, і CLT не стверджує, що це було б. Якщо кінцеве, все-таки існує деяка відстань до нормального розподілу, і якщо і середнє, і дисперсійне значення також нескінченні. В останньому випадку ви можете взяти середнє значення нескінченної суми, але тоді ви отримаєте детерміноване число без будь-якої різниці, яке навряд чи можна було б позначити як "нормально розподілене".$n$$n=\infty$

Це може спричинити проблеми з практичним застосуванням CLT. Зазвичай, якщо вас цікавить розподіл поблизу від його центру, CLT працює добре. Однак конвергенція до нормальної скрізь не рівномірна і чим далі ви відходите від центру, тим більше термінів потрібно мати розумне наближення.$S/n$

При всій "святості" теоретики про центральну межу в статистиці часто обмежуються її обмеження. Нижче я даю два слайди з мого курсу, вказуючи на те, що CLT абсолютно не спрацьовує в хвостах, у будь-якому випадку практичного використання. На жаль, багато людей спеціально використовують CLT для оцінки ймовірності хвоста, свідомо чи іншим чином.

Ця відповідь сподівається надати інтуїтивному значенню теореми про центральну межу, використовуючи прості методи обчислення (розширення Тейлора порядку 3). Ось контур:

1. Що говорить CLT
2. Інтуїтивний доказ CLT з використанням простого обчислення
3. Чому нормальний розподіл?

Ми згадаємо про нормальний розподіл в самому кінці; тому що той факт, що нормальний розподіл зрештою настає, не несе великої інтуїції.

1. Що говорить центральна межа теореми? Кілька версій CLT

Існує кілька еквівалентних версій CLT. Заява підручника CLT говорить, що для будь-якого реального та будь-якої послідовності незалежних випадкових змінних з нульовою середньою та дисперсією 1, Щоб зрозуміти, що є універсальним та інтуїтивним щодо CLT, давайте забудемо на мить межу. Вищенаведене твердження говорить про те, що якщо і це дві послідовності незалежних випадкових величин, кожна з нульовою середньою та дисперсією 1, то $x$$X_1,\cdots,X_n$

$$P\left(\frac{X_1+\cdots+X_n}{\sqrt n} \le x\right) \to_{n\to+\infty} \int_{-\infty}^x \frac{e^{-t^2/2}}{\sqrt{2\pi}} dt.$$ $X_1.,\ldots,X_n$$Z_1,\ldots,Z_n$ $$E \left[ f\left(\tfrac{X_1+\cdots+X_n}{\sqrt n}\right) \right] - E \left[ f\left(\tfrac{Z_1+\cdots+Z_n}{\sqrt n}\right) \right] \to_{n\to+\infty} 0$$ для кожної функції індикатора форми, для деякого фіксованого реального , Попередній дисплей втілює факт, що межа є однаковою незалежно від розподілу і , за умови, що випадкові величини незалежні із середнім нулем, дисперсією.$f$$x$ $$\begin{equation} f(t) = \begin{cases} 1 \text{ if } t < x \\ 0 \text{ if } t\ge x.\end{cases} \end{equation}$$ $X_1,\ldots,X_n$$Z_1,\ldots,Z_n$

Деякі інші версії CLT згадують клас функцій Lipschtiz, які обмежені 1; деякі інші версії CLT згадують клас гладких функцій із обмеженою похідною порядку . Розглянемо дві послідовності і як зазначено вище, а для деякої функції - результат конвергенції (CONV)$k$$X_1,\ldots,X_n$$Z_1,\ldots,Z_n$$f$

$$E \left[ f\left(\tfrac{X_1+\cdots+X_n}{\sqrt n}\right) \right] - E \left[ f\left(\tfrac{Z_1+\cdots+Z_n}{\sqrt n}\right) \right] \to_{n\to+\infty} 0 \tag{CONV}$$

Можна встановити еквівалентність ("якщо і тільки якщо") між наступними твердженнями:

1. (CONV) вище виконується для кожної функції індикатора вигляду для і для для деякого фіксованого реального .$f$$f(t)=1$$t < x$$f(t)=0$$t\ge x$$x$
2. (ИЗМ) має місце для будь-якої обмеженої функції Ліпшиця .$f:R\to R$
3. (CONV) утримується для всіх гладких (тобто ) функцій з компактною підтримкою.$C^{\infty}$
4. (CONV) виконується для кожної функції тричі безперервно диференціюється з .$f$$\sup_{x\in R} |f'''(x)| \le 1$

Кожен із 4 пунктів вище говорить про те, що конвергенція стосується великого класу функцій. За аргументом технічного наближення можна показати, що чотири вище точки є рівнозначними, ми посилаємося на читача до глави 7, стор. 77 книги Девіда Полларда . Посібник користувача для вимірювання теоретичних ймовірностей, з яких ця відповідь сильно надихається.

Наше припущення щодо решти цієї відповіді ...

Будемо вважати, що для деякої постійної , що відповідає точці 4 вище. Будемо також вважати, що випадкові змінні мають кінцевий, обмежений третій момент: та є кінцевими.$\sup_{x\in R} |f'''(x)| \le C$$C>0$$E[|X_i|^3]$$E[|Z_i|^3]$

2. Значення є універсальним: воно не залежить від розподілу$E\left[ f\left( \tfrac{X_1+\cdots+X_n}{\sqrt n} \right) \right]$$X_1,...,X_n$

Покажемо, що ця кількість є універсальною (аж до невеликої помилки), в тому сенсі, що вона не залежить від того, який збір незалежних випадкових величин був наданий. Візьміть і дві послідовності незалежних випадкових величин, кожна зі середнім 0 та дисперсією 1, та кінцевим третім моментом.$X_1,\ldots,X_n$$Z_1,\ldots,Z_n$

Ідея полягає в тому, щоб повторно замінити на на одну з кількості і контролювати різницю за базовим численням (я вважаю, що це пов'язано з Ліндебергом). За допомогою розширення Тейлора, якщо , і то where and$X_i$$Z_i$$W = Z_1+\cdots+Z_{n-1}$$h(x)=f(x/\sqrt n)$

$$\begin{align} h(Z_1+\cdots+Z_{n-1}+X_n) &= h(W) + X_n h'(W) + \frac{X_n^2 h''(W)}{2} + \frac{X_n^3/h'''(M_n)}{6} \\ h(Z_1+\cdots+Z_{n-1}+Z_n) &= h(W) + Z_n h'(W) + \frac{Z_n^2 h''(W)}{2} + \frac{Z_n^3 h'''(M_n')}{6} \\ \end{align}$$ $M_n$$M_n'$є середніми точками, заданими теоремою середнього значення. Приймаючи очікування в обох рядках, термін нульового порядку однаковий, умови першого порядку рівні в очікуванні, оскільки незалежність і , і аналогічно для другого рядка. Знову ж таки незалежність, умови другого порядку в очікуванні однакові. Залишилися лише члени третього порядку, і в очікуванні різниця між двома рядками не більше Тут - верхня межа третьої похідної . З'являється знаменник , оскільки$X_n$$W$$E[X_n h'(W)]= E[X_n] E[h'(W)] =0$

$$\frac{(C/6)E[ |X_n|^3 + |Z_n|^3 ]}{(\sqrt n)^3}.$$ $C$$f'''$$(\sqrt{n})^3$$h'''(t) = f'''(t/\sqrt n)/(\sqrt n)^3$ . За незалежності внесок у суму є безглуздим, оскільки його можна було б замінити не помилки, більшої за вищезазначений дисплей!$X_n$$Z_n$

Тепер знову підтверджуємо заміну на . Якщо то Незалежністю і , а також незалежністю і$X_{n-1}$$Z_{n-1}$$\tilde W= Z_1+Z_2+\cdots+Z_{n-2} + X_n$

$$\begin{align} h(Z_1+\cdots+Z_{n-2}+X_{n-1}+X_n) &= h(\tilde W) + X_{n-1} h'(\tilde W) + \frac{X_{n-1}^2 h''(\tilde W)}{2} + \frac{X_{n-1}^3/h'''(\tilde M_n)}{6}\\ h(Z_1+\cdots+Z_{n-2}+Z_{n-1}+X_n) &= h(\tilde W) + Z_{n-1} h'(\tilde W) + \frac{Z_{n-1}^2 h''(\tilde W)}{2} + \frac{Z_{n-1}^3/h'''(\tilde M_n)}{6}. \end{align}$$ $Z_{n-1}$$\tilde W$$X_{n-1}$$\tilde W$, знову ж таки, нульовий, перший та другий порядки, рівні в очікуванні для обох рядків. Різниця в очікуванні між двома рядками знову не більше Ми продовжуємо повторювати, поки не замінили всі на . Додаючи помилки, зроблені на кожному з кроків, отримуємо як

$$\frac{(C/6)E[ |X_{n-1}|^3 + |Z_{n-1}|^3 ]}{(\sqrt n)^3}.$$ $Z_i$$X_i$$n$ $$\Big| E\left[ f\left( \tfrac{X_1+\cdots+X_n}{\sqrt n} \right) \right]-E\left[ f\left( \tfrac{Z_1+\cdots+Z_n}{\sqrt n} \right) \right] \Big| \le n \frac{(C/6)\max_{i=1,\ldots,n} E[ |X_i|^3 + |Z_i|^3 ]}{(\sqrt n)^3}.$$ $n$збільшується, права сторона стає довільно малою, якщо треті моменти або випадкові величини є кінцевими (припустимо, що це так). Це означає, що очікування зліва стають довільно близькими один до одного, незалежно від того, чи розподіл далеко не . За незалежністю внесок кожного в суму є безглуздим, оскільки його можна було замінити без помилки, більшої за . І заміна всіх на не змінює величину більш ніж на .$X_1,\ldots,X_n$$Z_1,\ldots,Z_n$$X_i$$Z_i$$O(1/(\sqrt n)^3)$$X_i$$Z_i$$O(1/\sqrt n)$

Таким чином, очікування є універсальним, воно не залежить від розподілу . З іншого боку, незалежність і мали надзвичайно важливе значення для вищезазначених меж.$E\left[ f\left( \frac{X_1+\cdots+X_n}{\sqrt n} \right) \right]$$X_1,\ldots,X_n$$E[X_i]=E[Z_i]=0,E[Z_i^2]=E[X_i^2]=1$

3. Чому нормальний розподіл?

Ми бачили, що очікування буде однаковим, незалежно від розподілу , аж до мала помилка порядку .$E\left[ f\left( \frac{X_1+\cdots+X_n}{\sqrt n} \right) \right]$$X_i$$O(1/\sqrt n)$

Але для програм було б корисно обчислити таку кількість. Було б також корисним отримати простіший вираз для цієї величини .$E\left[ f\left( \frac{X_1+\cdots+X_n}{\sqrt n} \right) \right]$

Оскільки ця кількість однакова для будь-якої колекції , ми можемо просто вибрати одну конкретну колекцію так, що розподіл легко обчислити або легко запам'ятати.$X_1,\ldots,X_n$$(X_1+\cdots+X_n)/\sqrt n$

Для нормального розподілу буває, що ця величина стає дійсно простою. Дійсно, якщо є то також має розподіл і це не залежить від ! Отже, якщо , то і за вищенаведеним аргументом для будь-якої колекції незалежних випадкових змінних з , тоді$N(0,1)$$Z_1,\ldots,Z_n$$N(0,1)$$\frac{Z_1+\cdots+Z_n}{\sqrt n}$$N(0,1)$$n$$Z\sim N(0,1)$

$$E\left[ f\left( \frac{Z_1+\cdots+Z_n}{\sqrt n} \right) \right] = E[ f(Z)],$$ $X_1,\ldots,X_n$$E[X_i]=0,E[X_i^2]=1$

$$\left| E\left[ f\left( \frac{X_1+\cdots+X_n}{\sqrt n} \right) \right] -E[f(Z) \right| \le \frac{\sup_{x\in R} |f'''(x)| \max_{i=1,\ldots,n} E[|X_i|^3 + |Z|^3]}{6\sqrt n}.$$

Я відмовився від спроби придумати інтуїтивну версію і придумав кілька симуляцій. У мене є такий, який представляє моделювання Quincunx та деякі інші, які роблять такі речі, як показують, як навіть перекошений сирий розподіл часу реакції стане нормальним, якщо ви наберете достатню кількість RT на предмет. Я думаю, що вони допомагають, але вони нові в моєму класі цього року, і я ще не оцінив перший тест.

Одне, що я вважав гарним, це те, що я міг показати і закон великої кількості. Я міг би показати, як змінюються речі з малими розмірами вибірки, а потім показати, як вони стабілізуються з великими. Я також купую багато інших демо-версій. Я можу показати взаємодію в Quincunx між числами випадкових процесів і числами вибірок.

(виявляється, неможливість використання крейди або білої дошки у моєму класі може бути благом)

Коли ви додаєте багато гістограм випадкових розподілів разом, ви або підтримуєте нормальну форму розподілу, тому що всі окремі гістограми вже мають таку форму, або ви отримуєте цю форму, тому що коливання в окремих гістограмах, як правило, скасовують один одного, якщо додати великий кількість гістограм. Гістограма випадкового розподілу однієї змінної вже приблизно розподілена таким чином, що люди почали називати нормальний розподіл, оскільки це так часто, і це мікрокосм теореми про центральну межу.

Це ще не вся історія, але я думаю, це настільки інтуїтивно, як це стає.