Чому теорема центрального ліміту руйнується в моєму моделюванні?

Скажімо, у мене є такі цифри:

4,3,5,6,5,3,4,2,5,4,3,6,5

Я вибираю деякі з них, скажімо, 5 з них, і обчислюю суму 5 зразків. Потім я повторюю це знову і знову, щоб отримати багато сум, і я розміщую значення сум у гістограмі, яка буде гауссова завдяки теоремі центрального граничного значення.

Але коли вони слідують за номерами, я просто замінив 4 на якесь велике число:

4,3,5,6,5,3,10000000,2,5,4,3,6,5

Відбір з 5 зразків цих зразків ніколи не стає гауссовим у гістограмі, а більше нагадує розкол і стає двома гауссами. Чому так?

Згадаймо точно, що говорить центральна межа теореми.

Якщо є незалежними та однаково розподіленими випадковими змінними із (спільним) середнім та стандартним відхиленням , то переходить у розподілі до стандартного нормального розподілу (*).$X_1, X_2, \cdots, X_k$$\mu$$\sigma$$\frac{X_1 + X_2 + \cdots + X_k}{k\frac{\sigma}{\sqrt{k}}}$$N(0, 1)$

Це часто використовується в "неофіційній" формі:

Якщо є незалежними та однаково розподіленими випадковими змінними із (спільним) середнім та стандартним відхиленням , то "у розподіл" до стандартного нормального розподілу .$X_1, X_2, \cdots, X_k$$\mu$$\sigma$$X_1 + X_2 + \cdots + X_k$$N(k \mu, \sqrt{k} \sigma)$

Немає хорошого способу зробити таку форму CLT математично точною, оскільки "обмеження" розподілу змінюється, але це корисно на практиці.

Коли ми маємо статичний список подібних чисел

4,3,5,6,5,3,10000000,2,5,4,3,6,5

і ми відбираємо вибірку, взявши випадково число з цього списку, щоб застосувати центральну граничну теорему, ми повинні бути впевнені, що наша схема вибірки відповідає цим двом умовам незалежності та однаково розподілена.

• Ідентично розподілений не є проблемою: кожне число у списку однаково вірогідне.
• Незалежне є більш тонким і залежить від нашої схеми вибірки. Якщо ми беремо вибірку без заміни , то ми порушуємо незалежність. Лише тоді, коли ми проводимо вибірку із заміною, застосовується центральна гранична теорема.

Отже, якщо ми використовуємо із заміною вибірки у вашій схемі, тоді ми повинні мати можливість застосувати центральну граничну теорему. У той же час ви маєте рацію, якщо наш зразок розміру 5, ми будемо спостерігати дуже різну поведінку залежно від того, чи обрано дуже велику кількість чи не обрано в нашому зразку.

Отже, що таке руб? Ну, швидкість конвергенції до нормального розподілу дуже залежить від форми сукупності, з якої ми відбираємо вибірку, зокрема, якщо наша популяція дуже перекошена, ми очікуємо, що пройде багато часу, щоб перейти до нормального. Це в нашому прикладі, тому ми не повинні сподіватися, що вибірки розміром 5 є достатньою для відображення нормальної структури.

Вище я повторив ваш експеримент (із заміною відбору проб) для зразків розміром 5, 100 та 1000. Ви можете бачити, що нормальна структура виникає для дуже великих зразків.

(*) Зауважте, тут потрібні деякі технічні умови, наприклад, кінцева середня величина та дисперсія. Вони легко підтверджуються, що вони є правдивими в нашому відборі із прикладу списку.

Загалом, розмір кожного зразка повинен бути більше $5$ щоб наближення CLT було хорошим. Велике правило - зразок розміром $30$ і більше. Але, з населенням вашого першого прикладу, $5$ добре.

pop <- c(4, 3, 5, 6, 5, 3, 4, 2, 5, 4, 3, 6, 5)
N <- 10^5
n <- 5
x <- matrix(sample(pop, size = N*n, replace = TRUE), nrow = N)
x_bar <- rowMeans(x)
hist(x_bar, freq = FALSE, col = "cyan")
f <- function(t) dnorm(t, mean = mean(pop), sd = sd(pop)/sqrt(n))
curve(f, add = TRUE, lwd = 2, col = "red")

У вашому другому прикладі, через форму розподілу населення (з одного боку, він занадто сильно перекошений; читайте коментарі хлопця та Glen_b внизу), навіть зразки розміром не дадуть вам хорошого наближення до розподілу середнє значення вибірки з використанням CLT.$30$

pop <- c(4, 3, 5, 6, 5, 3, 10000000, 2, 5, 4, 3, 6, 5)
N <- 10^5
n <- 30
x <- matrix(sample(pop, size = N*n, replace = TRUE), nrow = N)
x_bar <- rowMeans(x)
hist(x_bar, freq = FALSE, col = "cyan")
f <- function(t) dnorm(t, mean = mean(pop), sd = sd(pop)/sqrt(n))
curve(f, add = TRUE, lwd = 2, col = "red")

Але з цією другою сукупністю зразки, скажімо, розміром є нормальними.$100$

pop <- c(4, 3, 5, 6, 5, 3, 10000000, 2, 5, 4, 3, 6, 5)
N <- 10^5
n <- 100
x <- matrix(sample(pop, size = N*n, replace = TRUE), nrow = N)
x_bar <- rowMeans(x)
hist(x_bar, freq = FALSE, col = "cyan")
f <- function(t) dnorm(t, mean = mean(pop), sd = sd(pop)/sqrt(n))
curve(f, add = TRUE, lwd = 2, col = "red")

Я просто хотів би пояснити, використовуючи складні функції , що генерують накопичення , чому всі продовжують звинувачувати це у перекосі.

$\mu+\sigma Z$$\mu$$\sigma$$Z$$0$$1$$Z$$-\frac{1}{2}t^2-\frac{i\gamma_1}{6}t^3+o(t^3)$$\gamma_1$$Z$$\kappa_3$$\mu+\sigma Z$$\gamma_1=\sigma^{-3}\kappa_3$

$n$$Z$$\sqrt{n}$

Коротка відповідь: у вас немає достатньо великої вибірки, щоб застосувати центральну граничну теорему.