Асимптотичний розподіл дисперсії вибірки ненормальної вибірки

Це більш загальне трактування питання, поставленого цим питанням . Отримавши асимптотичний розподіл дисперсії вибірки, ми можемо застосувати метод Delta, щоб дійти до відповідного розподілу для стандартного відхилення.

Нехай зразок розміру iid ненормальних випадкових величин , із середнім та дисперсією . Встановіть середню вибірку та дисперсію вибірки як $n$ $\{X_i\},\;\; i=1,...,n$ $\mu$ $\sigma^2$

\bar{x} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}, s^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (X_{i} - \bar{x})^{2}

$\bar x = \frac 1n \sum_{i=1}^nX_i,\;\;\; s^2 = \frac 1{n-1} \sum_{i=1}^n(X_i-\bar x)^2$

Ми знаємо, що

E (s^{2}) = σ^{2}, Var (s^{2}) = \frac{1}{n} (μ_{4} - \frac{n - 3}{n - 1} σ^{4})

$E(s^2) = \sigma^2, \;\;\; \operatorname {Var}(s^2) = \frac{1}{n} \left(\mu_4 - \frac{n-3}{n-1}\sigma^4\right)$

де , і ми обмежимо свою увагу розподілами, для яких моменти потрібно існувати і бути кінцевими, вони існують і є кінцевими. $\mu_4 = E(X_i -\mu)^4$

Чи вірно це

\sqrt{n} (s^{2} - σ^{2}) \to_{d} N (0, μ_{4} - σ^{4}) ?

$\sqrt n(s^2 - \sigma^2) \rightarrow_d N\left(0,\mu_4 - \sigma^4\right)\;\; ?$

— Алекос Пападопулос
джерело

Хе. Я щойно опублікував інший потік, не розуміючи, що ви це опублікували. У CLT можна знайти ряд речей, застосованих до дисперсії (наприклад, p3-4 тут, наприклад). Гарна відповідь btw.

— Glen_b -Встановити Моніку

Спасибі. Так, я це знайшов. Але вони пропускають справу @whuber вказував. Вони навіть надають приклад Бернуллі із загальним ! (основа п. 4). Я поширюю свою відповідь, щоб охоплювати також випадку.

p

$p$

p = 1 / 2

$p=1/2$

— Alecos Papadopoulos

Так, я бачив, що вони вважають Бернуллі, але не розглядали цю особливу справу. Я думаю, що згадка про відмінність масштабованого Бернуллі (рівнозначний дихотомічний випадок) є однією з причин (серед пари інших), чому цінно, щоб це обговорювалося у відповіді тут (а не просто в коментарі) - не менше того його можна шукати.

— Glen_b -Встановити Моніку

Відповіді:

До залежних залежностей, що виникають при розгляді вибіркової дисперсії, пишемо

(n - 1) s^{2} = \sum_{i = 1}^{n} ((X_{i} - μ) - (\bar{x} - μ))^{2}

$(n-1)s^2 = \sum_{i=1}^n\Big((X_i-\mu) -(\bar x-\mu)\Big)^2$

= \sum_{i = 1}^{n} (X_{i} - μ)^{2} - 2 \sum_{i = 1}^{n} ((X_{i} - μ) (\bar{x} - μ)) + \sum_{i = 1}^{n} (\bar{x} - μ)^{2}

$=\sum_{i=1}^n\Big(X_i-\mu\Big)^2-2\sum_{i=1}^n\Big((X_i-\mu)(\bar x-\mu)\Big)+\sum_{i=1}^n\Big(\bar x-\mu\Big)^2$

і після невеликих маніпуляцій,

= \sum_{i = 1}^{n} (X_{i} - μ)^{2} - n (\bar{x} - μ)^{2}

$=\sum_{i=1}^n\Big(X_i-\mu\Big)^2 - n\Big(\bar x-\mu\Big)^2$

Тому

\sqrt{n} (s^{2} - σ^{2}) = \frac{\sqrt{n}}{n - 1} \sum_{i = 1}^{n} (X_{i} - μ)^{2} - \sqrt{n} σ^{2} - \frac{\sqrt{n}}{n - 1} n (\bar{x} - μ)^{2}

$\sqrt n(s^2 - \sigma^2) = \frac {\sqrt n}{n-1}\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sqrt n \sigma^2- \frac {\sqrt n}{n-1}n\Big(\bar x-\mu\Big)^2$

Маніпуляція,

\sqrt{n} (s^{2} - σ^{2}) = \frac{\sqrt{n}}{n - 1} \sum_{i = 1}^{n} (X_{i} - μ)^{2} - \sqrt{n} \frac{n - 1}{n - 1} σ^{2} - \frac{n}{n - 1} \sqrt{n} (\bar{x} - μ)^{2}

$\sqrt n(s^2 - \sigma^2) = \frac {\sqrt n}{n-1}\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sqrt n \frac {n-1}{n-1}\sigma^2- \frac {n}{n-1}\sqrt n\Big(\bar x-\mu\Big)^2$

= \frac{n \sqrt{n}}{n - 1} \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - μ)^{2} - \sqrt{n} \frac{n - 1}{n - 1} σ^{2} - \frac{n}{n - 1} \sqrt{n} (\bar{x} - μ)^{2}

$=\frac {n\sqrt n}{n-1}\frac 1n\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sqrt n \frac {n-1}{n-1}\sigma^2- \frac {n}{n-1}\sqrt n\Big(\bar x-\mu\Big)^2$

= \frac{n}{n - 1} [\sqrt{n} (\frac{1}{n} \sum_{i = 1}^{n} (X_{i} - μ)^{2} - σ^{2})] + \frac{\sqrt{n}}{n - 1} σ^{2} - \frac{n}{n - 1} \sqrt{n} (\bar{x} - μ)^{2}

$=\frac {n}{n-1}\left[\sqrt n\left(\frac 1n\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sigma^2\right)\right] + \frac {\sqrt n}{n-1}\sigma^2 -\frac {n}{n-1}\sqrt n\Big(\bar x-\mu\Big)^2$

Термін стає єдністю асимптотично. Термін є детермінованим і переходить до нуля як . $n/(n-1)$ $\frac {\sqrt n}{n-1}\sigma^2$ $n \rightarrow \infty$

У нас також є . Перший компонент переходить у розподілі до нормального, другий - ймовірний до нуля. Тоді за теоремою Слуцького добуток збігається з вірогідністю до нуля, $\sqrt n\Big(\bar x-\mu\Big)^2 = \left[\sqrt n\Big(\bar x-\mu\Big)\right]\cdot \Big(\bar x-\mu\Big)$

\sqrt{n} (\bar{x} - μ)^{2} \overset{p}{\to} 0

$\sqrt n\Big(\bar x-\mu\Big)^2\xrightarrow{p} 0$

Нам залишається термін

[\sqrt{n} (\frac{1}{n} \sum_{i = 1}^{n} (X_{i} - μ)^{2} - σ^{2})]

$\left[\sqrt n\left(\frac 1n\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sigma^2\right)\right]$

Оповіщений смертельним прикладом, запропонованим @whuber у коментарі до цієї відповіді , ми хочемо переконатися, що не є постійним. Вюбер зазначив, що якщо - Бернуллі то ця кількість є постійною. Таким чином, виключаючи змінні, для яких це відбувається (можливо, інші дихотомічні, а не лише двійкові?), Для решти ми маємо $(X_i-\mu)^2$ $X_i$ $(1/2)$ $0/1$

E (X_{i} - μ)^{2} = σ^{2}, Var [(X_{i} - μ)^{2}] = μ_{4} - σ^{4}

$\mathrm{E}\Big(X_i-\mu\Big)^2 = \sigma^2,\;\; \operatorname {Var}\left[\Big(X_i-\mu\Big)^2\right] = \mu_4 - \sigma^4$

і тому термін, що досліджується, є звичайною темою класичної теореми про центральну межу, і

\sqrt{n} (s^{2} - σ^{2}) \overset{d}{\to} N (0, μ_{4} - σ^{4})

$\sqrt n(s^2 - \sigma^2) \xrightarrow{d} N\left(0,\mu_4 - \sigma^4\right)$

Примітка: вищенаведений результат звичайно справедливий і для нормально розподілених зразків, але в останньому випадку ми також маємо доступний результат розподілу кі-квадратного кінцевого зразка з кінцевим зразком.

— Алекос Пападопулос
джерело

+1 Немає підстав перевіряти загальні дихотомічні розподіли, оскільки вони є всіма масштабними та локаційними версіями Бернуллі: аналізу на Бернуллі достатньо. Мої симуляції (до розмірів вибірки ) підтверджують результат .

10^{1000}

$10^{1000}$

χ_{1}^{2}

$\chi^2_1$

— whuber

@whuber Дякуємо за перевірку. Ви маєте рацію, що Бенроулі є матір'ю їх усіх.

— Алекос Пападопулос

Ви вже маєте детальну відповідь на своє запитання, але дозвольте запропонувати ще одну, щоб піти з ним. Власне, коротший доказ можливий на основі того, що розповсюдження

S^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2}

$S^2 = \frac{1}{n-1} \sum_{i=1}^n \left(X_i - \bar{X} \right)^2$

не залежить від , скажімо. Асимптотично, також не має значення, чи змінимо фактор на , що я зроблю для зручності. У нас тоді є $E(X) = \xi$ $\frac{1}{n-1}$ $\frac{1}{n}$

\sqrt{n} (S^{2} - σ^{2}) = \sqrt{n} [\frac{1}{n} \sum_{i = 1}^{n} X_{i}^{2} - {\bar{X}}^{2} - σ^{2}]

$\sqrt{n} \left(S^2 - \sigma^2 \right) = \sqrt{n} \left[ \frac{1}{n} \sum_{i=1}^n X_i^2 - \bar{X}^2 - \sigma^2 \right]$

І тепер ми без втрати загальності припускаємо, що і це помічаємо $\xi = 0$

\sqrt{n} {\bar{X}}^{2} = \frac{1}{\sqrt{n}} {(\sqrt{n} \bar{X})}^{2}

$\sqrt{n} \bar{X}^2 = \frac{1}{\sqrt{n}} \left( \sqrt{n} \bar{X} \right)^2$

має межу ймовірності нуля, оскільки другий член обмежений у ймовірності (CLT та теоремою безперервного відображення), тобто він є . Асимптотичний результат тепер випливає з теореми Слуцького та CLT, оскільки $O_p(1)$

\sqrt{n} [\frac{1}{n} \sum X_{i}^{2} - σ^{2}] \overset{D}{\to} N (0, τ^{2})

$\sqrt{n} \left[ \frac{1}{n} \sum X_i^2 - \sigma^2 \right] \xrightarrow{D} \mathcal{N} \left(0, \tau^2 \right)$

де . І це зробить. $\tau^2 = Var \left\{ X^2\right\} = \mathbb{E} \left(X^4 \right) - \left( \mathbb{E} \left(X^2\right) \right)^2$

— ДжонК
джерело

Це, звичайно, більш економно. Але, будь ласка, перегляньте, наскільки нешкідливим є припущення . Наприклад, він виключає випадок зразка Бернуллі ( ), і, як я згадую в кінці своєї відповіді, для такої вибірки цей асимптотичний результат не дотримується.

E (X) = 0

$E(X) =0$

p = 1 / 2

$p=1/2$

— Алекос Пападопулос

@AlecosPapadopoulos Дійсно, але дані завжди можна зосередити, правда? Я маю на увазі і ми можемо працювати з цими змінними. Що стосується справи Бернуллі, чи щось заважає нам це робити?

\sum_{i = 1}^{n} {(X_{i} - μ - (\bar{X} - μ))}^{2} = \sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2}

$\sum_{i=1}^n \left(X_i - \mu - ( \bar{X}-\mu) \right)^2 = \sum_{i=1}^n \left(X_i - \bar{X} \right)^2$

— ДжонК

@AlecosPapadopoulos О так, я бачу проблему.

— ДжонК

Я написав невеличкий фрагмент з цього питання, я думаю, що пора завантажити його у свій блог. Я повідомляю вас у випадку, якщо вам цікаво прочитати його. Асимптотичний розподіл дисперсії вибірки в цьому випадку цікавий, а ще більше асимптотичний розподіл стандартного відхилення вибірки. Ці результати справедливі для будь-якої дихотомічної випадкової величини .

p = 1 / 2

$p=1/2$

— Алекос Пападопулос

Дурне запитання, але як можна припустити, що є допоміжним, якщо не є нормальними? Або завжди є допоміжним (середня WR параметризація, я думаю), але тільки незалежною від вибірки означає, коли середнє значення вибірки є повною достатньою статистикою (тобто нормально розподіленою) за теоремою Басу?

S^{2}

$S^2$

X_{i}

$X_i$

S^{2}

$S^2$

— Chill2Macht

Відмінні відповіді по Алекос і JohnK вже виводять результат ви після цього , але я хотів би відзначити , що - то ще про асимптотичну розподіл вибіркової дисперсії.

Загально бачити асимптотичні результати, представлені з використанням нормального розподілу, і це корисно для постановки теорем. Однак, практично кажучи, мета асимптотичного розподілу для вибіркової статистики полягає в тому, що він дозволяє отримати приблизний розподіл, коли великий. Ви можете зробити багато варіантів для наближення великого зразка, оскільки багато дистрибутивів мають однакову асимптотичну форму. У випадку дисперсії вибірки, на мою думку, відмінний апроксимуючий розподіл для великого дає: $n$ $n$

\frac{S_{n}^{2}}{σ^{2}} \sim \frac{Chi-Sq (df = D F_{n})}{D F_{n}},

$\frac{S_n^2}{\sigma^2} \sim \frac{\text{Chi-Sq}(\text{df} = DF_n)}{DF_n},$

де і - параметр куртозу. Цей розподіл асимптотично еквівалентний нормальному наближенню, отриманому з теореми (розподіл chi-квадрата сходиться до нормального, оскільки ступеня свободи має тенденцію до нескінченності). Незважаючи на цю еквівалентність, це наближення має різні інші властивості, якими ви хотіли б мати ваше приблизне розподіл: $DF_n \equiv 2 / \mathbb{V}(S_n^2 / \sigma^2) = 2n / ( \kappa - (n-3)/(n-1))$ $\kappa = \mu_4 / \sigma^4$

На відміну від звичайного наближення, отриманого безпосередньо з теореми, цей розподіл має правильну підтримку статистики, що цікавить. Дисперсія вибірки є негативною, і цей розподіл має негативну підтримку.
У випадку, коли базові значення зазвичай розподіляються, це наближення насправді є точним розподілом вибірки. (У цьому випадку у нас є що дає , що є стандартною формою, яка використовується в більшості текстів.) Отже, це є результатом, який є точним у важливому спеціальному випадку, при цьому все ще є розумним наближенням у більш загальні випадки. $\kappa = 3$ $DF_n = n-1$

Виведення вищевказаного результату: Орієнтовні результати розподілу для середньої вибірки та дисперсії детально обговорюються в O'Neill (2014) , і в цьому документі представлені результати багатьох результатів, включаючи даний приблизний розподіл.

Це виведення починається з граничного результату у питанні:

\sqrt{n} (S_{n}^{2} - σ^{2}) \sim N (0, σ^{4} (κ - 1)) .

$\sqrt{n} (S_n^2 - \sigma^2) \sim \text{N}(0, \sigma^4 (\kappa - 1)).$

Переставляючи цей результат, ми отримуємо наближення:

\frac{S_{n}^{2}}{σ^{2}} \sim N (1, \frac{κ - 1}{n}) .

$\frac{S_n^2}{\sigma^2} \sim \text{N} \Big( 1, \frac{\kappa - 1}{n} \Big).$

Оскільки розподіл chi-квадрата асимптотично нормальний, як ми маємо: $DF \rightarrow \infty$

\frac{Chi-Sq (D F)}{D F} \to \frac{1}{D F} N (D F, 2 D F) = N (1, \frac{2}{D F}) .

$\frac{\text{Chi-Sq}(DF)}{DF} \rightarrow \frac{1}{DF} \text{N} ( DF, 2DF ) = \text{N} \Big( 1, \frac{2}{DF} \Big).$

Прийняття (що дає вищевказану формулу) дає що забезпечує асимптотичний розподіл chi-квадрата. еквівалентний нормальному наближенню від граничної теореми. $DF_n \equiv 2 / \mathbb{V}(S_n^2 / \sigma^2)$ $DF_n \rightarrow 2n / (\kappa - 1)$

— Відновіть Моніку
джерело

Емпірично цікавим є питання про те, який із цих двох асимптотичних результатів працює краще в кінцевих вибіркових випадках при різних розподілах даних, що лежать в основі.

— lzstat

Так, я думаю, що це було б дуже цікавим (і оприлюдненим) симуляційним дослідженням. Оскільки ця формула заснована на корекції куртозу дисперсії вибіркової дисперсії, я б очікував, що даний результат найкраще працює, коли ви маєте базовий розподіл з параметром куртозу, який є далеко не мезокуртичним (тобто, коли куртоз- виправлення має найбільше значення). Оскільки куртоз потрібно оцінювати з вибірки, це відкрите питання про те, коли відбудеться значне поліпшення загальної ефективності.

— Відновіть Моніку