Чому стандартне відхилення вибірки є упередженим оцінювачем ?

Згідно зі статтею Вікіпедії про неупереджене оцінювання стандартного відхилення, зразок SD

s = \sqrt{\frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}}

$s = \sqrt{\frac{1}{n-1} \sum_{i=1}^n (x_i - \overline{x})^2}$

є упередженим оцінювачем СД населення. У ньому зазначено, що . $E(\sqrt{s^2}) \neq \sqrt{E(s^2)}$

NB. Випадкові змінні незалежні і кожна $x_{i} \sim N(\mu,\sigma^{2})$

Моє запитання двояке:

Що є доказом упередженості?
Як можна обчислити очікування стандартного відхилення вибірки

Мої знання з математики / статистики лише проміжні.

estimation standard-deviation

— Dav Weps
джерело

Ви знайдете відповіді на обидва запитання у статті Вікіпедії про розповсюдження Chi .

— whuber

@ Відповідь NRH на це запитання дає хороший простий доказ упередженості стандартного відхилення вибірки. Тут я чітко підрахую очікування стандартного відхилення вибірки (друге запитання оригінального афіші) від нормально розподіленого зразка, і в цей момент зміщення зрозуміло.

Дисперсія вибіркової вибірки набору точок є $x_1, ..., x_n$

s^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}

$s^{2} = \frac{1}{n-1} \sum_{i=1}^{n} (x_i - \overline{x})^2$

Якщо звичайно розподілена, це факт $x_i$

\frac{(n - 1) s^{2}}{σ^{2}} \sim χ_{n - 1}^{2}

$\frac{(n-1)s^2}{\sigma^2} \sim \chi^{2}_{n-1}$

де - справжня дисперсія. Розподіл має щільність ймовірності $\sigma^2$ $\chi^2_{k}$

p (x) = \frac{(1 / 2)^{k / 2}}{Γ (k / 2)} x^{k / 2 - 1} e^{- x / 2}

$p(x) = \frac{(1/2)^{k/2}}{\Gamma(k/2)} x^{k/2 - 1}e^{-x/2}$

використовуючи це, ми можемо отримати очікуване значення ; $s$

\begin{aligned} E (s) & = \sqrt{\frac{σ^{2}}{n - 1}} E (\sqrt{\frac{s^{2} (n - 1)}{σ^{2}}}) \\ = \sqrt{\frac{σ^{2}}{n - 1}} \int_{0}^{\infty} \sqrt{x} \frac{(1 / 2)^{(n - 1) / 2}}{Γ ((n - 1) / 2)} x^{((n - 1) / 2) - 1} e^{- x / 2} d x \end{aligned}

$\begin{align} E(s) &= \sqrt{\frac{\sigma^2}{n-1}} E \left( \sqrt{\frac{s^2(n-1)}{\sigma^2}} \right) \\ &= \sqrt{\frac{\sigma^2}{n-1}} \int_{0}^{\infty} \sqrt{x} \frac{(1/2)^{(n-1)/2}}{\Gamma((n-1)/2)} x^{((n-1)/2) - 1}e^{-x/2} \ dx \end{align}$

що випливає з визначення очікуваного значення та факту, що - квадратний корінь розподіленої змінної . Підступність полягає в тому, щоб переставити терміни, щоб інтеграл став іншою щільністю : $\sqrt{\frac{s^2(n-1)}{\sigma^2}}$ $\chi^2$ $\chi^2$

\begin{aligned} E (s) & = \sqrt{\frac{σ^{2}}{n - 1}} \int_{0}^{\infty} \frac{(1 / 2)^{(n - 1) / 2}}{Γ (\frac{n - 1}{2})} x^{(n / 2) - 1} e^{- x / 2} d x \\ = \sqrt{\frac{σ^{2}}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})} \int_{0}^{\infty} \frac{(1 / 2)^{(n - 1) / 2}}{Γ (n / 2)} x^{(n / 2) - 1} e^{- x / 2} d x \\ = \sqrt{\frac{σ^{2}}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})} \cdot \frac{(1 / 2)^{(n - 1) / 2}}{(1 / 2)^{n / 2}} \underset{χ_{n}^{2} d e n s i t y}{\underset{⏟}{\int_{0}^{\infty} \frac{(1 / 2)^{n / 2}}{Γ (n / 2)} x^{(n / 2) - 1} e^{- x / 2} d x}} \end{aligned}

$\begin{align} E(s) &= \sqrt{\frac{\sigma^2}{n-1}} \int_{0}^{\infty} \frac{(1/2)^{(n-1)/2}}{\Gamma(\frac{n-1}{2})} x^{(n/2) - 1}e^{-x/2} \ dx \\ &= \sqrt{\frac{\sigma^2}{n-1}} \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \int_{0}^{\infty} \frac{(1/2)^{(n-1)/2}}{\Gamma(n/2)} x^{(n/2) - 1}e^{-x/2} \ dx \\ &= \sqrt{\frac{\sigma^2}{n-1}} \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \cdot \frac{ (1/2)^{(n-1)/2} }{ (1/2)^{n/2} } \underbrace{ \int_{0}^{\infty} \frac{(1/2)^{n/2}}{\Gamma(n/2)} x^{(n/2) - 1}e^{-x/2} \ dx}_{\chi^2_n \ {\rm density} } \end{align}$

тепер ми знаємо, що інтегранда останнього рядка дорівнює 1, оскільки це щільність . Спрощення констант трохи дає $\chi^2_{n}$

E (s) = σ \cdot \sqrt{\frac{2}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})}

$E(s) = \sigma \cdot \sqrt{ \frac{2}{n-1} } \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) }$

Тому упередженість є $s$

σ - E (s) = σ (1 - \sqrt{\frac{2}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})}) \sim \frac{σ}{4 n}

$\sigma - E(s) = \sigma \bigg(1 - \sqrt{ \frac{2}{n-1} } \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \bigg) \sim \frac{\sigma}{4 n} \>$ як .

n \to \infty

$n \to \infty$

Не важко побачити, що це зміщення не дорівнює 0 для будь-яких кінцевих , таким чином, доведення вибіркового стандартного відхилення є упередженим. Нижче зміщення зображено графік як функція для червоного кольору, а синього: $n$ $n$ $\sigma=1$ $1/4n$

введіть тут опис зображення

— Макрос
джерело

(+1) Приємна відповідь. Я сподіваюся, що ви не заперечуєте, я переробив декілька дуже незначних речей і додав асимптотичний результат щодо зміщення. Я припускаю, що ви могли накласти криву на свою ділянку, але це, мабуть, непотрібно. Ура. :)

(4 n)^{- 1}

$(4n)^{-1}$

— кардинал

Ви дійсно пішли на багато болю, щоб зробити цей Макрос. Коли я вперше побачив пост близько хвилини тому, я думав показати упередженість за допомогою правила Дженсена, але хтось уже це зробив.

— Майкл Черник

Звичайно, це спосіб, який показує, що стандартне відхилення є упередженим - я головним чином відповідав на друге питання оригінального плаката: "Як можна обчислити очікування стандартного відхилення?".

— Макрос

Ще один момент, який, мабуть, варто згадати, полягає в тому, що цей обчислення дозволяє негайно зчитувати те, що оцінювач UMVU стандартного відхилення є у випадку Гаусса: Один просто множить на зворотний коефіцієнт масштабу, який відображається в доказі. Це досить легко узагальнює обчислювачі UMVU .

s

$s$

σ^{k}

$\sigma^k$

— кардинал

Вибачте, Макрос. Працює той самий базовий інтегральний підхід, який ви використовували, ви просто закінчите інший масштабуючий коефіцієнт , з аргументами гами ви отримаєте функції . Це я мав на увазі, але вийшло трохи надто лаконічно. :)

s^{k}

$s^k$

k

$k$

— кардинал

Вам не потрібна нормальність. Все, що вам потрібно, це те, що - неупереджений оцінювач дисперсії . Тоді використовуйте, що функція квадратного кореня суворо увігнута таким чином, що (сильною формою нерівності Дженсена ) якщо розподіл вироджується при .

s^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}

$s^2 = \frac{1}{n-1} \sum_{i=1}^n(x_i - \bar{x})^2$

σ^{2}

$\sigma^2$

E (\sqrt{s^{2}}) < \sqrt{E (s^{2})} = σ

$E(\sqrt{s^2}) < \sqrt{E(s^2)} = \sigma$

s^{2}

$s^2$

σ^{2}

$\sigma^2$

— NRH
джерело

Доповнюючи відповідь NRH, якщо хтось навчає це групі студентів, які ще не вивчали нерівності Дженсена, одним із способів є визначення вибіркового стандартного відхилення припустимо, що не є виродженим (отже, ), і помітіть еквівалентність

S_{n} = \sqrt{\sum_{i = 1}^{n} \frac{(X_{i} - {\bar{X}}_{n})^{2}}{n - 1}},

$S_n = \sqrt{\sum_{i=1}^n\frac{(X_i-\bar{X}_n)^2}{n-1}} ,$

S_{n}

$S_n$

V a r [S_{n}] \neq 0

$\mathrm{Var}[S_n]\ne0$

0 < V a r [S_{n}] = E [S_{n}^{2}] - E^{2} [S_{n}] \Leftrightarrow E^{2} [S_{n}] < E [S_{n}^{2}] \Leftrightarrow E [S_{n}] < \sqrt{E [S_{n}^{2}]} = σ .

$0 < \mathrm{Var}[S_n] = \mathrm{E}[S_n^2] - \mathrm{E}^2[S_n] \;\;\Leftrightarrow\;\; \mathrm{E}^2[S_n] < \mathrm{E}[S_n^2] \;\;\Leftrightarrow\;\; \mathrm{E}[S_n] < \sqrt{\mathrm{E}[S_n^2]} =\sigma.$

— Дзен
джерело