Для яких розподілів існує неупереджений оцінювач стандартного відхилення закритої форми?

Для нормального розподілу існує неупереджений оцінювач стандартного відхилення, заданий:

{\hat{σ}}_{unbiased} = \frac{Γ (\frac{n - 1}{2})}{Γ (\frac{n}{2})} \sqrt{\frac{1}{2} \sum_{k = 1}^{n} (x_{i} - \bar{x})^{2}}

$\hat{\sigma}_\text{unbiased} = \frac{\Gamma(\frac{n-1}{2})}{\Gamma(\frac{n}{2})} \sqrt{\frac{1}{2}\sum_{k=1}^n(x_i-\bar{x})^2}$

Причина цього результату не так відома, здається, це те, що це скоріше цікавість, а не питання великого імпорту . Доказ висвітлюється на цій нитці ; він користується ключовою властивістю нормального розподілу:

\frac{1}{σ^{2}} \sum_{k = 1}^{n} (x_{i} - \bar{x})^{2} \sim χ_{n - 1}^{2}

$\frac{1}{\sigma^2} \sum_{k=1}^n(x_i-\bar{x})^2 \sim \chi^{2}_{n-1}$

Звідти за допомогою трохи роботи можна взяти очікування , ідентифікувавши цю відповідь як кратне , ми можемо вивести результат для . $\mathbb{E}\left( \sqrt{\sum_{k=1}^n(x_i-\bar{x})^2} \right)$ $\sigma$ $\hat{\sigma}_\text{unbiased}$

Мене цікавить, які інші розподіли мають неупереджений оцінювач стандартного відхилення закритої форми. На відміну від неупередженого оцінювача дисперсії, це очевидно, що залежить від розподілу. Більше того, було б неспросто адаптувати доказ, щоб знайти оцінки для інших розподілів.

Коси нормальні розподіли мають деякі приємні дистрибутивні властивості для їх квадратичних форм, до яких звичайна властивість розподілу, яку ми використовували, фактично є особливим випадком (оскільки нормальний - це особливий тип перекосу нормальних), тому, можливо, це не буде так важко поширити цей метод на них. Але для інших дистибуцій, схоже, потрібен зовсім інший підхід.

Чи існують інші розподіли, для яких відомі такі оцінки?

mathematical-statistics standard-deviation unbiased-estimator

— Срібна рибка
джерело

Якщо ігнорувати технічні відволікання, характер відповіді стає зрозумілішим. У звичайному випадку мало того, що ви пишете, дійсно має значення для висновку; Все, що має значення, полягає в тому, що величина зміщення в цьому конкретному оцінювачі є лише функцією

(і не залежить від інших параметрів розподілу, які потрібно оцінити з даних).

n

$n$

— whuber

@whuber Я думаю, що я бачу загальну ідею, на яку ти натякаєш, і чітко потрібна "функція тільки

". Але я не думаю, що це було б достатньо - якби ми не мали доступу до певних результатів дистрибуції, то я не можу зрозуміти, як можна було б відстежувати аспект "закритої форми".

n

$n$

— Срібляста рибка

Це залежить від того, що ви маєте на увазі під «закритою формою». Наприклад, для однієї людини тета-функція може бути «закрита», а для іншої це просто нескінченний продукт, ряд потужностей або складний інтеграл. Подумайте про це, саме в цьому полягає функція Gamma :-).

— whuber

@whuber Добрий момент! Під "величиною зміщення в цьому конкретному оцінювачі" я вважаю, що ви маєте на увазі, що зміщення в

(а не оцінювач, зазначений у питанні, який має нульовий зміщення) є функцією

(а також у

, але, на щастя таким чином, що ми можемо легко переставити, щоб знайти неупереджений оцінювач)?

s

$s$

n

$n$

σ

$\sigma$

— Срібна рибка

@whuber: Має бути аналогічна формула для будь-якої сім'ї масштабування місцеположення, з застереженням ви вказали, що функція

може бути нерозривним інтегралом.

n

$n$

— Сіань

Відповіді:

Хоча це безпосередньо не пов'язане з питанням, існує документ 1968 року Пітера Бікеля та Еріха Леманна, який стверджує, що для опуклого сімейства розподілів існує неупереджений оцінювач функціоналу (для розміру вибірки досить великий) тоді і лише тоді, коли є многочленом у $F$ $q(F)$ $n$ $q(\alpha F+(1-\alpha)G)$ $0\le \alpha\le 1$ . Ця теорема не стосується тут проблеми, оскільки збірка гауссових розподілів не опукла (суміш гауссів не є гауссом).

Поширення результату у питанні полягає в тому, що будь-яка потужність стандартного відхилення може бути неупереджено оцінена за умови достатнього спостереження при . Це випливає з результату $\sigma^\alpha$ $\alpha<0$ що- масштабний (і унікальний) параметр для.

\frac{1}{σ^{2}} \sum_{k = 1}^{n} (x_{i} - \bar{x})^{2} \sim χ_{n - 1}^{2}

$\frac{1}{\sigma^2} \sum_{k=1}^n(x_i-\bar{x})^2 \sim \chi^{2}_{n-1}$

σ

$\sigma$

\sum_{k = 1}^{n} (x_{i} - \bar{x})^{2}

$\sum_{k=1}^n(x_i-\bar{x})^2$

Цей нормальний параметр може бути потім розширений на будь-яке сімейство з кінцевою дисперсією . Дійсно,

X_{1}, \dots, X_{n} \overset{iid}{\sim} τ^{- 1} f (τ^{- 1} {x - μ})

$X_1,\ldots,X_n\stackrel{\text{iid}}{\sim} \tau^{-1}f(\tau^{-1}\{x-\mu\})$

σ^{2}

$\sigma^2$

дисперсія є лише функцією ; ${var}_{μ, τ} (X) = E_{μ, τ} [(X - μ)^{2}] = τ^{2} E_{0, 1} [X^{2}]$ $\text{var}_{\mu,\tau}(X)=\mathbb{E}_{\mu,\tau}[(X-\mu)^2]=\tau^2\mathbb{E}_{0,1}[X^2]$ $\tau$
сума квадратів має очікування виду; $\begin{aligned} E_{μ, τ} [\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}] & = τ^{2} E_{μ, τ} [\sum_{k = 1}^{n} τ^{- 2} (X_{i} - μ - \bar{X} + μ)^{2}] \\ = τ^{2} E_{0, 1} [\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}] \end{aligned}$ $\begin{align*}\mathbb{E}_{\mu,\tau}\left[\sum_{k=1}^n(X_i-\bar{X})^2\right]&=\tau^2\mathbb{E}_{\mu,\tau}\left[\sum_{k=1}^n\tau^{-2}(X_i-\mu-\bar{X}+\mu)^2\right]\\ &=\tau^2\mathbb{E}_{0,1}\left[\sum_{k=1}^n(X_i-\bar{X})^2\right]\end{align*}$ $\tau^2\psi(n)$
і аналогічно для будь-якої потужності такий, що очікування кінцеве. $E_{μ, τ} [{\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}}^{α}] = τ^{2 α} E_{0, 1} [{\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}}^{α}]$ $\mathbb{E}_{\mu,\tau}\left[\left\{\sum_{k=1}^n(X_i-\bar{X})^2\right\}^\alpha\right]=\tau^{2\alpha}\mathbb{E}_{0,1}\left[\left\{\sum_{k=1}^n(X_i-\bar{X})^2\right\}^\alpha\right]$

— Сіань
джерело

Мабуть, добре відомий випадок, але справа все ж.
Розглянемо безперервний рівномірний розподіл . З огляду на зразок iid, статистика максимального порядку, має очікуване значення $U(0,\theta)$ $X_{(n)}$

E (X_{(n)}) = \frac{n}{n + 1} θ

$E(X_{(n)}) = \frac {n}{n+1}\theta$

Стандартне відхилення розподілу -

σ = \frac{θ}{2 \sqrt{3}}

$\sigma = \frac {\theta}{2\sqrt 3}$

Так - оцінки

\hat{σ} = \frac{1}{2 \sqrt{3}} \frac{n + 1}{n} X_{(n)}

$\hat \sigma = \frac 1{2\sqrt 3}\frac {n+1}{n}X_{(n)}$

явно неупереджено для . $\sigma$

Це узагальнює випадок, коли нижня межа розподілу також невідома, оскільки ми можемо мати неупереджений оцінювач для Діапазону, і тоді стандартне відхилення знову є лінійною функцією Діапазону (як, по суті, також вище).

Це ілюструє коментар @ whuber, що "величина зміщення є функцією тільки " (плюс, можливо, будь-які відомі константи) - тому це можна детерміновано виправити . І ось тут справа. $n$

— Алекос Пападопулос
джерело

Тепер важка частина: коли у світі нас цікавить стандартне відхилення рівномірного розподілу? (+1)

— тіньтакер

@ssdecontrol Це відмінне запитання! -доступно до наступного ...

— Алекос Пападопулос

Одне, що мені подобається у цій відповіді, - наскільки поганий оцінювач. Це досить часто можна побачити на питання , який зводиться до «чому ми використовуємо

в якості оцінки , навіть якщо вона зміщена?» Деяким студентам потрібно переконати, що неупередженість - це не всебічне і не кінця, а поганий неупереджений оцінювач - один із способів їх показати.

\hat{θ}

$\hat{\theta}$

— Срібна рибка

@Silverfish Бідно в який спосіб? Деякі швидкі симуляції показують, що це має нижчий показник MSE, ніж звичайне стандартне відхилення (що мене здивувало).

— Дейв

@Dave Цікаво! Я прийшов до висновку, що це буде погано, оскільки він дивився лише на максимальну статистику порядку, але я теж здивований! Показано цінність симуляції ...

— Silverfish