Корекція зміщення у зваженій дисперсії

Для незваженої дисперсії існує дисперсія виправленої вибірки з ухилом, коли середнє значення оцінюється з одних і тих же даних:

Вар (Х) : = \frac{1}{н} \sum_{i} (х_{i} - мк)^{2}

$\text{Var}(X):=\frac{1}{n}\sum_i(x_i - \mu)^2$

Вар (Х) : = \frac{1}{н - 1} \sum_{i} (х_{i} - Е [Х])^{2}

$\text{Var}(X):=\frac{1}{n-1}\sum_i(x_i - E[X])^2$

Я вивчаю середньозважену середню величину та дисперсію, і цікавлюсь, що є відповідною корекцією зміщення зваженої дисперсії. Використання:

маю на увазі (Х) : = \frac{1}{\sum_{i} ω_{i}} \sum_{i} ω_{i} х_{i}

$\text{mean}(X):=\frac{1}{\sum_i \omega_i}\sum_i \omega_i x_i$

"Наївна" некоригована дисперсія, яку я використовую, така:

Вар (Х) : = \frac{1}{\sum_{i} ω_{i}} \sum_{i} ω_{i} (х_{i} - маю на увазі (Х))^{2}

$\text{Var}(X):=\frac{1}{\sum_i \omega_i}\sum_i\omega_i(x_i - \text{mean}(X))^2$

Тож мені цікаво, чи правильний спосіб виправлення зміщення

Вар (Х) : = \frac{1}{\sum_{i} ω_{i} - 1} \sum_{i} ω_{i} (х_{i} - маю на увазі (Х))^{2}

$\text{Var}(X):=\frac{1}{\sum_i \omega_i - 1}\sum_i\omega_i(x_i - \text{mean}(X))^2$

або B)

Вар (Х) : = \frac{н}{н - 1} \frac{1}{\sum_{i} ω_{i}} \sum_{i} ω_{i} (х_{i} - маю на увазі (Х))^{2}

$\text{Var}(X):=\frac{n}{n-1}\frac{1}{\sum_i \omega_i}\sum_i\omega_i(x_i - \text{mean}(X))^2$

або C)

Вар (Х) : = \frac{\sum_{i} ω_{i}}{(\sum_{i} ω_{i})^{2} - \sum_{i} ω_{i}^{2}} \sum_{i} ω_{i} (х_{i} - маю на увазі (Х))^{2}

$\text{Var}(X):=\frac{\sum_i \omega_i}{(\sum_i \omega_i)^2-\sum_i \omega_i^ 2}\sum_i\omega_i(x_i - \text{mean}(X))^2$

А) для мене немає сенсу, коли ваги невеликі. Значення нормалізації може бути 0 або навіть негативним. Але як щодо B) ( $n$ - кількість спостережень) - це правильний підхід? Чи є у вас якась довідка, яка це свідчить? Я вірю "Оновлення середніх і дисперсійних оцінок: удосконалений метод", DHD West, 1979 використовує це. Третє, С) - це моя інтерпретація відповіді на це запитання: /mathpro/22203/unbiased-estimate-of-the-variance-of-an-unnormalised-weighted-mean

Для C) Я щойно зрозумів, що знаменник дуже схожий на $\text{Var}(\Omega)$ . Чи є тут якийсь загальний зв’язок? Я думаю, що це не повністю вирівнюється; і, очевидно, є зв'язок, який ми намагаємося обчислити дисперсію ...

Усі троє, схоже, "пережили" перевірку на встановлення всіх $\omega_i=1$ . Отже, яким я повинен користуватися, під якими приміщеннями? '' Оновлення: '' whuber запропонував також зробити перевірку правильності з $\omega_1=\omega_2=.5$ та всіма залишилися $\omega_i=\epsilon$ крихітними. Це, здається, виключає A і B.

— Аноні-Мус
джерело

Якщо розглядати випадки, коли дві найбільші ваги рівні, а всі інші стають марно малі, обидва (A) та (B) відпадають від суперечки (оскільки вони не згодні з відомими результатами при ). (C) представляється наближенням; Я підозрюю, що правильний фактор є набагато складнішою функцією ваг.

n = 2

$n=2$

— whuber

@whuber ThePawn нижче говорить про те, що це C. Чи є у вас більш детальні проблеми?

— Аноні-Мус

Рішення (A) працює, я його реалізував у минулому і можу підтвердити за допомогою емпіричних тестів, що він дає правильні результати. Однак ви повинні використовувати лише цілі значення для ваг і> 0.

— габоровий

Спасибі! Це мені дуже допомогло стати на правильному шляху, коли ваги для експоненціальної ковзної середньої! Виявляється, наївний спосіб обчислення дисперсії насправді завищує її постійним коефіцієнтом 2, на додаток до невеликої корекції (1-1 / n), яка виявляється аналогічно простому підрахунку ковзної середньої. Це особливо божевільний особливий випадок!

— saolof

Відповіді:

Я пройшов математику і закінчив варіант С:

V а r (Х) = \frac{(\sum_{i} ω_{i})^{2}}{(\sum_{i} ω_{i})^{2} - \sum_{i} ω_{i}^{2}} \bar{V}

$Var(X) = \frac{(\sum_i \omega_i)^2}{(\sum_i \omega_i)^2 - \sum_i \omega_i^2}\overline V$ де - невідкоригована оцінка дисперсії. Формула відповідає узгодженому випадку, коли всі однакові. Я детально доказую нижче:

\bar{V}

$\overline V$

ω_{i}

$\omega_i$

Встановлюючи , ми маємо $\lambda_i = \frac{\omega_i}{\sum_i \omega_i}$

\bar{V} = \sum_{i} λ_{i} (х_{i} - \sum_{j} λ_{j} х_{j})^{2}

$\overline V = \sum_i \lambda_i (x_i - \sum_j \lambda_j x_j)^2$

Розширення внутрішнього терміна дає:

(х_{i} - \sum_{j} λ_{j} х_{j})^{2} = х_{i}^{2} + \sum_{j, к} λ_{j} λ_{к} х_{j} х_{к} - 2 \sum_{j} λ_{j} х_{i} х_{j}

$(x_i - \sum_j \lambda_j x_j)^2 = x_i^2 + \sum_{j, k} \lambda_j \lambda_k x_j x_k - 2 \sum_j \lambda_j x_i x_j$

Якщо ми беремо очікування, ми маємо, що , термін присутній у кожному терміні, він скасовується і ми отримати: $E[x_i x_j] = Var(X)1_{i = j} + E[X]^2$ $E[X]$

Е [\bar{V}] = V а r (Х) \sum_{i} λ_{i} (1 + \sum_{j} λ_{j}^{2} - 2 λ_{i})

$E[\overline V] = Var(X) \sum_i \lambda_i (1 + \sum_j \lambda_j^2- 2 \lambda_i )$ , тобто Залишається підключити вираз щодо щоб отримати варіант C.

Е [\bar{V}] = V а r (Х) (1 - \sum_{j} λ_{j}^{2})

$E[\overline V] = Var(X) (1 - \sum_j \lambda_j^2)$

λ_{i}

$\lambda_i$

ω_{i}

$\omega_i$

— ThePawn
джерело

Це варіант C вище, чи не так?

— Аноні-Мус

На жаль, це варіант C.

— Пола

Я перевірив це рішення емпірично, і воно НЕ працює ... Єдине, що це - це рішення (A), яке я також раніше реалізував, але він працює лише з вагами, цілими числами і> = 0

— робочими

Це рівняння є неправильним згідно Вікіпедії, Матлаба, Р та інших, які реалізують це рівняння. Чисельник тут розміщений у квадраті, але він НЕ повинен бути, він повинен бути таким же, як (С), запропонований ОП. Дивіться en.wikipedia.org/wiki/…

— робочий

@rajatkhanduja Я говорив не про доказ, а про остаточне отримане рівняння (перше в цій відповіді). Але насправді це правильно, чисельник просто в квадраті, тому що ми множимо на V, таким чином чисельник закінчується неквадратичним. У будь-якому випадку, цей оцінювач залишається упередженим, як я пояснюю у своїй відповіді нижче, оскільки він покладається на ваги типу "надійності".

— габоровий

І A, і C є правильними, але який з них ви будете використовувати, залежить від того, яку вагу ви використовуєте:

Вам потрібно використовувати ваги типу "повтор" (цілі числа, що рахують кількість випадків для кожного спостереження), і є неупередженим .
C потрібно використовувати ваги типу "надійності" (або нормалізовані ваги, або будь-які відхилення для кожного спостереження), і це упереджено . Це не може бути неупередженим.

Причина, через яку C є обов'язково упередженою, полягає в тому, що якщо ви не використовуєте ваги типу "повтор", ви втрачаєте можливість підрахувати загальну кількість спостережень (розмір вибірки), і таким чином ви не можете використовувати коефіцієнт корекції.

Для отримання додаткової інформації перегляньте нещодавно оновлену статтю Вікіпедії: http://en.wikipedia.org/wiki/Weighted_arithmetic_mean#Weighted_sample_variance

— габоровий
джерело