Зважена варіація, ще один раз

Неупереджена зважена дисперсія вже була розглянута тут і в інших місцях, але все ще здається, що це дивовижна сум'яття. Здається, існує консенсус щодо формули, представленої у першому посиланні, а також у статті Вікіпедії . Це також виглядає як формула, яку використовують R, Mathematica та GSL (але не MATLAB). Однак стаття у Вікіпедії також містить такий рядок, який виглядає як велика перевірка обґрунтованості щодо реалізації зваженої дисперсії:

Наприклад, якщо значення {2,2,4,5,5,5} отримані з одного розподілу, то ми можемо трактувати цей набір як невагомий зразок, або ми можемо трактувати його як зважений зразок {2,4, 5} з відповідними вагами {2,1,3}, і ми повинні отримати однакові результати.

Мої розрахунки дають значення 2,1667 для дисперсії вихідних значень і 2,9545 для зваженої дисперсії. Чи слід реально очікувати, що вони будуть однаковими? Чому або чому ні?

Так, слід очікувати, що обидва приклади (невагомі проти зважених) дадуть однакові результати.

Я реалізував два алгоритми зі статті Вікіпедії.

Цей працює:

Якщо всі $x_i$ виведені з одного і того ж розподілу, а цілі ваги $w_i$ вказують на частоту зустрічань у вибірці, то неупереджений оцінювач зваженої дисперсії сукупності задається:

$s^2\ = \frac {1} {V_1 - 1} \sum_{i=1}^N w_i \left(x_i - \mu^*\right)^2,$

Однак ця (з дробовими вагами) для мене не працює:

$x_i$$1/w_i$

$s^2\ = \frac {V_1} {V_1^2-V_2} \sum_{i=1}^N w_i \left(x_i - \mu^*\right)^2$

Я досі досліджую причини, чому друге рівняння не працює за призначенням.

/ EDIT: Знайдено причину, по якій друге рівняння не працювало, як я думав: ви можете використовувати друге рівняння лише в тому випадку, якщо у вас є нормалізовані ваги або дисперсія ("надійність") ваг, і воно НЕ є неупередженим, тому що якщо ви цього не зробите використовуючи ваги "повторення" (підраховуючи кількість разів, коли спостереження спостерігалося, і, таким чином, його слід повторити в математичних операціях), ви втрачаєте можливість підрахувати загальну кількість спостережень, і, таким чином, ви не можете використовувати коефіцієнт корекції.

Таким чином, це пояснює різницю ваших результатів із застосуванням зваженої та не зваженої дисперсії: ваші обчислення упереджені.

Таким чином, якщо ви хочете мати неупереджену зважену дисперсію, використовуйте лише "повторити" ваги і використовуйте перше рівняння, яке я розмістив вище. Якщо це неможливо, ну, ви не можете допомогти.

Я також оновив статтю Вікіпедії, якщо ви хочете отримати додаткову інформацію: http://en.wikipedia.org/wiki/Weighted_arithmetic_mean#Weighted_sample_variance

І пов'язана стаття про неупереджену зважену коваріацію (що насправді є такою ж дисперсією через ідентичність поляризації ): Правильне рівняння для зваженої неупередженої коваріації вибірки