Чому ми стабілізуємо дисперсію?

Під час читання методу Kaggle Essay Eval я натрапив на стабілізацію дисперсії . Вони використовують дисперсію стабілізації дисперсії для перетворення значень каппи перед тим, як взяти середнє значення, а потім перетворити їх назад. Навіть після прочитання вікі про змінні стабілізуючі перетворення я не можу зрозуміти, чому ми насправді стабілізуємо дисперсії? Яку користь ми отримуємо від цього?

variance mathematical-statistics

— Pushpendre
джерело

Зазвичай метою є зробити (асимптотичну) дисперсію незалежною від параметра, що цікавить. Це особливо важливо для висновку, коли нам потрібно знати опорний розподіл для обчислення відповідних величин, що цікавлять.

— кардинал

Ось одна відповідь: як правило, найефективнішим способом проведення статистичних висновків є те, коли ваші дані є ідентичними. Якщо їх немає, ви отримуєте різну кількість інформації з різних спостережень, і це менш ефективно. Інший спосіб перегляду - це те, що якщо ви можете додати додаткову інформацію до свого висновку (тобто функціональну форму дисперсії, шляхом перетворення, стабілізуючої дисперсію), ви, як правило, підвищите точність ваших оцінок, принаймні асимптотично. У дуже малих зразках турбота з моделюванням дисперсії може збільшити ваші невеликі зміщення вибірки. Це свого роду економетричний аргумент типу GMM: якщо ви додасте додаткові моменти, ваша асимптотична дисперсія не може зростати; і ваш кінцевий ухил вибірки збільшується із завищеною мірою свободи.

Ще одну відповідь дав кардинал: якщо у вашому асимптотичному дисперсійному виразі висить невідома дисперсія, конвергенція на асимптотичний розподіл буде повільнішою, і вам доведеться якось оцінити цю дисперсію. Попереднє подання даних або статистики зазвичай допомагає підвищити точність асимптотичних наближень.

— СтасК
джерело

Я думаю, що я розумію перше речення у вашій відповіді, і воно звертається до мене інтуїтивно. Чи є назва цього спостереження, яке я міг би гугл? Я хотів би знайти кілька продуманих експериментів чи прикладів, які показують, що відбувається, коли у вас є різні обсяги інформації в різних спостереженнях і як це неефективно

— Pushpendre

Текст Korn & Graubard (1999) про статистику опитування обговорює це.

— Стаск

f^{- 1} (\frac{1}{n} \sum_{i} f (κ_{i}))

$f^{-1}\left( {1\over n} \sum_i f(\kappa_i) \right)$ . Я справді не бачу сенсу. Для мене це був би шлях для оцінки інтервалу довіри, але для оцінки балів це просто вводить зміщення.

— Елвіс

@PushpendreRastogi Ви можете прочитати статтю wikipedia про саме цю трансформацію. Він був введений Фішером для стабілізації дисперсії коефіцієнта емпіричної кореляції (між нормальними змінними). У такому випадку перетворена змінна буде приблизно нормальною, залежно від розміру вибірки, а не від невідомого коефіцієнта кореляції (саме тому це "стабілізує" дисперсію).

— Елвіс

@Elvis, я наводив приклад кореляції у статті вікіпедії про основну статистику ( en.wikipedia.org/wiki/Pivotal_statistic ). [Яким чином ви надали приємне посилання у коментарі? Я спробував href, це виглядало некрасиво.]

— Стаск