Shrunken vs unbiased : оцінювачі

У мене в голові з'явилася якась плутанина щодо двох типів оцінювачів популяційного значення коефіцієнта кореляції Пірсона.

А. Фішер (1915) показав, що для біваріантної нормальної популяції емпіричний є негативно упередженим оцінником , хоча зміщення може бути практично значним лише для невеликого розміру вибірки ( ). Зразок недооцінює в тому сенсі, що він ближче до ніж . ( За винятком , коли останній або , за те об'єктивний.) Кілька майже незсунені оцінки з було запропоновано, краще один , ймовірно , бути Olkin і Пратт (1958) $r$ $\rho$ $n<30$ $r$ $\rho$ $0$ $\rho$ $0$ $\pm 1$ $r$ $\rho$ виправлено $r$ :

r_{unbiased} = r [1 + \frac{1 - r^{2}}{2 (n - 3)}]

$r_\text{unbiased} = r \left [1+\frac{1-r^2}{2(n-3)} \right ]$

В. Кажуть, що в регресії, що спостерігається, $R^2$ завищує відповідну сукупність R-квадратів. Або, за допомогою простого регресу, це те, що $r^2$ завищує $\rho^2$ . Грунтуючись на цьому факті, я бачив багато текстів говорять , що $r$ є позитивно упередженим по відношенню до $\rho$ , тобто абсолютне значення: $r$ далі від $0$ , ніж $\rho$ (? В тому , що твердження вірне). У текстах йдеться про ту саму проблему, що і завищена оцінка параметра стандартного відхилення за значенням його вибірки. Існує багато формул, щоб "скорегувати" спостережуваний $R^2$ ближче до його параметру сукупності, Wherry's (1931) $R_\text{adj}^2$ є найбільш відомим (але не найкращим). Корінь такого скоригованого $r_\text{adj}^2$ називається скороченим $r$ :

r_{shrunk} = \pm \sqrt{1 - (1 - r^{2}) \frac{n - 1}{n - 2}}

$r_\text{shrunk} = \pm\sqrt{1-(1-r^2)\frac{n-1}{n-2}}$

В даний час є два різні оцінки $\rho$ . Дуже різна: перша надуває $r$ , друга - $r$ . Як їх узгодити? Де використовувати / повідомити одне, а де - інше?

Зокрема, чи може бути правдою, що оцінювач "зменшеного" також є (майже) неупередженим, як "неупереджений", але лише в іншому контексті - в асиметричному контексті регресії. Тому що в регресії OLS ми вважаємо значення однієї сторони (предиктора) фіксованими, відвідуючи без випадкової помилки від вибірки до вибірки? (І додати тут, регресія не потребує двовимірної нормальності.)

— ttnphns
джерело

Цікаво, чи це просто зводиться до чогось, що ґрунтується на нерівності Дженсена. Та й двовимірна нормальність, мабуть, є поганим припущенням у більшості випадків.

— shadowtalker

Крім того, моє розуміння проблеми в Б. полягає в тому, що регресія

r^{2}

$r^2$ є завищеною, оскільки регресійний прийом можна вдосконалити довільно, додавши предиктори. Мені це не здається таким же питанням, як у А.

— shadowtalker

Чи дійсно правда, що є позитивно упередженою оцінкою для всіх значень ? Для двовимірного нормального розподілу , це не здається, випадок для досить великий.

r^{2}

$r^2$

ρ^{2}

$\rho^2$

ρ

$\rho$

ρ

$\rho$

— NRH

Чи може зміщення йти у зворотному напрямку для квадрата оцінювача? Наприклад, за допомогою більш простого оцінювача може бути показано, що для деяких діапазонів ? Я думаю, що це було б важко зробити, якби , але, можливо, може бути розроблений більш простий приклад.

E [\hat{θ} - θ] < 0 < E [{\hat{θ}}^{2} - θ^{2}]

$E[\hat{\theta}-\theta] < 0 < E[\hat{\theta}^2-\theta^2]$

θ

$\theta$

θ = ρ

$\theta = \rho$

— Антоній

Відповіді:

Щодо зміщення кореляції: Коли розміри вибірки досить малі, щоб ухил мав якесь практичне значення (наприклад, n <30, який ви запропонували), то зміщення, ймовірно, буде найменшим з ваших турбот, оскільки неточність є жахливою.

Що стосується зміщення R ² при множинній регресії, то існує багато різних коригувань, які стосуються неупередженої оцінки популяції порівняно з неупередженою оцінкою в незалежній вибірці однакового розміру. Див. Yin, P. & Fan, X. (2001). Оцінка усадки R ² при множинній регресії: порівняння аналітичних методів. Журнал експериментальної освіти, 69, 203-224.

Сучасні методи регресії також стосуються усадки коефіцієнтів регресії, а також R ² як наслідок - наприклад, пружна сітка з k- кратною перехресною валідацією, див. Http://web.stanford.edu/~hastie/Papers/ elanetnet.pdf .

— Фред Освальд
джерело

Я не знаю, чи це насправді відповідає на питання

— shadowtalker

Я думаю, що відповідь полягає в контексті простої регресії та множинної регресії. У простому регресії з одним IV та одним DV, R sq не є позитивно зміщеним, і насправді може бути негативно зміщеним, якщо r є негативно зміщеним. Але при множинній регресії з декількома IV, які можуть бути корельовані між собою, R sq може бути позитивно упередженим через будь-яке «придушення», яке може статися. Таким чином, я вважаю, що спостерігається R2 завищує відповідний R-квадрат популяції, але лише при множинній регресії

— Дінгус
джерело

R sq is not positively biased, and in-fact may be negatively biasedЦікаво. Ви можете це показати чи дати посилання? - Чи може у біваріантній нормальній популяції статистика зразка Rsq бути негативно упередженою оцінкою?

— ttnphns

Я думаю, ви помиляєтесь. Чи можете ви надати посилання на резервне копіювання своєї претензії?

— Річард Харді

Вибачте, але це було більше вдумкою, тому я не маю посилання.

— Дінгус

Я відходив від коментаря А вище, де Фішер показав, що в нормальній ситуації, що відрізняється від норми, r є негативно упередженим оцінником rho. Якщо це так, чи не випливало б, що R sq також негативно зміщений?

— Дінгус

Можливо, це допоможе в розмові digitalcommons.unf.edu/cgi/…

— Dingus