Як ви знаєте ваги для регресії найменш зважених квадратів?

23

Я трохи загубився в процесі регресії WLS. Мені було надано набір даних, і моє завдання - перевірити, чи є гетеросцедіальність, і якщо так, я повинен запустити регресію WLS.

Я провів тест і виявив докази на гетероскопічність, тому мені потрібно запустити WLS. Мені сказали, що WLS - це в основному регресія OLS трансформованої моделі, але я трохи розгублений у пошуку функції перетворення. Я прочитав деякі статті, в яких висловилося припущення, що перетворення може бути функцією квадратних залишків від регресії OLS, але я вдячний, якщо хтось може допомогти мені стати на правильний шлях.

regression heteroscedasticity weighted-regression

— m3d1v0
джерело

2

Якщо ви припускаєте, що матриця коваріації помилок є діагональною, ви можете оцінити матрицю коваріації, а потім регресію WLS з розрахунковими вагами. Для цього ви можете перевірити можливі узагальнені найменші квадрати на en.wikipedia.org/wiki/Generalized_least_squares

— Мануель

26

Регресія найменш зважених квадратів (WLS) не є трансформованою моделлю. Замість цього, ви просто обробляти кожне спостереження як більш-менш інформативні підстилають відносини між і . Тим більш інформативним приділяється більша «вага», а тим, що менш інформативні, надається менша вага. Ви маєте рацію, що регресія найменш зважених квадратів (WLS) технічно справедлива лише в тому випадку, якщо ваги відомі a priori. $X$ $Y$

$X$ ситуація. Як результат, ви можете спробувати оцінити функцію, що стосується дисперсії залишків до рівнів змінних ваших прогнозів.

Існує кілька питань, що стосуються того, як слід робити таку оцінку:

Пам’ятайте, що ваги повинні бути зворотними відхиленням (або будь-яким іншим способом).
$X$ $X$
$X$ plot(model, which=2) $X$ абсолютне відхилення медіани від медіани .
$X$ $X$
Отримати вагу від залишків регресії OLS є розумним, оскільки OLS є неупередженим, навіть за наявності гетероседастичності. Тим не менш, ці ваги залежать від оригінальної моделі і можуть змінити придатність наступної моделі WLS. Таким чином, ви повинні перевірити свої результати, порівнюючи оцінені бета з двох регресій. Якщо вони дуже схожі, у вас все в порядку. Якщо коефіцієнти WLS розходяться з коефіцієнтами OLS, вам слід використовувати оцінки WLS для обчислення залишків вручну (звітні залишки, що відповідають WLS, враховують ваги). Обчисливши новий набір залишків, визначте ваги ще раз і використовуйте нові ваги у другій регресії WLS. Цей процес слід повторювати до тих пір, поки два набори оцінених бета не будуть достатньо схожими (хоча навіть зробити це один раз є рідкістю).

Якщо цей процес робить вас дещо незручним, оскільки оцінюються ваги і тому, що вони залежать від попередньої, неправильної моделі, інший варіант - використовувати оцінювач «сендвіч» Губера-Білого . Це узгоджується навіть за наявності гетероседастичності, незалежно від того, наскільки сильна вона, і це не залежить від моделі. Це також потенційно менше клопоту.

Я демонструю просту версію зважених найменших квадратів та використання Сендвіч-СЕ у своїй відповіді тут: Альтернативи односторонній ANOVA для гетеросептичних даних .

— gung - Відновити Моніку
джерело

10

Виконуючи WLS, потрібно знати ваги. Є кілька способів їх знайти, як сказано на сторінці 191 Введення в аналіз лінійної регресії Дугласом К. Монтгомері, Елізабет А. Пек, Г. Джеффрі Вінінг. Наприклад:

Досвід або попередня інформація, використовуючи якусь теоретичну модель.
${\rm var}(\varepsilon_i)=\sigma^2x_i$ $w_i=1/x_i$
$n_i$ $x_i$ ${\rm var}(y_i)={\rm var}(\varepsilon_i)=\sigma^2/n_i$ $w_i=n_i$
Колись ми знаємо, що різні спостереження вимірювались різними інструментами, які мають певну (відому або оціночну) точність. У цьому випадку ми можемо вирішити використовувати ваги, як обернено пропорційні дисперсії помилок вимірювань.

— Стат
джерело