Визначення найменш зважених квадратних ваг: R lm функція проти

Чи може хто-небудь сказати мені, чому я отримую різні результати від Rзважених найменших квадратів та ручного рішення за допомогою матриці ?

Зокрема, я намагаюся вручну вирішити , де - діагональна матриця на вагах, - матриця даних, - відповідь вектор. $\mathbf W \mathbf A\mathbf x=\mathbf W \mathbf b$ $\mathbf W$ $\mathbf A$ $\mathbf b$

Я намагаюся порівняти результати з R lmфункцією, використовуючи weightsаргумент.

— Хайтао Ду
джерело

Я редагував теги: це точно не було [самонавчання]. Це також насправді не про GLS (а про дуже особливий випадок), тому я його також видалив.

— амеба

Як видно з математичних виразів для своїх розрахунків, ви отримуєте

((W A)^{'} (W A))^{- 1} ((W A)^{'} (W b)) = (A^{'} W^{2} A)^{- 1} (A^{'} W^{2} b) .

$((WA)^\prime (WA))^{-1} \; ((WA)^\prime (Wb)) = (A^\prime W^2 A)^{-1} (A^\prime W^2 b).$

Очевидно , ваші ваги , а НЕ . Таким чином, ви повинні порівнювати свою відповідь з результатами $W^2$ $W$

> lm(form, mtcars, weights=w^2)
Coefficients:
      wt        hp      disp  
14.12980   0.08391  -0.16446

Угода є ідеальною (до помилки з плаваючою комою - внутрішньо, Rвикористовується чисельно стабільніший алгоритм.)

— дзижчати
джерело

Імовірно, ми тут просто говоримо про програмні угоди: де програмне забезпечення очікує "ваги", чи хоче ви, щоб ви дали йому або ? Я вважав, що це цінне питання, оскільки проблема може торкнутися будь-якого статистичного пакету. Незалежно від конвенцій, короткий аналіз у цій відповіді дозволяє припустити, які альтернативні тлумачення "ваг" можуть бути розумними та варто експериментувати за будь-яких обставин.

W

$W$

W^{2}

$W^2$

— whuber

Так, я вважаю, що це заплутано, я отримав вираз з книги лінійної алгебри Гілберта Странга Глава 8.6, де він говорить, що найменше зважений квадрат - це лише коригування від до

A x = b

$Ax=b$

W A x = W b

$WAx=Wb$

— Haitao Du

Странг правильний, але він має педагогічну спрямованість назад: він починає з відповіді, а не з проблеми. Проблема стосується того, як виконати аналог процедури найменших квадратів, коли дисперсії залишків мають відомі, але різні значення. З різних (але простих) теоретичних причин дані слід зважувати за оберненими відхиленнями (іноді їх називають "точністю"). З цього можна зрозуміти, що повинен бути квадратним коренем ваг.

W

$W$

— whuber