Як залишки відносяться до основних порушень?

9

Методом найменших квадратів ми хочемо оцінити невідомі параметри в моделі:

Y_{j} = α + β x_{j} + ε_{j} (j = 1... n)

$Y_j = \alpha + \beta x_j + \varepsilon_j \enspace (j=1...n)$

Після того як ми зробили це (для деяких спостережуваних значень), ми отримаємо пристосовану регресійну лінію:

Y_{j} = \hat{α} + \hat{β} x + e_{j} (j = 1, . . . n)

$Y_j = \hat{\alpha} + \hat{\beta}x +e_j \enspace (j =1,...n)$

Тепер, очевидно, ми хочемо перевірити деякі сюжети, щоб переконатися, що припущення виконані. Припустимо, ви хочете перевірити наявність гомосептичності, але для цього ми фактично перевіряємо залишки . Скажімо, ви вивчаєте графік залишкової та передбачуваної величин, якщо це показує нам, що гетероседастичність очевидна, то як це стосується терміну порушення ? Чи означає гетеросцедастичність у залишках гетероседастичність у термінах порушення? $e_j$ $\varepsilon_j$

— Денні
джерело

3

Найпростіший спосіб подумати над цим, це те, що ваші сирі залишки ( $e_j = y_j-\hat y_j$ ) є оцінками відповідних порушень ( $\hat\varepsilon_j = e_j$ ). Однак є деякі зайві складності. Наприклад, хоча у стандартній моделі OLS ми припускаємо, що помилки / порушення є незалежними, залишки не можуть бути всіма. Загалом, лише $N-p-1$ залишки можуть бути незалежними, оскільки ви використовували $p-1$ ступенів свободи в оцінці середньої моделі та залишків обмежуються до суми $0$ . Крім того, стандартне відхилення залишків сировини фактично не є постійним. Взагалі лінія регресії встановлена таким чином, що вона буде в середньому ближче до тих точок з більшим важелем. Як результат, стандартне відхилення залишків для цих точок менше, ніж у пунктів низького важеля. (Детальніше про це може допомогти прочитати відповіді тут: Інтерпретація plot.lm () та / або тут: Як виконати залишковий аналіз для бінарних / дихотомічних незалежних предикторів при лінійній регресії? )

— gung - Відновити Моніку
джерело

3

Для уточнення, щонайменше залишки Np-1 можуть бути незалежними, але, як правило, всі вони корелюють; натомість є лінійні перетворення їх, які можуть мати незалежні компоненти Np-1.

— Glen_b -Встановити Моніку

@Glen_b, хороший момент.

— gung - Відновіть Моніку

8

Відносини між $\hat{\varepsilon}$ і $\varepsilon$ є:

\hat{ε} = (Я - Н) ε

$\hat{\varepsilon} = (I-H) \varepsilon$

де $H$ , капелюшна матриця, є $X(X^TX)^{-1}X^T$ .

Що означає це сказати $\hat{\varepsilon}_i$ є лінійною комбінацією всіх помилок, але зазвичай більша частина ваги припадає на $i$ -та.

Ось приклад, використовуючи carsнабір даних у Р. Розгляньте крапку, позначену фіолетовим кольором:

введіть тут опис зображення

Назвемо це пунктом $i$ . Залишковий, $\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\sum_{j\neq i} w_j \varepsilon_j$ , де $w_j$ для інших помилок знаходиться в області -0,02:

введіть тут опис зображення

Ми можемо переписати це як:

$\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\eta_i$

або загалом

$\hat{\varepsilon}_i= (1-h_{ii})\varepsilon_i +\eta_i$

де $h_{ii}$ є $i$ -й діагональний елемент $H$ . Аналогічно $w_j$ вище є $h_{ij}$ .

Якщо помилки - iid $N(0,\sigma^2)$ то в цьому прикладі зважена сума цих інших помилок матиме стандартне відхилення, що відповідає приблизно 1/7-му ефекту помилки $i$ го спостереження за його залишковим.

Що означає, що в регресіях, що ведуть себе добре, залишки можуть здебільшого трактуватись як помірно галасливі оцінки непомітних термінів помилки. Як ми вважаємо точки далі від центру, все працює дещо менш приємно (залишок стає менш зваженим на помилку, а ваги на інші помилки стають менш рівними).

З багатьма параметрами або з $X$ не так добре розподілені, залишки можуть бути набагато менше, як помилки. Ви можете спробувати кілька прикладів.

— Glen_b -Встановити Моніку
джерело

2

Це правильний підхід. Крім того, для цього потрібен аргумент, за яким діагональні елементи

H

$H$ як правило, "маленькі". Це робиться, показуючи, що трасування дорівнює кількості незалежних змінних (включаючи перехоплення, якщо такі є) - що безпосередньо пов'язане з тим, що це матриця проекції. Зауважте, що цей результат не залежить від будь-яких припущень щодо розподілу для окремої людини

ε_{i}

$\varepsilon_i$ : вони не повинні бути нормальними. Він також не залежить від будь-якої фактичної формули для

H

$H$ ; це наслідок підрахунку розмірів.

— whuber

Хіба не інша обставина, за якої залишки можуть бути набагато меншими, як помилки, якби кількість спостережень

n

$n$ невеликий? Зазвичай як @whuber констатує той факт, що слід від

H

$H$ рівна кількість незалежних змінних означає, що його діагональні елементи невеликі, але це не обов'язково, якщо б число

n

$n$ цих елементів само по собі мало.

— Адам Бейлі

@AdamBailey Звичайно, це коли

n

$n$ невеликий ... але це тому

p / n

$p/n$ є відносно великим, навіть якщо

p

$p$ - це лише 1 або 2.

— Glen_b -Встановіть Моніку