Чи має сенс вивчати графіки залишків щодо залежної змінної?

Мені хотілося б знати, чи є сенс вивчати графіки залишків стосовно залежної змінної, коли я отримав однозначну регресію. Якщо це має сенс, що означає сильна, лінійна, зростаюча кореляція між залишками (на осі y) та оцінними значеннями залежної змінної (на осі x)?

Припустимо, у вас регресія , де . Тоді, . Чим вище значення , тим більше залишкове. Навпаки, графік залишків проти повинен демонструвати систематичної залежності. Також передбачуване значення має бути приблизно --- однаковим для кожного спостереження. Якщо всі передбачувані значення приблизно однакові, їх слід не співвідносити з помилками.β 1 ≈ 0 у я - β 0 ≈ & epsi ; я у х у я β$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$\beta_1 \approx 0$$y_i - \beta_0 \approx \epsilon_i$$y$$x$$\hat{y}_i$$\hat{\beta}_0$

Те, що говорить мені сюжет, - це те, що і по суті не пов'язані між собою (звичайно, є кращі способи цього показати). Повідомте нас, якщо ваш коефіцієнт не близький до 0.у β$x$$y$$\hat{\beta}_1$

Для кращої діагностики використовуйте графік залишків проти передбачуваної заробітної плати або проти значення . У цих сюжетах не слід дотримуватися відмінного шаблону.$x$

Якщо ви хочете трохи продемонструвати R, ось вам:

y      <- rnorm(100, 0, 5)
x      <- rnorm(100, 0, 2)
res    <- lm(y ~ x)$residuals
fitted <- lm(y ~ x)$fitted.values
plot(y, res)
plot(x, res)
plot(fitted, res)

Якщо припустимо, що вказана модель правильно вказана ...

Позначимо через , матриця Р Х являє собою матрицю проекції, так що P 2 Х = Р X і Р ' Х = Р X .$P_X=X(X'X)^{-1}X'$$P_X$$P_X^2=P_X$$P_X'=P_X$

.$Cov(\hat{Y},\hat{e})=Cov(P_XY,(I-P_X)Y)=P_XCov(Y,Y)(I-P_X)'=\sigma^2P_X(I-P_X)=0$

Отже графік розсіяння залишків проти передбачуваної залежної змінної не повинен виявляти кореляції.

Але!

.$Cov(Y,\hat{e})=Cov(Y,(I-P_X)Y)=Cov(Y,Y)(I-P_X)'=\sigma^2(I-P_X)$

Матриця - матриця проекцій, її власні значення дорівнюють 0 або +1, це додатне напіввизначене. Так воно має мати негативні значення по діагоналі. Отже графік розсіяння залишків проти оригінальної залежної змінної повинен виявляти позитивну кореляцію.$\sigma^2(I-P_X)$

Наскільки я знаю, Gretl виробляє за замовчуванням графік залишків проти оригінальної залежної змінної (не передбачуваної!).

Чи можливо ви плутаєте вбудовані / прогнозовані значення з фактичними значеннями?

Як сказали @gung та @biostat, ви сподіваєтесь, що між встановленими значеннями та залишками немає зв’язку. З іншого боку, знайти лінійну залежність між фактичними значеннями залежної / змінної результатів та залишками слід очікувати і не є особливо інформативним.

Додано для уточнення попереднього речення: Не слід очікувати просто будь-якої лінійної залежності між залишками та фактичними значеннями вихідного значення ... Для низьких виміряних значень Y прогнозовані значення Y з корисної моделі будуть, як правило, вищими, ніж фактичні виміряні значення та навпаки.

Пропоновані відповіді дають мені кілька ідей щодо того, що тут відбувається. Я вірю, що випадково були допущені помилки. Подивіться, чи має сенс наступна історія: Для початку, я думаю, існує велика взаємозв’язок між даними X&Y (ось деякий код та сюжет):

set.seed(5)
wage <- rlnorm(1000, meanlog=2.3, sdlog=.5)
something_else <- .7*wage + rnorm(1000, mean=0, sd=1)
plot(wage, something_else, pch=3, col="red", main="Plot X vs. Y")

Але помилково Y передбачили просто із середнього значення. У поєднанні з цим залишки від середньої моделі побудовані проти X, хоча те, що було призначено, було побудувати проти встановлених значень (код і графік):

meanModel <- lm(something_else~1)
windows()
plot(wage, meanModel$residuals, pch=3, col="red", 
    main="Plot of residuals from Mean only Model against X")
abline(h=0, lty="dotted")

Ми можемо це виправити, встановивши відповідну модель та побудувавши із неї залишки (код та графік):

appropriateModel <- lm(something_else~wage)
windows()
plot(appropriateModel$fitted.values, appropriateModel$residuals, pch=3, col="red",
main="Plot of residuals from the appropriate\nmodel against fitted values")
lines(lowess(appropriateModel$residuals~appropriateModel$fitted.values))

Це здається лише типом приховань, які я робив, коли починав.

Цей графік вказує на те, що модель, яку ви встановили, не є хорошою. Як @gung сказав у перших коментарях до головного питання про те, що між передбачуваною відповіддю та залишковим не повинно бути зв'язку.

"аналітик повинен очікувати, що модель регресії помилиться при прогнозуванні реакції випадковим чином; модель повинна передбачити значення, вищі за фактичні та нижчі за фактичні з однаковою ймовірністю. Дивіться це "

Я рекомендую спочатку відповідь сюжету проти незалежної змінної, щоб побачити зв’язок між ними. Можливо, доцільно додати в модель многочленні терміни.

Хіба це не відбувається, якщо між змінною X&Y немає зв’язку? З огляду на цей графік, здається, ви по суті прогнозуєте Y з його середнім значенням.

Я думаю, що ОП побудував графіки залишків проти оригінальної змінної відповіді (не вбудованої змінної відповіді з моделі). Я постійно бачу подібні сюжети з майже однаковою схемою. Переконайтеся, що ви розміщуєте залишки проти встановлених значень, тому що я не впевнений, який змістовний висновок ви можете зібрати від залишків проти оригіналу Y. Але я, безумовно, можу помилитися.