Яка очікувана кореляція між залишковою та залежною змінною?

26

У декількох лінійних регресіях я можу зрозуміти, що кореляція між залишковим та предиктором дорівнює нулю, але яка очікувана кореляція між залишковою та критеріальною змінною? Чи слід очікувати, що він буде нульовим або сильно корелює? У чому сенс цього?

regression residuals

— Jfly
джерело

4

Що таке "критеріальна змінна" ??

— whuber

2

@whuber Я здогадуюсь, що Jfly має на увазі відповідь / результат / залежний / тощо. змінна. davidmlane.com/hyperstat/A101702.html Цікаво побачити багато назв таких змінних: en.wikipedia.org/wiki/…

— Jeromy Anglim

@Jeromy Дякую! Я здогадувався, що це сенс, але не був впевнений. Це для мене новий термін - і у Вікіпедії, очевидно.

— whuber

Я б подумав , що це була б дорівнює

E [R^{2}]

$E[R^2]$ або що - щось подібне, як і

R^{2} = [c o r r (y, \hat{y})]^{2}

$R^2=[corr(y,\hat{y})]^2$

— probabilityislogic

y = f (x) + e

$y = f(x) + e$ , де

f

$f$ - функція регресії,

e

$e$ - помилка, а

C o v (f (x), e) = 0

$Cov(f(x),e) = 0$ . Тоді

C o r r (y, e) = S D (e) / S D (y) = \sqrt{1 - R^{2}}

$Corr(y,e) = SD(e)/SD(y) = \sqrt{1-R^2}$ . Це вибіркова статистика; його очікуване значення було б подібним, але м'яснішим.

— Ray Koopman

20

У регресійній моделі:

y_{i} = x_{i}^{'} β + u_{i}

$y_i=\mathbf{x}_i'\beta+u_i$

звичайне припущення про те , що , - зразок iid. За припущеннями, що і має повний ранг, звичайний оцінювач найменших квадратів: $(y_i,\mathbf{x}_i,u_i)$ $i=1,...,n$ $E\mathbf{x}_iu_i=0$ $E(\mathbf{x}_i\mathbf{x}_i')$

\hat{β} = {(\sum_{i = 1}^{н} х_{i} х_{i}^{'})}^{- 1} \sum_{i = 1} х_{i} у_{i}

$\widehat{\beta}=\left(\sum_{i=1}^n\mathbf{x}_i\mathbf{x}_i'\right)^{-1}\sum_{i=1}\mathbf{x}_iy_i$

є послідовним і асимптотично нормальним. Очікувана коваріація між залишковою та змінною відповіді тоді:

Е у_{i} у_{i} = Е (х_{i}^{'} β + у_{i}) у_{i} = Е у_{i}^{2}

$Ey_iu_i=E(\mathbf{x}_i'\beta+u_i)u_i=Eu_i^2$

Якщо ми , крім того , припустимо , що і , можна обчислити очікувану ковариации між та її регресія залишкова: $E(u_i|\mathbf{x}_1,...,\mathbf{x}_n)=0$ $E(u_i^2|\mathbf{x}_1,...,\mathbf{x}_n)=\sigma^2$ $y_i$

\begin{aligned} Е у_{i} {\hat{у}}_{i} & = Е у_{i} (у_{i} - х_{i}^{'} \hat{β}) \\ = Е (х_{i}^{'} β + у_{i}) (у_{i} - х_{i} (\hat{β} - β)) \\ = Е (у_{i}^{2}) (1 - Е х_{i}^{'} {(\sum_{j = 1}^{н} х_{j} х_{j}^{'})}^{- 1} х_{i}) \end{aligned}

$\begin{align*} Ey_i\widehat{u}_i&=Ey_i(y_i-\mathbf{x}_i'\widehat{\beta})\\\\ &=E(\mathbf{x}_i'\beta+u_i)(u_i-\mathbf{x}_i(\widehat{\beta}-\beta))\\\\ &=E(u_i^2)\left(1-E\mathbf{x}_i' \left(\sum_{j=1}^n\mathbf{x}_j\mathbf{x}_j'\right)^{-1}\mathbf{x}_i\right) \end{align*}$

Тепер , щоб отримати кореляцію , ми повинні обчислити і . Виявляється, що $\text{Var}(y_i)$ $\text{Var}(\hat{u}_i)$

Вар ({\hat{у}}_{i}) = Е (у_{i} {\hat{у}}_{i}),

$\text{Var}(\hat u_i)=E(y_i\hat{u}_i),$

звідси

Corr (y_{i}, {\hat{u}}_{i}) = \sqrt{1 - E x_{i}^{'} {(\sum_{j = 1}^{n} x_{j} x_{j}^{'})}^{- 1} x_{i}}

$\text{Corr}(y_i,\hat u_i)=\sqrt{1-E\mathbf{x}_i' \left(\sum_{j=1}^n\mathbf{x}_j\mathbf{x}_j'\right)^{-1}\mathbf{x}_i}$

Тепер доданок виходить від діагоналі шолома матриці, де. Матрицяідентична, отже, вона задовольняє наступну властивість $\mathbf{x}_i' \left(\sum_{j=1}^n\mathbf{x}_j\mathbf{x}_j'\right)^{-1}\mathbf{x}_i$ $H=X(X'X)^{-1}X'$ $X=[\mathbf{x}_i,...,\mathbf{x}_N]'$ $H$

trace (H) = \sum_{i} h_{i i} = rank (H),

$\text{trace}(H)=\sum_{i}h_{ii}=\text{rank}(H),$

де діагональний член . є число лінійно незалежних змінних в , що зазвичай число змінних. Назвемо це . Кількість це розмір вибірки . Отже, у нас є негативних термінів, які повинні скласти до . Зазвичай набагато більший за , отже, багато $h_{ii}$ $H$ $\text{rank}(H)$ $\mathbf{x}_i$ $p$ $h_{ii}$ $N$ $N$ $p$ $N$ $p$ $h_{ii}$ було б близьким до нуля, тобто, кореляція між залишковою та змінною відповіді була б близькою до 1 для більшої частини спостережень.

Термін також використовується в різних регресійних діагностиках для визначення впливових спостережень. $h_{ii}$

— mpiktas
джерело

10

+1 Це саме правильний аналіз. Але чому ви не закінчите роботу і не відповісте на питання? ОП запитує, чи є ця кореляція "високою" і що це може означати .

— whuber

Тож можна сказати, що кореляція приблизно

\sqrt{1 - \frac{p}{N}}

$\sqrt{1-\frac{p}{N}}$

— ймовірністьлогічний

1

Кореляція різна для кожного спостереження, але так, ви можете сказати, що за умови, що X не має інших людей.

— mpiktas

21

Кореляція залежить від . Якщо високий, це означає, що велика кількість варіантів вашої залежної змінної може бути віднесена до змін у ваших незалежних змінних, а НЕ до вашого помилки. $R^2$ $R^2$

Однак якщо низький, це означає, що значна частина варіантів вашої залежної змінної не пов'язана з варіацією ваших незалежних змінних, і тому повинна бути пов'язана з терміном помилки. $R^2$

Розглянемо таку модель:

, де і некорельовані. $Y=X\beta+\varepsilon$ $Y$ $X$

Припускаючи достатні умови регулярності для проведення CLT.

сходиться до, такіє некоррелірованнимі. Тому $\hat{\beta}$ $0$ $X$ $Y$ завжди буде дорівнює нулю. Таким чином,. іідеально співвідносяться !!! $\hat{Y}=X\hat{\beta}$ $\varepsilon:=Y-\hat{Y}=Y-0=Y$ $\varepsilon$ $Y$

Утримуючи все інше виправленим, збільшення зменшить кореляцію між помилкою та залежною. Сильна кореляція не обов'язково є причиною тривоги. Це може просто означає, що основний процес є галасливим. Однак низький (а отже, висока кореляція між помилкою та залежністю) може бути наслідком неправильної специфікації моделі. $R^2$ $R^2$

— Метт
джерело

Я вважаю цю відповідь заплутаною, частково через її використання "

ε

$\varepsilon$ » , щоб стояти як для членів помилки в моделі і залишків

. Інший пункт плутанини - це посилання на "конвергенцію до", навіть не маючи послідовності нічого, що свідчить про те, до якої конвергенції може застосуватись. Припущення про те, що

і

є неспорідненими, видається особливим і не є ілюстративним для загальних обставин. Все це затьмарює, що б ця відповідь не намагалася сказати або які твердження, як правило, вірні.

Y - \hat{Y}

$Y-\hat Y$

X

$X$

Y

$Y$

— whuber

17

Я вважаю цю тему досить цікавою, і нинішні відповіді, на жаль, є неповними або частково оманливими - незважаючи на актуальність та високу популярність цього питання.

За визначенням класичної структури МНК не повинно бути ніякого зв'язку між і $y ̂$ $\hat u$ , так як залишки , отримані в будівництві на корелюють з виведенні МНК. Варіант мінімізації дисперсії при гомосекдастичності забезпечує залишкову помилку випадковим чином розподілити навколо встановлених значень. Це можна офіційно показати: $y ̂$

Cov (y ̂, u ̂ | X) = Cov (P y, M y | X) = Cov (P y, (I - P) y | X) = P Cov (y, y) (I - P)^{'}

$\text{Cov}(y ̂,u ̂|X)=\text{Cov}(Py,My|X)=\text{Cov}(Py,(I-P)y|X)=P\text{Cov}(y,y)(I-P)'$

= P σ^{2} - P σ^{2} = 0

$=Pσ^2-Pσ^2=0$

Там , де і є Ідемпотентний матриці визначені як: і . $M$ $P$ $P=X(X' X)X'$ $M=I-P$

Цей результат ґрунтується на суворій екзогенності та гомоскедастичності і практично є у великих зразках. Інтуїції для їх uncorrelatedness полягає в наступному: Підібрані значення зумовлюють зосереджені навколо які , як вважається , як незалежно один від одного і однаково розподілені. Тим НЕ менше, будь-яке відхилення від суворої екзогенних і гомоскедастичність припущення може привести до пояснює змінним , щоб бути ендогенними і стимулювати приховану кореляцію між і . $y ̂$ $X$ $u ̂$ $u ̂$ $y ̂$

Тепер кореляція між залишками «оригінальний» зовсім інша історія: $u ̂$ $y$

Cov (y, u ̂ | X) = Cov (y M y | X) = Cov (y, (1 - P) y) = Cov (y, y) (1 - P) = σ^{2} M

$\text{Cov}(y,u ̂|X)=\text{Cov}(yMy|X)=\text{Cov}(y,(1-P)y)=\text{Cov}(y,y)(1-P)=σ^2 M$

Деякі перевірки в теорії , і ми знаємо , що ця матриця ковариаций збігається з ковариационной матрицею залишкового себе (доказ опущено). Ми маємо: $\hat{u}$

Var (u ̂) = σ^{2} M = Cov (y, u ̂ | X)

$\text{Var}(u ̂ )=σ^2 M=\text{Cov}(y,u ̂|X)$

Якщо ми хочемо обчислити (скалярний) ковариации між і в відповідно до проханням О.П., ми отримаємо: $y$ $\hat{u}$

⟹ {Cov}_{s c a l a r} (y, u ̂ | X) = Var (u ̂ | X) = (\sum u_{i}^{2}) / N

$\implies \text{Cov}_{scalar}(y,u ̂|X)=\text{Var}(u ̂|X)=\left(∑u_i^2 \right)/N$

(= підсумовуючи діагональні записи матриці коваріації та ділимо на N)

Наведена вище формула вказує на цікавий момент. Якщо ми перевірити взаємозв'язок регресу на невязке (+ константа), коефіцієнт нахилу , який може бути легко отримуються , коли ми розділимо вище вираз на . $y$ $\hat{u}$ $\beta_{\hat{u},y}=1$ $\text{Var}(u ̂|X)$

З іншого боку, кореляція - це стандартизована коваріація за відповідними стандартними відхиленнями. Тепер дисперсійна матриця залишків становить , тоді як дисперсія $σ^2 M$ $y$ є . Кореляція стає тому: $σ^2 I$ $\text{Corr}(y,u ̂ )$

Corr (y, u ̂) = \frac{Var (u ̂)}{\sqrt{Var (\hat{u}) Var (y)}} = \sqrt{\frac{Var (u ̂)}{Var (y)}} = \sqrt{\frac{Var (u ̂)}{σ^{2}}}

$\text{Corr}(y,u ̂ )=\frac{\text{Var}(u ̂ )}{\sqrt{\text{Var}(\hat{u})\text{Var}(y)}}=\sqrt{\frac{\text{Var}(u ̂ )}{\text{Var}(y)} }=\sqrt{\frac{\text{Var}(u ̂ )}{σ^2 }}$

Це основний результат, який повинен мати місце в лінійній регресії. Інтуїції є те , що висловлює помилку між істинною дисперсією терміна помилок і проксі - сервером для дисперсії на основі залишків. Зверніть увагу , що дисперсія дорівнює дисперсії плюс дисперсії залишків . Тож його можна інтуїтивно переписати як: $\text{Corr}(y,u ̂ )$ $y$ $\hat{y}$ $\hat{u}$

Кор (у, у ̂) = \frac{1}{\sqrt{1 + \frac{Вар (\hat{у)}}{Вар (у ̂)}}}

$\text{Corr}(y,u ̂ )=\frac{1}{\sqrt{1+\frac{\text{Var}(\hat{y)}}{\text{Var}(u ̂ )}}}$

Тут працюють дві сили. Якщо у нас є великий припадок лінії регресії, кореляції , як очікується , буде низьким з - за . З іншого боку, є трохи ірисок до гідності , оскільки це є безумовним і прямим в просторі параметрів. Порівняння безумовних та умовних дисперсій у співвідношенні може бути не підходящим показником. Можливо, тому це рідко робиться на практиці. $\text{Var}(u ̂ )\approx 0$ $\text{Var}(\hat{y})$

Спроба завершити питання: Співвідношення між і позитивна і відноситься до співвідношення дисперсії залишків і дисперсій істинного члена помилки, проксіруемому по безумовної дисперсії . Отже, це трохи оманливий показник. $y$ $u ̂$ $y$

Незважаючи на те, що ця вправа може дати нам інтуїцію щодо роботи та притаманних їй теоретичних припущень щодо регресії OLS, ми рідко оцінюємо співвідношення між та $y$ .Звичайно, є більш встановлені тести для перевірки властивостей істинного терміна помилки. По- друге, мати на увазіщо залишки не термін помилка, і тести на невязок будувати припущення характеристик на істинний термін помилки обмежені і їх потреби діїщоб бути оброблені з особливою ретельністю. $u ̂$ $u ̂$ $u$

Наприклад, я хотів би вказати на заяву попереднього афіші тут. Кажуть, що

"Якщо ваші залишки співвідносяться з вашими незалежними змінними, то ваша модель гетерокедастична ..."

Я думаю, що це може бути не зовсім дійсним у цьому контексті. Вірите чи ні, але залишки OLS по конструкції зроблені бути корелюють з незалежної змінної . Щоб побачити це, врахуйте: $u ̂$ $x_k$

Х^{'} у_{i} = Х^{'} М у = Х^{'} (Я - П) у = Х^{'} у - Х^{'} П у

$X'u_i=X'My=X'(I-P)y=X'y-X'Py$

= Х^{'} у - Х^{'} Х (Х^{'} Х) Х^{'} у = Х^{'} у - Х^{'} у = 0

$=X'y-X'X(X'X)X'y=X'y-X'y=0$

⟹ Х^{'} у_{i} = 0 ⟹ Ков (Х^{'}, у_{i} | Х) = 0 ⟹ Ков (х_{к i}, у_{i} | х_{к} i) = 0

$\implies X'u_i=0 \implies \text{Cov}(X',u_i|X)=0 \implies \text{Cov}(x_{ki},u_i|x_ki)=0$

Однак, можливо, ви чули твердження, що пояснювальна змінна корелює з терміном помилки . Зауважте, що такі твердження ґрунтуються на припущеннях щодо всього населення із справжньою базовою регресійною моделлю, яку ми не спостерігаємо з перших рук. Отже, перевірка кореляції між і безглуздим в лінійної рамках МНК. Однак при тестуванні на $y$ $u ̂$ гетерокедастичність ми враховуємо тут другий умовний момент, наприклад, регресуємо залишки квадрата на або функцію $X$ $X$ , як це часто буває з оцінками FGSL. Це відрізняється від оцінки простої кореляції. Я сподіваюся, що це допоможе зробити справи більш зрозумілими.

— Майте
джерело

1

Зверніть увагу , що ми маємо

\frac{v a r (\hat{u})}{v a r (y)} = \frac{S S E}{T S S} = 1 - R^{2}

$\frac{var(\hat{u})}{var(y)}=\frac{SSE}{TSS}=1-R^2$

c o r r (y, \hat{u}) = \sqrt{1 - R^{2}}

$corr(y,\hat{u})=\sqrt{1-R^2}$

2

Що мені здається цікавим у цій відповіді, це те, що кореляція завжди позитивна.

— ймовірністьлогічний

V a r (y)

$Var(y)$

@probabilityislogic: Не впевнений, чи зможу я виконати ваш крок. Це було б тоді під прямокутником 1+ (1/1-R ^ 2), що є (2-R ^ 2) / (1-R ^ 2)? Однак правда полягає в тому, що вона залишається позитивною. Інтуїція полягає в тому, що якщо у вас є лінія через розсіювач, і ви регресуєте цю лінію на помилках з цього рядка, повинно бути очевидним, що зі збільшенням значення y цього рядка збільшується і значення залишків. Це тому, що залишки позитивно залежать від y за побудовою.

— Majte

@mpiktas: У цьому випадку матриця стає скалярною, оскільки ми маємо справу лише в одному вимірі.

— Majte

6

Відповідь Адама - неправильна. Навіть із моделлю, яка ідеально відповідає даних, ви все одно можете отримати високу кореляцію між залишками та залежною змінною. Ось чому жодна книга регресу не просить перевірити це співвідношення. Відповідь ви можете знайти в книзі "Прикладний регресійний аналіз" доктора Дрейпера.

— Джефф
джерело

3

Навіть якщо це правильно, це скоріше твердження, ніж відповідь відповідно до стандартів CV, @Jeff. Ви б не хотіли розробити / створити резервну копію вашої претензії? Навіть лише номер сторінки та видання Draper & Smith буде достатньо.

— gung - Відновіть Моніку

4

Отже, залишки - це ваша незрозуміла дисперсія, різниця між прогнозами вашої моделі та реальним результатом, який ви моделюєте. На практиці в декількох моделях, вироблених за допомогою лінійної регресії, всі залишки будуть близькі до нуля, якщо не буде використана лінійна регресія для аналізу механічного або фіксованого процесу.

В ідеалі залишки вашої моделі повинні бути випадковими, тобто вони не повинні співвідноситись ні з вашими незалежними, ні із залежними змінними (якими ви називаєте змінну критерію). При лінійній регресії ваш помилковий термін зазвичай розподіляється, тому ваші залишки також повинні бути нормально розподілені. Якщо у вас є значні пережиті люди, або якщо ваші залишки співвідносяться або зі залежною вами змінною, або з вашими незалежними змінними, ви маєте проблеми зі своєю моделлю.

Якщо у вас є значні видатки та ненормальний розподіл ваших залишків, то люди, що переживають, можуть перекосити вагу (Betas), і я б запропонував обчислити DFBETAS для перевірки впливу ваших спостережень на вагу. Якщо ваші залишки співвідносяться із залежною вами змінною, то існує значно велика кількість незрозумілої дисперсії, яку ви не враховуєте. Ви також можете це побачити, якщо ви аналізуєте повторні спостереження за тим самим, завдяки автокореляції. Це можна перевірити, побачивши, чи співвідносяться ваші залишки з вашою змінною часу або індексу. Якщо ваші залишки співвідносяться з вашими незалежними змінними, то ваша модель гетерокедастична (див.: Http://en.wikipedia.org/wiki/Heteroscedasticity). Ви повинні перевірити (якщо ви ще цього не зробили), чи нормально розподіляються ваші вхідні змінні, а якщо ні, то слід розглянути можливість масштабування чи перетворення ваших даних (найпоширеніші види - це журнал та квадратний корінь), щоб зробити їх більше нормалізується.

У випадку обох, і ваших залишків, і ваших незалежних змінних вам слід пройти QQ-Plot, а також виконати тест Колмогорова-Смірнова (саме ця реалізація іноді називається тестом Lilliefors), щоб переконатися, що ваші значення підходять до нормального розподілу.

Три речі, які швидко і можуть бути корисними при вирішенні цієї проблеми, - це вивчення медіани ваших залишків, вона повинна бути максимально близькою до нуля (середнє значення майже завжди буде нульовим внаслідок того, як вписується термін помилки при лінійній регресії), тест Дурбіна-Уотсона на автокореляцію у ваших залишках (особливо, як я вже згадував раніше, якщо ви переглядаєте багаторазові спостереження одних і тих самих речей), і виконання часткової залишкової ділянки допоможе вам шукати гетеросцедастичність та виснаження.

— Адам
джерело

Велике спасибі. Ваше пояснення мені дуже допомагає.

— Jfly

1

+1 Приємна, вичерпна відповідь. Я збираюся нітпік на 2 бали. "Якщо ваші залишки співвідносяться з вашими незалежними змінними, то ваша модель є гетероскедастичною" - я б сказав, що якщо дисперсія ваших залишків залежить від рівня незалежної змінної, то ви маєте гетероскедастичність. Крім того, я почув тести Колмогорова-Смірнова / Лілліфорса, описані як "сумно ненадійні", і в практиці я, безумовно, визнав це правдою. Краще зробити суб'єктивне визначення на основі графіку QQ або простої гістограми.

— rolando2

4

Твердження, що "залишки вашої моделі ... не повинні співвідноситись із ... вашою ... залежною змінною", як правило, не відповідає дійсності, як це пояснено в інших відповідях на цій темі. Ви не хочете виправити цю публікацію?

— gung - Відновіть Моніку

1

(-1) Я вважаю, що цей пост недостатньо актуальний для поставленого питання. Це добре як загальна порада, але, можливо, випадок "правильної відповіді на неправильну запитання".

— ймовірністьлогічний