Вплив перемикання відповіді та пояснювальної змінної в простій лінійній регресії

48

Скажімо, існує деякий "справжній" взаємозв'язок між $y$ і $x$ таким, що $y = ax + b + \epsilon$ , де $a$ і $b$ - постійні, а $\epsilon$ - нормальний шум. Коли я випадково генерую дані з цього коду R: x <- 1:100; y <- ax + b + rnorm(length(x))а потім підходжу до такої моделі, як y ~ xя, я очевидно отримую досить хороші оцінки для $a$ і $b$ .

(x ~ y)Однак, якщо я перемкнути роль змінних як у , а потім переписати результат, щоб $y$ є функцією $x$ , результат, що нахиляється, завжди крутіший (або більш негативний, або більш позитивний), ніж той, який оцінюється y ~ xрегресією. Я намагаюся зрозуміти, чому саме так, і буду вдячний, якщо хтось міг би дати мені інтуїцію щодо того, що там відбувається.

regression

— Грег Апонте
джерело

1

Це взагалі не вірно. Можливо, ви просто бачите це у своїх даних. Вставте цей код: y = rnorm (10); x = rnorm (10); lm (y ~ x); lm (x ~ y); в R кілька разів, і ви знайдете, що йде обома способами.

— Макрос

Це трохи відрізняється від того, що я описував. У вашому прикладі y взагалі не була функцією x, тому насправді немає жодного "нахилу" ("a" у моєму прикладі).

— Грег Апонт

lm (y ~ x) відповідає моделі

y = β_{0} + β_{1} x + ε

$y = \beta_{0} + \beta_{1}x + \varepsilon$ найменшими квадратами (еквівалентно оцінці ML, коли помилки є нормальними). Є схил.

— Макрос

2

На ваше запитання задають відповіді (подібні) на stats.stackexchange.com/questions/13126 та stats.stackexchange.com/questions/18434 . Однак я вважаю, що ще ніхто не сприяв простому, чіткому поясненню зв’язків між (а) регресією

Y

$Y$ проти

X

$X$ , (b) регресією

X

$X$ проти

Y

$Y$ , (c) аналізом співвідношення

X

$X$ і

Y

$Y$ , (d) регресія змінних помилок у змінних

X

$X$ та

Y

$Y$ та (e) пристосування біваріантного нормального розподілу до

(X, Y)

$(X,Y)$ . Це було б добре місце для такої експозиції :-).

— whuber

2

Звичайно, Макрос правильний: оскільки x і y грають рівнозначні ролі у питанні, який нахил є більш крайнім - справа випадкова. Однак геометрія підказує (неправильно), що коли ми реверсуємо x і y в регресії, ми повинні отримати зворотний вихідний нахил. Це ніколи не відбувається, крім випадків, коли х і у є лінійно залежними. Це питання можна трактувати як запитання, чому.

— whuber

23

Давши точок даних , в площині проведемо пряму . Якщо ми передбачаємо в якості значення з , то помилка є $n$ $(x_i,y_i), i = 1,2,\ldots n$ $y = ax+b$ $ax_i+b$ $\hat{y}_i$ $y_i$ , токвадрат помилкиє , азагальна квадрат помилки . Просимо $(y_i-\hat{y}_i) = (y_i-ax_i-b)$ $(y_i-ax_i-b)^2$ $\sum_{i=1}^n (y_i-ax_i-b)^2$

Який вибір і мінімізує ? $a$ $b$ $S =\displaystyle\sum_{i=1}^n (y_i-ax_i-b)^2$

Оскільки - вертикальна відстань від прямої, ми запитуємо пряму так, щоб сума квадратів вертикальних відстаней точок від лінія якомога менша. Тепер - квадратична функція і і і досягає свого мінімального значення, коли і такі, що $(y_i-ax_i-b)$ $(x_i,y_i)$ $S$ $a$ $b$ $a$ $b$ З другого рівняння отримаємо

\begin{aligned} \frac{\partial S}{\partial a} & = 2 \sum_{i = 1}^{n} (y_{i} - a x_{i} - b) (- x_{i}) & = 0 \\ \frac{\partial S}{\partial b} & = 2 \sum_{i = 1}^{n} (y_{i} - a x_{i} - b) (- 1) & = 0 \end{aligned}

$\begin{align*} \frac{\partial S}{\partial a} &= 2\sum_{i=1}^n (y_i-ax_i-b)(-x_i) &= 0\\ \frac{\partial S}{\partial b} &= 2\sum_{i=1}^n (y_i-ax_i-b)(-1) &= 0 \end{align*}$

де

b = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - a x_{i}) = μ_{y} - a μ_{x}

$b = \frac{1}{n}\sum_{i=1}^n (y_i - ax_i) = \mu_y - a\mu_x$

- середні арифметичні значення

's та

' s відповідно. Підставляючи перше рівняння, отримуємо

μ_{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}, μ_{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}

$\displaystyle \mu_y = \frac{1}{n}\sum_{i=1}^n y_i, ~ \mu_x = \frac{1}{n}\sum_{i=1}^n x_i$

y_{i}

$y_i$

x_{i}

$x_i$

Таким чином, пряму, яка мінімізує

можна виразити як

a = \frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}} .

$a = \frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}.$

S

$S$

y = a x + b = μ_{y} + (\frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}}) (x - μ_{x}),

$y = ax+b = \mu_y + \left(\frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}\right) (x - \mu_x),$

S

$S$

S_{min} = \frac{[(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}] [(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}] - {[(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}]}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}} .

$S_{\min} = \frac{\left[\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2\right] \left[\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2\right] - \left[\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y\right]^2}{\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}.$

Якщо ми обмінюємося ролями і , проведемо лінію і запитаємо значення і які мінімізують тобто ми хочемо, щоб лінія була такою, що сума квадратів горизонтальних відстаней точок від лінія якомога менша, тоді ми отримуємо $x$ $y$ $x = \hat{a}y + \hat{b}$ $\hat{a}$ $\hat{b}$

T = \sum_{i = 1}^{n} (x_{i} - \hat{a} y_{i} - \hat{b})^{2},

$T = \sum_{i=1}^n (x_i - \hat{a}y_i - \hat{b})^2,$

x = \hat{a} y + \hat{b} = μ_{x} + (\frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}}) (y - μ_{y})

$x = \hat{a}y+\hat{b} = \mu_x + \left(\frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}\right) (y - \mu_y)$ і мінімальне значення -

T

$T$

T_{min} = \frac{[(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}] [(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}] - {[(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}]}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}} .

$T_{\min} = \frac{\left[\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2\right] \left[\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2\right] - \left[\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y\right]^2}{\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}.$

Зауважте, що обидві лінії проходять через точку але схили в цілому різні. Дійсно, як в коментарі вказує @whuber, нахили однакові, коли всі точки лежать на одній прямій. Щоб побачити це, зауважте, що $(\mu_x,\mu_y)$

a = \frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}}, {\hat{a}}^{- 1} = \frac{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}

$a = \frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2},~~ \hat{a}^{-1} = \frac{ \left( \frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}$

(x_{i}, y_{i})

$(x_i,y_i)$

{\hat{a}}^{- 1} - a = \frac{S_{min}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}} = 0 \Rightarrow S_{min} = 0 \Rightarrow y_{i} = a x_{i} + b, i = 1, 2, \dots, n .

$\hat{a}^{-1} - a = \frac{S_{\min}}{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y} = 0 \Rightarrow S_{\min} = 0 \Rightarrow y_i=ax_i+b, i=1,2,\ldots, n.$

— Діліп Сарват
джерело

Дякую! abs (кореляція) <1 пояснює, чому схил був систематично крутішим у зворотному випадку.

— Грег Апонт

(+1), але я доповнив відповідь просто ілюстрацією того, що ви щойно сказали, як я маю геометричний розум :)

— Елвіс

Відповідь класу (+1)

— Digio

39

Просто для ілюстрації відповіді Діліпа: на наступних малюнках

чорні точки - це точки даних;
ліворуч чорна лінія - це лінія регресії, отримана y ~ x, що мінімізує квадрати довжини червоних відрізків;
праворуч чорна лінія - це лінія регресії, отримана шляхом x ~ y, яка мінімізує квадрати довжини червоних відрізків.

регресійні лінії

Редагувати (найменший регрес прямокутників)

Якщо немає природного способу вибору "відповіді" та "коваріату", але, скоріше, дві змінні взаємозалежні, ви можете захотіти зберегти симетричну роль для та ; в цьому випадку ви можете використовувати «найменшу регресію прямокутників». $y$ $x$

запишіть , як зазвичай; $Y = aX + b + \epsilon$
позначаємо і оцінки умовні до і умовні ; $\hat y_i = a x_i + b$ $\hat x_i = {1\over a} (y_i - b)$ $Y_i$ $X = x_i$ $X_i$ $Y = y_i$
мінімізувати, що призводить до $\sum_i | x_i - \hat x_i | \cdot | y_i - \hat y_i|$ $\hat{y} = s i g n (c o v (x, y)) \frac{{\hat{σ}}_{y}}{{\hat{σ}}_{x}} (x - \bar{x}) + \bar{y} .$ $\hat y = \mathrm{sign}\left(\mathrm{cov}(x,y)\right){\hat\sigma_y \over \hat\sigma_x} (x-\overline x) + \overline y.$

Ось ілюстрація з однаковими точками даних, для кожної точки "прямокутник" обчислюється як добуток довжини двох червоних відрізків, а сума прямокутників зводиться до мінімуму. Я не знаю багато про властивості цієї регресії і не знаходжу багато з Google.

найменше прямокутників

— Елвіс
джерело

14

Деякі зауваження: ( 1 ) Якщо я не помиляюся, здається, що "найменша регресія прямокутників" еквівалентна рішенню, отриманому після взяття першого основного компонента на матрицю після центрування і масштабування, щоб мати дисперсію одиниці, а потім зворотне заміщення. (продовження)

X = (y, x)

$\mathbf X = (\mathbf y, \mathbf x)$

— кардинал

14

(продовження) ( 2 ) Подивившись таким чином, легко помітити, що ця "найменша регресія прямокутників" еквівалентна формі ортогональних (або загальних) найменших квадратів і, таким чином, ( 3 ) Особливий випадок регресії Демінга на центральні, масштабовані вектори, що приймають . Ортогональні найменші квадрати можуть розглядатися як "регресія найменших кіл".

δ = 1

$\delta = 1$

— кардинал

2

@cardinal Дуже цікаві коментарі! (+1) Я вважаю, що основна вісь (мінімізація перпендикулярних відстаней між лінією регулювання та всіма точками, à la PCA) або зменшена регресія основної осі , або регресія типу II, як показано в пакеті lmodel2 R P Legendre, також мають значення тут оскільки ці методи використовуються, коли важко сказати, яку роль (відповідь чи прогноктор) відіграє кожна змінна або коли ми хочемо враховувати помилки вимірювань.

— chl

1

@chl: (+1) Так, я вважаю, ти маєш рацію, і на сторінці Вікіпедії на загальних найменших квадратах вказано кілька інших назв за тією ж процедурою, не всі з яких я знайомий. Здається, вона повертається щонайменше до Р. Фріша, Аналіз статистичного злиття за допомогою повних систем регресії , Universitetts Økonomiske Instituut, 1934 р., Де його називали діагональною регресією .

— кардинал

3

@cardinal Я повинен був бути більш обережним, читаючи запис у Вікіпедії ... Для подальшого ознайомлення ось фотографії, зроблені з біостатистичного проектування та аналізу за допомогою R , від М. Логан (Wiley, 2010; рис. 8.4, стор. 174) , який узагальнює різні підходи, подібно до приємних ілюстрацій Елвіса.

— chl

13

Лише коротка примітка про те, чому ви бачите нахил менший за одну регресію. Обидва нахили залежать від трьох чисел: стандартних відхилень і ( і ), а також кореляції між і ( ). Регресія з як відповідь має нахил а регресія з як відповідь має нахил , отже відношення першого нахилу до зворотного другого дорівнює . $x$ $y$ $s_{x}$ $s_{y}$ $x$ $y$ $r$ $y$ $r\frac{s_{y}}{s_{x}}$ $x$ $r\frac{s_{x}}{s_{y}}$ $r^2\leq 1$

Отже, чим більша частка дисперсії пояснюється, тим ближче нахили, отримані від кожного випадку. Зауважимо, що пояснювана частка дисперсії симетрична і дорівнює кореляції у квадраті у простої лінійної регресії.

— ймовірністьіслогічна
джерело

1

Простий спосіб поглянути на це - зазначити, що якщо для справжньої моделі , ви запускаєте дві регресії: $y=\alpha+\beta x+\epsilon$

$y=a_{y\sim x}+b_{y\sim x} x$
$x=a_{x\sim y}+b_{x\sim y} y$

Тоді ми маємо, використовуючи : $b_{y\sim x}=\frac{cov(x,y)}{var(x)}=\frac{cov(x,y)}{var(y)}\frac{var(y)}{var(x)}$

b_{y \sim x} = b_{x \sim y} \frac{v a r (y)}{v a r (x)}

$b_{y\sim x}=b_{x\sim y}\frac{var(y)}{var(x)}$

Тож чи ви отримаєте більш крутий нахил чи не просто залежить від співвідношення . Це співвідношення дорівнює, виходячи з передбачуваної справжньої моделі: $\frac{var(y)}{var(x)}$

\frac{v a r (y)}{v a r (x)} = \frac{β^{2} v a r (x) + v a r (ϵ)}{v a r (x)}

$\frac{var(y)}{var(x)}=\frac{\beta^2 var(x) + var(\epsilon)}{var(x)}$

Посилання з іншими відповідями

Ви можете пов'язати цей результат з відповідями інших, хто сказав, що коли , це має бути зворотним. Дійсно, , а також, (помилка оцінки), отже: $R^2=1$ $R^2=1\Rightarrow var(\epsilon) = 0$ $b_{y\sim x}=\beta$

R^{2} = 1 \Rightarrow b_{y \sim x} = b_{x \sim y} \frac{β^{2} v a r (x) + 0}{v a r (x)} = b_{x \sim y} β^{2}

$R^2=1\Rightarrow b_{y\sim x}=b_{x\sim y}\frac{\beta^2 var(x) + 0}{var(x)}=b_{x\sim y}\beta^2$

Отже, $b_{x\sim y}=1/\beta$

— Матифу
джерело

0

Це стає цікавим, коли на ваших входах також є шум (про що ми можемо стверджувати, що це завжди так, що жодна команда чи спостереження не є ідеальними).

Я побудував кілька моделювання для спостереження за явищем, заснованим на простому лінійному співвідношенні , з гауссовим шумом як на x, так і на y. Я створив спостереження наступним чином (код python): $x = y$

x = np.linspace(0, 1, n)
y = x

x_o = x + np.random.normal(0, 0.2, n)
y_o = y + np.random.normal(0, 0.2, n)

Дивіться різні результати (odr тут - ортогональна регресія відстані, тобто така ж, як найменша регресія прямокутників):

Весь код є тут:

https://gist.github.com/jclevesque/5273ad9077d9ea93994f6d96c20b0ddd

— левеск
джерело

0

Лінія регресії не є (завжди) такою самою, як справжня залежність

Можливо, у вас є якісь «справжні» причинно-наслідкові зв’язки

y = a + b x + ϵ

$y = a + bx + \epsilon$

але пристосовані регресійні лінії y ~ xабо x ~ yне означають те саме, що причинно-наслідкові зв'язки (навіть коли на практиці вираз для однієї з регресійних ліній може збігатися з виразом для причинно-наслідкового зв’язку)

Більш точне співвідношення між схилами

Для двох переключених простих лінійних регресій:

Y = a_{1} + b_{1} X X = a_{2} + b_{2} Y

$Y = a_1 + b_1 X\\X = a_2 + b_2 Y$

Ви можете пов'язати схили так:

b_{1} = ρ^{2} \frac{1}{b_{2}} \leq \frac{1}{b_{2}}

$b_1 = \rho^2 \frac{1}{b_2} \leq \frac{1}{b_2}$

Тож схили не один до одного зворотні.

Інтуїція

Причина в тому

Регресійні лінії та кореляції не обов'язково відповідають одній на одну причинно-наслідковій залежності.
Лінії регресії більше стосуються умовної ймовірності або найкращого прогнозу.

Можна уявити, що умовна ймовірність стосується сили відносин. Лінії регресії відображають це, і нахили ліній можуть бути як дрібними, коли сила відносин невелика, так і обидва круті, коли міцність відносин сильна. Схили не просто один до одного зворотні.

Приклад

Якщо дві змінних і пов'язані один з одним якийсь - або (причинного) лінійної залежністю Тоді ви можете собі уявити , що було б НЕ добре , щоб повністю змінити цей зв'язок в разі , якщо ви хочете , щоб висловити на основі заданого значення . $X$ $Y$

Y = a little bit of X + a lot of error

$Y = \text{a little bit of $X + $ a lot of error}$

X

$X$

Y

$Y$

Замість

X = a lot of Y + a little of error

$X = \text{a lot of $Y + $ a little of error}$

краще було б також використовувати

X = a little bit of Y + a lot of error

$X = \text{a little bit of $Y + $ a lot of error}$

Дивіться наступний приклад розподілів з відповідними регресійними лініями. Розподіли є багатоваріантними нормальними з і $\Sigma_{11} \Sigma_{22}=1$ $\Sigma_{12} = \Sigma_{21} = \rho$

Умовні очікувані значення (те, що ви отримаєте в лінійній регресії) є

\begin{matrix} E (Y | X) & = & ρ X \\ E (X | Y) & = & ρ Y \end{matrix}

$\begin{array}{} E(Y|X) &=& \rho X \\ E(X|Y) &=& \rho Y \end{array}$

і в цьому випадку при багатоваріантний нормальний розподіл, тоді граничні розподіли є $X,Y$

\begin{matrix} Y & \sim & N (ρ X, 1 - ρ^{2}) \\ X & \sim & N (ρ Y, 1 - ρ^{2}) \end{matrix}

$\begin{array}{} Y & \sim & N(\rho X,1-\rho^2) \\ X & \sim & N(\rho Y,1-\rho^2) \end{array}$

Таким чином, ви можете бачити змінну Y як частину та шум частини з відхиленням . Так само і навпаки. $\rho X$ $1-\rho^2$

Чим більший коефіцієнт кореляції , тим ближче будуть два рядки. Але чим нижча кореляція, тим менш міцні стосунки, тим менш крутими будуть лінії (це справедливо і для обох ліній, і для ) $\rho$ Y ~ XX ~ Y

— Секст Емпірік
джерело

0

Коротка відповідь

Мета простої лінійної регресії - придумати найкращі прогнози yзмінної з урахуванням значень xзмінної. Це інша мета, ніж намагатися придумати найкращий прогноз xзмінної з урахуванням значень yзмінної.

Проста лінійна регресія y ~ xдає «кращу» можливу модель для прогнозування yдано x. Отже, якщо ви підходите до моделі x ~ yі алгебраїчно її перевертаєте, ця модель в найкращому випадку може зробити так само добре, як і модель y ~ x. Але інвертування підходящої моделі x ~ yзазвичай буде гірше при прогнозуванні yзаданого xпорівняно з «оптимальною» y ~ xмоделлю, оскільки «перевернута x ~ yмодель» була створена для досягнення іншої мети.

Ілюстрація

Уявіть, у вас є такий набір даних:

Коли ви запускаєте регресію OLS y ~ x, ви придумали таку модель

y = 0.167 + 1.5*x

Це оптимізує прогнози y, роблячи такі передбачення, які пов’язані з помилками:

Прогнози регресії OLS є оптимальними в тому сенсі, що сума значень у правому правому стовпчику (тобто сума квадратів) є якомога меншою.

Запускаючи регресію OLS x ~ y, ви створюєте іншу модель:

x = -0.07 + 0.64*y

Це оптимізує прогнози x, роблячи наступні прогнози із пов'язаними помилками.

Знову ж таки, це оптимально в тому сенсі, що сума значень крайнього правого стовпчика є якомога меншою (дорівнює 0.071).

А тепер уявіть, що ви намагалися просто перевернути першу модель y = 0.167 + 1.5*x, використовуючи алгебру, даючи вам модель x = -0.11 + 0.67*x.

Це дасть вам наступні прогнози та пов’язані з цим помилки:

Сума значень у крайньому правому стовпчику - 0.074це більша, ніж відповідна сума з моделі, яку ви отримуєте від регресування x на y, тобто x ~ yмоделі. Іншими словами, "перевернута y ~ xмодель" виконує гіршу роботу при прогнозуванні x, ніж модель OLS x ~ y.

— bschneidr
джерело