Як сума двох змінних може пояснити більше дисперсії, ніж окремі змінні?

Я отримую деякі непрості результати для співвідношення суми з третьою змінною, коли два предиктори негативно співвідносяться. Що викликає ці неспокійні результати?

Приклад 1: Кореляція між сумою двох змінних та третьої змінної

Розглянемо формулу 16.23 на сторінці 427 тексту Гільдфорда 1965 року, показану нижче.

Непроста знахідка: Якщо обидві змінні співвідносяться .2 з третьою змінною і співвідносяться -7 між собою, формула призводить до значення .52. Яким чином може бути співвідношення підсумкової з третьою змінною .52, якщо дві змінні корелюють лише .2 з третьою змінною?

Приклад 2: Яка множинна кореляція між двома змінними та третьою змінною?

Розглянемо формулу 16.1 на сторінці 404 тексту Гільдфорда 1965 року (показано нижче).

Заплутане знахідка: та ж ситуація. Якщо обидві змінні корелюють .2 з третьою змінною і співвідносяться -7 між собою, формула призводить до значення .52. Яким чином може бути співвідношення підсумкової з третьою змінною .52, якщо дві змінні корелюють лише .2 з третьою змінною?

Я спробував невелике моделювання Монте-Карло, і це підтверджує результати формул Гілфорда.

Але якщо два предиктори прогнозують 4% дисперсії третьої змінної, то як їх сума може передбачити 1/4 дисперсії?

Джерело: Фундаментальна статистика з психології та освіти, 4-е видання, 1965.

ПОЯСНЕННЯ

Ситуація, з якою я маю справу, передбачає прогнозування майбутньої діяльності окремих людей на основі вимірювання їхніх здібностей зараз.

Дві діаграми Венна, наведені нижче, показують моє розуміння ситуації і призначені для уточнення моєї загадки.

Ця діаграма Венна (рис. 1) відображає нульовий порядок r = .2 між x1 і C. У моєму полі є багато таких змінних прогнозів, які скромно прогнозують критерій.

Ця діаграма Венна (рис. 2) відображає два таких предиктори, x1 та x2, кожен прогнозуючи C при r = .2, і два предиктори негативно корелюють, r = - 7.

Я втрачаю уявлення про зв'язок між двома прогнозами r = .2, які мали б їх разом передбачити 25% дисперсії C.

Я шукаю допомоги для розуміння взаємозв'язку між x1, x2 та C.

Якщо x2 (як це запропонували деякі у відповіді на моє запитання) x2 виконує функцію супресорної змінної для x1, яка область у другій діаграмі Венна придушується?

Якщо конкретний приклад був би корисним, ми можемо вважати, що x1 і x2 є двома людськими здібностями, а C - 4-річним середнім балом коледжу, через 4 роки.

У мене виникають труднощі з уявленням, як змінна супресора може призвести до збільшення 8% поясненої дисперсії двох r = .2 нульового порядку r's для збільшення та пояснення 25% дисперсії C. Конкретний приклад був би дуже корисною відповіддю.

Це може статися, коли обидва предиктори містять великий коефіцієнт неприємності, але з протилежним знаком, тому коли ви додаєте їх, неприємність скасовується, і ви отримуєте щось набагато ближче до третьої змінної.

Проілюструємо ще більш крайній приклад. Припустимо, є незалежними стандартними нормальними випадковими змінними. Тепер нехай$X, Y \sim N(0,1)$

$A = X$

$B = -X + 0.00001Y$

Скажіть, що - ваша третя змінна, A , B - ваші два предиктори, а X - латентна змінна, про яку ви нічого не знаєте. Кореляція A з Y дорівнює 0, а кореляція B з Y дуже мала, близька до 0,00001. * Але кореляція A + B з Y дорівнює 1.$Y$$A, B$$X$$A+B$$Y$

* Існує маленька крихітна корекція, коли стандартне відхилення B становить трохи більше 1.

Ці три змінні можуть бути корисними як уявлення про лінійні комбінації інших некорельованих змінних. Щоб покращити наше розуміння, ми можемо зобразити їх геометрично, працювати з ними алгебраїчно та надавати статистичні описи, як нам заманеться.

Розглянемо, то, три корельовані з нульовим середнім, одиничною дисперсією змінних , Y , і Z . З них будують наступне:$X$$Y$$Z$

$$U = X,\quad V = (- 7 X + \sqrt{51}Y )/10;\quad W=(\sqrt{3} X + \sqrt{17} Y + \sqrt{55}Z)/\sqrt{75}.$$

Геометричне пояснення

Наступна графіка - про все, що вам потрібно для розуміння взаємозв'язку між цими змінними.

$U$$V$$W$$U+V$$X,Y,Z$$U$$V$$U$$V$$W$$U$$V$$W$, зробивши гострий кут (близько 45 градусів): є несподівано висока позитивна кореляція.

---

Алгебраїчні розрахунки

Для тих, хто хоче більшої жорсткості, ось алгебра для резервного копіювання геометрії у графіці.

$U$$V$$W$

$$\operatorname{Cor}(U, V) = \operatorname{Cov}(U,V) = \mathbb{E}(UV) = \mathbb{E}(\sqrt{51}XY- 7 X^2)/10 = -7/10 = -0.7$$

$X$$Y$

$$\operatorname{Cor}(U,W) = \sqrt{3/75} = 1/5 = 0.2$$

і

$$\operatorname{Cor}(V,W) = (-7\sqrt{3} + \sqrt{15}\sqrt{17})/(10\sqrt{75}) = 1/5 = 0.2.$$

Нарешті,

$$\operatorname{Cor}(U+V,W) = \frac{\operatorname{Cov}(U+V,W)}{\sqrt{\operatorname{Var}(U+V)\operatorname{Var}(W)}} = \frac{1/5 + 1/5}{\sqrt{\operatorname{Var}(U) + \operatorname{Var}(V) + 2\operatorname{Cov}(U,V)}} = \frac{2/5}{\sqrt{1 + 1 - 2(7/10)}} = \frac{2/5}{\sqrt{3/5}}\approx 0.5164.$$

Отже, ці три змінні мають бажані кореляції.

---

Статистичне пояснення

Тепер ми можемо зрозуміти, чому все працює так, як це відбувається:

• $U$$V$$-7/10$$V$$U$$Y$

• $U$$W$$1/5$$W$$U$$Y$$Z$

• $V$$W$$1/5$$W$$\sqrt{75}$

  • $\sqrt{17}Y$$V$
  • $-\sqrt{3}X$$V$
  • $Z$

• $U+V = (3X + \sqrt{51}Y)/10 = \sqrt{3/100}(\sqrt{3}X + \sqrt{17}Y)$$W$$W$$Z$

Ще один простий приклад:

• $z \sim \mathcal{N}(0,1)$
• $x_1 \sim \mathcal{N}(0,1)$
• $x_2 = z - x_1$$z = x_1 + x_2$

Потім:

• $\mathrm{Corr}(z, x_1) = 0$
• $\mathrm{Corr}(z, x_2) \approx .7$
• $\mathrm{Corr}(z, x_1 + x_2) = 1$

Геометрично те, що відбувається, схоже на графіці WHuber. Концептуально це може виглядати приблизно так:

$E[XY]$

$x_1$$z$$\theta$

• $\mathrm{Corr}(z, x_1) = \cos \theta_{zx_1} = 0 \quad \quad \theta_{z,x_1} = \frac{\pi}{2}$
• $\mathrm{Corr}(z, x_2) = \cos \theta_{zx_2} \approx .7 \quad \quad \theta_{z,x_2} = \frac{\pi}{4}$
• $\mathrm{Corr}(z, x_1 + x_2) = \cos \theta_{z,x_1+x_2} = 1 \quad \quad \theta_{z, x_1 + x_2} = 0$

$z$$-x_1$$x_2$$z$$-x_1$$x_1$$x_2$$-x_1$$x_2$

Адресація вашого коментаря:

Незважаючи на математику, я все ще не бачу логіки суми двох змінних, що пояснюють 25 +% дисперсії третьої змінної, коли кожна з цих двох змінних, що входять до суми, прогнозує, але 4% дисперсії цієї третьої змінної . Як 8% поясненої дисперсії може стати 25% поясненою дисперсією лише додаванням двох змінних?

Тут схоже на те, що термінологія "пояснюється дисперсія". Як і багато термінів у статистиці, це було обрано для того, щоб це звучало так, що це означає більше, ніж насправді.

$Y$

$$y = (6, 7, 4, 8, 9, 6, 6, 3, 5, 10)$$

$U$$Y$$R$$R$$Y$

$$r = (-20, -80, 100, 90, 50, 70, 40, 30, 40, 60)$$

$U = R + 0.1Y$

$$u = (-19.4, -79.3, 100.4, 90.8, 50.9, 70.6, 40.6, 30.3, 40.5, 61.0)$$

$V=-R+0.1Y$

$$v = (20.6, 80.7, -99.6, -89.2, -49.1, -69.4, -39.4, -29.7, -39.5, -59.0)$$

$U$$V$$Y$$r$$0.2Y$$Y$

$Y$$U$$U$$R$$V$$R$$Y$$U+V$

$A$$B$$B$$A$