Можливий діапазон

10

Припустимо, це три часові ряди, $X_1$ , $X_2$ і $Y$

Запуск звичайної лінійної регресії на $Y$ ~ $X_1$ ( $Y = b X_1 + b_0 + \epsilon$ ), ми отримуємо $R^2 = U$ . Звичайна лінійна регресія $Y$ ~ $X_2$ дістати $R^2 = V$ . Припустимо $U < V$

Які мінімальні та максимально можливі значення $R^2$ на регресію $Y$ ~ $X_1 + X_2$ ( $Y = b_1 X_1 + b_2 X_2 + b_0 + \epsilon$ )?

Я вважаю мінімумом $R^2$ має бути $V$ + невелике значення, оскільки додавання нових змінних завжди збільшується $R^2$ , але я не знаю, як оцінити це невелике значення, і я не знаю, як отримати максимальний діапазон.

regression multiple-regression r-squared

— Вендетта
джерело

9

1) EDIT: Коментар кардинала нижче показує, що правильна відповідь на хв $R^2$ питання є $V$ . Отже, я видаляю свою "цікаву", але в кінцевому рахунку неправильну відповідь на цю частину посади ОП.

2) Максимум $R^2$ є 1. Розгляньте наступний приклад, який відповідає вашому випадку.

x1 <- rnorm(100)
x2 <- rnorm(100)
y <- x1 + 2*x2

> summary(lm(y~x1))$r.squared
[1] 0.2378023                 # This is U
> summary(lm(y~x2))$r.squared
[1] 0.7917808                 # This is V; U < V
> summary(lm(y~x1+x2))$r.squared
[1] 1

Тут ми фіксуємо дисперсію $\epsilon$ при 0. Якщо хочете $\sigma^2_\epsilon > 0$ , однак, справи дещо змінюються. Ви можете отримати $R^2$ довільно близький до 1, роблячи $\sigma^2_\epsilon$ все менше і менше, але, як і з мінімальною проблемою, ви не можете потрапити туди, тому немає максимуму. 1 стає верхом , оскільки завжди більший, ніж $R^2$ але це також межа як $\sigma^2_\epsilon \to 0$ .

— джебмен
джерело

2

(+1) Деякі коментарі: Це хороша відповідь; цікаво, що ви застосували асимптотичний підхід, тоді як незрозуміло, чи зацікавлена ОП у тому, чи, можливо, фіксований-

n

$n$ один (або обидва). Ця відповідь трохи не відповідає суперечності ОП, що

U < V

$U < V$ , хоча, і якщо

X_{1} = 0

$X_1 = 0$ або

X_{1} = a 1

$X_1 = a \mathbf{1}$ для деяких

a \in R

$a \in \mathbb R$ , наприклад, тоді мінімум

R^{2}

$R^2$ для всіх фіксованих розмірів вибірки є саме

V := V (n)

$V := V(n)$ . (Вибачте патологію цих прикладів.) Крім того, OLS не обов'язково узгоджується з відсутністю додаткових обмежень для прогнозів. :)

— кардинал

@cardinal - перечитуючи, я не можу зрозуміти, чому я застосував такий підхід до проблеми min

V

$V$ тепер здається, що явно правильна відповідь, і, як ви неявно зауважили, я міг би побудувати приклад, який досягає цього в дусі максимуму ... о, ну, може, моє еспресо сьогодні вранці було випадково без кафе. (Можливо, я повинен більш детально переглянути свої відповіді перед публікацією!)

— jbowman

Я не думаю, що вам слід видаляти те, що ви написали, що мені було цікавим підходом до відповіді на питання! Хоча патології, які я згадую, безумовно, допускають мінімум

R^{2}

$R^2$ , можна задатися питанням, що насправді мається на увазі

X_{1} = 0

$X_1 = 0$ . Інший приклад, мабуть, не настільки патологічний, оскільки в загальній версії цієї проблеми він поширюється на той випадок, коли є додаткові

X_{i}

$X_i$ знаходиться в просторі стовпців інших прогнокторів. :)

— кардинал

1

@cardinal - дякую! Я реконструюю його, можливо, трохи формальніше, і через деякий час поверну його внизу.

— jbowman

5

Дозволяє $r_{1,2}$ дорівнює співвідношенню між $X_1$ і $X_2$ , $r_{1,Y}$ дорівнює співвідношенню між $X_1$ і $Y$ , і $r_{2,Y}$ співвідношення між $X_2$ і $Y$ . Тоді $R^2$ для повної моделі, поділеної на $V$ дорівнює

(\frac{1}{(1 - r_{1, 2}^{2})}) (1 - \frac{2 \cdot r_{1, 2} \cdot r_{1, Y}}{r_{2, Y}} + \frac{U}{V}) .

$\left(\frac{1}{(1 - r_{1,2}^2)}\right) \left(1 - \frac{2 \cdot r_{1,2} \cdot r_{1,Y}}{r_{2,Y}} + \frac{U}{V}\right).$

Тому $R^2$ для повної моделі дорівнює $V$ тільки якщо $r_{1,2} = 0$ і $r_{1,Y}^2 = U = 0$ або

r_{1, 2}^{2} = \frac{2 \cdot r_{1, 2} \cdot r_{1, Y}}{r_{2, Y}} - \frac{U}{V} .

$r_{1,2}^2 = \frac{2\cdot r_{1,2} \cdot r_{1,Y}}{r_{2,Y}} - \frac{U}{V}.$

Якщо $r_{1,2} = 0$ , $R^2$ для повної моделі дорівнює $U + V$ .

— Марго
джерело

(+1) Симпатично. Ласкаво просимо на сайт. Подумайте про реєстрацію свого акаунта, щоб ви могли брати участь більш повно Пізніше мені доведеться детальніше розглянути цей вираз. :)

— кардинал

4

Без обмежень $U$ і $V$ , то мінімум - $V$ , і тоді максимум менший $\min(V + U, 1)$ . Це тому, що дві змінні можуть бути ідеально співвіднесені (у цьому випадку додавання другої змінної не змінює значення $R^2$ взагалі) або вони можуть бути ортогональними, у тому випадку, включаючи обидва результати в $U + V$ . У коментарях було справедливо зазначено, що це також вимагає, щоб кожен був ортогональним $\mathbf{1}$ , вектор стовпців 1s.

Ви додали обмеження $U < V \implies X_{1} \neq X_{2}$ . Однак все-таки можливо $U = 0$ . Це є, $X_{1} \perp Y$ , У якому випадку, $\min = \max = V + 0$ . Нарешті, можливо, що $X_{1} \perp X_{2}$ тому верхня межа нерухома $\min(V + U, 1)$ .

Якби ви знали більше про стосунки між $X_{1}$ і $X_{2}$ , Я думаю, ви могли б сказати більше.

— Джошуа
джерело

1

(+1) Але зауважте, що це не зовсім (правда)

X_{1}

$X_1$ і

X_{2}

$X_2$ є ортогональними, то їх індивідуальними

R^{2}

$R^2$ Значення будуть підсумовуватись, включаючи обидва в модель. Нам також потрібно, щоб вони були ортогональними для вектора всіх

1

$\mathbf 1$ . Зверніть увагу, що ви можете використовувати

L A T E X

$\LaTeX$ на цьому сайті для розмітки математики. :)

— кардинал

Це правда. Дуже дякую за коментарі та за те, що наголосили на цьому

L A T E X

$\LaTeX$ може бути використано. Я думав, що це можливо, але я спробував втекти з стилю математика (і [для вбудованих / рівнянь. Писання так, як я б в TeX працював як шарм :)

— Джошуа