Проблема з доведенням умовного очікування як найкращого прогноктора

19

У мене є проблема з доказом

$E(Y|X) \in \arg \min_{g(X)} E\Big[\big(Y - g(X)\big)^2\Big]$

які дуже ймовірно виявляють глибше нерозуміння очікувань та умовних очікувань.

Я знаю, що я знаю, такий доказ (іншу версію цього доказу можна знайти тут )

\begin{aligned} \arg min_{g (X)} E [(Y - g (x))^{2}] \\ = & \arg min_{g (X)} E [(Y - E (Y | X) + E (Y | X) - g (X))^{2}] \\ = & \arg min_{g (x)} E [(Y - E (Y | X))^{2} + 2 (Y - E (Y | X)) (E (Y | X) - g (X)) + (E (Y | X) - g (X))^{2}] \\ = & \arg min_{g (x)} E [2 (Y - E (Y | X)) (E (Y | X) - g (X)) + (E (Y | X) - g (X))^{2}] \end{aligned}

$\begin{align*} &\arg \min_{g(X)} E\Big[\big(Y - g(x)\big)^2\Big]\\ = &\arg \min_{g(X)} E \Big[ \big(Y - E(Y|X) + E(Y|X) - g(X)\big)^2\Big]\\ =&\arg \min_{g(x)} E \Big[ \big(Y - E(Y|X)\big)^2 + 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]\\ =&\arg \min_{g(x)} E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]\\ \end{align*}$

Потім доказ зазвичай продовжується аргументом, який показує, що $2 E\Big[ \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big)\Big] = 0$ , а отже

\begin{aligned} \arg min_{g (x)} E [(Y - g (x))^{2}] = \arg min_{g (x)} E [(E (Y | X) - g (X))^{2}] \end{aligned}

$\begin{align*} \arg \min_{g(x)} E\Big[\big(Y - g(x)\big)^2\Big] = \arg \min_{g(x)} E \Big[\big(E(Y|X) - g(X)\big)^2\Big] \end{align*}$

який може бути зведений до мінімуму, коли $g(X) = E(Y|X)$ .

Мої загадки про доказ такі:

Розглянемо

$E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]$ .

Мені здається, що незалежно від будь-якого аргументу, що показує, що перший додаток завжди дорівнює нулю, можна побачити, що встановлення $g(X) = E(Y|X)$ мінімізує вираз, оскільки це означає $\big(E(Y|X) - g(X)\big) =0$ і звідси

$E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big] = E( 0 + 0)$ = 0.

Але якщо це правда, то можна повторити доказ, замінюючи будь-якою іншою функцією , скажімо, , і дійти висновку, що вираз мінімізує вираз. Тож має бути щось, що я неправильно розумію (правда?). $E(Y|X)$ $X$ $h(X)$ $h(X)$

У мене є певні сумніви щодо значення у постановці проблеми. Як слід тлумачити позначення? Чи означає це? $E[(Y−g(X))^2]$

$E_X[(Y−g(X))^2]$ , або ? $E_Y[(Y−g(X))^2]$ $E_{XY}[(Y−g(X))^2]$

— Мартін Ван дер Лінден
джерело

11

(Це адаптація Granger & Newbold (1986) "Прогнозування економічних часових рядів").

За побудовою функція вашої вартості помилок - . Це включає критичне припущення (що функція вартості помилок симетрична навколо нуля) - інша функція вартості помилок не обов'язково мала б умовне очікуване значення як її очікуваного значення. Ви не можете мінімізувати функцію вартості помилок, оскільки вона містить невідомі величини. Тому ви вирішили мінімізувати її очікувану цінність. Тоді ваша цільова функція стає $\left[Y-g(X)\right]^2$ $\arg \min$

E {[Y - g (X)]}^{2} = \int_{- \infty}^{\infty} {[y - g (X)]}^{2} f_{Y | X} (y | x) d y

$E\left[Y-g(X)\right]^2 = \int_{-\infty}^{\infty}\left[y-g(X)\right]^2f_{Y|X}(y|x)dy$

який я вважаю, відповідає і на ваше друге запитання. Це інтуїтивно , що очікуване значення матиме зумовлюють , так як ми намагаємося оцінити / прогноз на основі . Розкладіть квадрат, щоб отримати $Y$ $X$ $Y$ $X$

E {[Y - g (X)]}^{2} = \int_{- \infty}^{\infty} y^{2} f_{Y | X} (y | x) d y - 2 g (X) \int_{- \infty}^{\infty} y f_{Y | X} (y | x) d y + [g (X)]^{2} \int_{- \infty}^{\infty} f_{Y | X} (y | x) d y

$E\left[Y-g(X)\right]^2 = \int_{-\infty}^{\infty}y^2f_{Y|X}(y|x)dy -2g(X)\int_{-\infty}^{\infty}yf_{Y|X}(y|x)dy \\+ \Big[g(X)\Big]^2\int_{-\infty}^{\infty}f_{Y|X}(y|x)dy$

Перший термін не містить тому він не впливає на мінімізацію, і його можна ігнорувати. Інтеграл у другому члені дорівнює умовному очікуваному значенню заданому , а інтеграл в останньому члені дорівнює одиниці. Так $g(X)$ $Y$ $X$

\arg min_{g (x)} E {[Y - g (X)]}^{2} = \arg min_{g (x)} {- 2 g (X) E (Y ∣ X) + [g (X)]^{2}}

$\arg \min_{g(x)} E\left[Y-g(X)\right]^2 = \arg \min_{g(x)} \Big\{ -2g(X)E(Y\mid X) + \Big[g(X)\Big]^2 \Big\}$

Перша похідна wrt - призводить до умови першого порядку мінімізації тоді як друга похідна дорівнює що достатньо для мінімуму. $g(X)$ $-2E(Y\mid X) + 2g(X)$ $g(X) = E(Y\mid X)$ $2>0$

ДОБАВЛЕННЯ: Логіка підходу "додавання і віднімання" доведення.

ОП спантеличено підходом, викладеним у питанні, оскільки він здається тавтологічним. Це не так, оскільки, використовуючи тактику додавання і віднімання, робить конкретну частину об'єктивної функції нульовою для довільного вибору доданого і відніманого терміна, він НЕ зрівняє значення функції , а саме значення цілі функція оцінюється у кандидата-мінімізатора.

Для вибору маємо функцію значення Для довільного вибору маємо значення функції . $g(X) = E(Y \mid X)$ $V\left(E(Y\mid X)\right) = E\Big[ (Y-E(Y \mid X))^2\mid X\Big]$ $g(X) = h(X)$ $V\left(h(X)\right) = E\Big[ (Y-h(X))^2\mid X\Big]$

Я це стверджую

V (E (Y ∣ X)) \leq V (h (X))

$V\left(E(Y\mid X)\right) \le V\left(h(X)\right)$

\Rightarrow E (Y^{2} ∣ X) - 2 E [(Y E (Y ∣ X)) ∣ X] + E [(E (Y ∣ X))^{2} ∣ X] \leq E (Y^{2} ∣ X) - 2 E [(Y h (X)) ∣ X] + E [(h (X))^{2} ∣ X]

$\Rightarrow E(Y^2\mid X) -2E\Big [(YE(Y \mid X))\mid X\Big] + E\Big [(E(Y \mid X))^2\mid X\Big] \\\le E(Y^2\mid X) -2E\Big [(Yh(X))\mid X\Big] + E\Big [(h(X))^2\mid X\Big]$

Перший термін LHS та RHS скасовуються. Також зверніть увагу , що зовнішнє очікування умовно на . За властивостями умовних очікувань ми закінчуємо $X$

. . . \Rightarrow - 2 E (Y ∣ X) \cdot E (Y ∣ X) + [E (Y ∣ X)]^{2} \leq - 2 E (Y ∣ X) h (X) + [h (X)]^{2}

$...\Rightarrow -2E(Y \mid X)\cdot E\Big (Y\mid X\Big) + \Big [E(Y \mid X)\Big]^2 \le -2E(Y\mid X)h(X) + \Big [h(X)\Big]^2$

\Rightarrow 0 \leq [E (Y ∣ X)]^{2} - 2 E (Y ∣ X) h (X) + [h (X)]^{2}

$\Rightarrow 0 \le \Big [E(Y \mid X)\Big]^2-2E(Y\mid X)h(X) + \Big [h(X)\Big]^2$

\Rightarrow 0 \leq [E (Y ∣ X) - h (x)]^{2}

$\Rightarrow 0 \le \Big [E(Y \mid X) - h(x)\Big]^2$ яка дотримується суворої нерівності, якщо . Отже - це глобальний і унікальний мінімізатор.

h (x) \neq E (Y ∣ X)

$h(x) \neq E(Y \mid X)$

E (Y ∣ X)

$E(Y \mid X)$

Але це також говорить про те, що підхід "додавання і віднімання" не є найбільш яскравим способом доказування.

— Алекос Пападопулос
джерело

Дякую за відповідь Це допомагає з’ясувати моє друге питання. Як я намагався передати в заголовку питання, моє основне питання (перше в дописі) було більше про механізм доказування. Моє основне занепокоєння - це моє розуміння доказів, які я представив у питанні. Як я пояснив, моє розуміння доказу призводить мене до очевидно проблематичного твердження. Тож я хотів би зрозуміти, чи була моя помилка, оскільки це може виявити глибші непорозуміння щодо понять очікування та умовного очікування. Будь-які думки з цього приводу?

— Мартін Ван дер Лінден

1

Я додав пояснення щодо підходу "додавання і віднімання" до доказування.

— Алекос Пападопулос

Знадобилося трохи часу, щоб зрозуміти це, але я нарешті отримав свою основну помилку: досить правда коли , але аж ніяк не випливає, що мінімізує вираз . Немає причини, за якою виразний текст не міг бути меншим за нуль. Через знак мінус перед можна було знайти деякий такий, що .

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}] = 0

$E \Big[ - 2 \big(Y - h(X) \big) \big(h(X) - g(X)\big) + \big(h(X) - g(X)\big)^2\Big] = 0$

g (X) = h (X)

$g(X) = h(X)$

h (X)

$h(X)$

(Y - h (X)) (h (X) - g (X))

$\big(Y - h(X) \big) \big(h(X) - g(X)\big)$

g (X)

$g(X)$

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}] < 0

$E \Big[ - 2 \big(Y - h(X) \big) \big(h(X) - g(X)\big) + \big(h(X) - g(X)\big)^2\Big] < 0$

— Мартін Ван дер Лінден

1

Гммм ... знак мінус у виразі, на який ви посилаєтесь, є помилкою - це повинен бути знак плюс. Можна, звичайно, потім переставити умови, щоб знову отримати знак мінус ... чи це зашкодить інтуїції, яку ви здобули?

— Алекос Пападопулос

Дякуємо, що не відставали від питання. Я відредагував початкове повідомлення, щоб виправити цю помилку. На щастя, я думаю, це не зашкодить набутій інтуїції. Насправді це допомагає мені зрозуміти ще одну помилку: я припускав, що знак мінус важливий, щоб гарантувати, що не обов'язково є мінімальним . Але я усвідомлюю, що мова йде не лише про знак перед 2. (сподіваюся), що мені справді потрібно було зрозуміти, що це взагалі (тобто для довільних ) не потрібно мінімізувати, коли (так?)

0

$0$

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}]

$E[−2(Y−h(X))(h(X)−g(X))+(h(X)−g(X))^2]$

h (X)

$h(X)$

E [2 (Y - h (X)) (h (X) - g (X))]

$E[2(Y−h(X))(h(X)−g(X))]$

g (X) = h (X)

$g(X)=h(X)$

— Мартін Ван дер Лінден

5

Зауважте, що для підтвердження відповіді вам потрібно лише це показати

E [- 2 (Y - E (Y | X)) (E (Y | X) - g (X))] = 0

$E \Big[ -2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) \Big] = 0$

Що стосується того, яке очікування приймати, то сприймаєте це умовно, інакше термін

\arg min_{g (X)} E [(Y - g (X))^{2}]

$\arg \min_{g(X)} E\Big[\big(Y - g(X)\big)^2\Big]$

Не має сенсу, оскільки - випадкова величина, якщо - а не . Покажіть, що ви дійсно повинні писати або щоб це було зрозуміло. Тепер, з огляду на це уточнення, термін є постійною, і його можна вивести за межі очікування, і у вас є: $g(X)$ $E$ $E_{XY}$ $E_{Y|X}$ $E\Big[\big(Y - g(X)\big)^2|X\Big]$ $E_{Y|X}\Big[\big(Y - g(X)\big)^2\Big]$ $\big(E(Y|X) - g(X)\big)$

- 2 (E (Y | X) - g (X)) E [(Y - E (Y | X)) | X] = - 2 (E (Y | X) - g (X)) [E (Y | X) - E [E (Y | X) | X]] = - 2 (E (Y | X) - g (X)) [E (Y | X) - E (Y | X)] = 0

Отже, ви можете записати цільову функцію як:

E_{Y | X} [(Y - g (X))^{2}] = E_{Y | X} [(Y - E_{Y | X} (Y | X))^{2}] + (E_{Y | X} (Y | X) - g (X))^{2}

$E_{Y|X}\Big[\big(Y - g(X)\big)^2\Big]=E_{Y|X}\Big[\big(Y - E_{Y|X}(Y|X)\big)^2\Big]+\big(E_{Y|X}(Y|X) - g(X)\big)^2$

Звідси очевидний мінімізатор. Зауважте, що якщо ви були в середньому і за , то для показу можна використовувати дуже подібний аргумент: $X$

E_{X} [(E (Y | X) - g (X))^{2}] = E_{X} [(E_{Y | X} (Y | X) - E_{X} [E_{Y | X} (Y | X)])^{2}] + (E_{X} [E_{Y | X} (Y | X)] - E_{X} [g (X)])^{2}

$E_{X}\Big[\big(E(Y|X) - g(X)\big)^2\Big]=E_{X}\Big[\big(E_{Y|X}(Y|X) - E_X\big[E_{Y|X}(Y|X)\big]\big)^2\Big]+\Big(E_{X}\big[E_{Y|X}(Y|X)\big] - E_X\big[g(X)\big]\Big)^2$

Це показує, що якщо встановити для кожного , то ви також маєте мінімізатор над цією функцією. Так що в якомусь - то сенсі це дійсно не має значення чи є або . $g(X)=E_{Y|X}(Y|X)$ $X$ $E$ $E_{YX}$ $E_{Y|X}$

— ймовірністьіслогічна
джерело

3

Існує математична точка зору, яка дуже проста. У вас є проблема проекції в просторі Гільберта, подібно проектуванню вектора в на підпростір. $\mathbb{R}^n$

Нехай позначає нижній простір ймовірностей. Щоб проблема мала сенс, розглянемо випадкові величини з кінцевими секундами, тобто простір Гільберта . Тепер проблема полягає в наступному: задавши , знайдіть проекцію на підпростір , де є -подалгебра , породжений . (Як і у випадку з кінцевими розмірами, мінімізація відстані до підпростору означає пошук проекції). Потрібна проекція $(\Omega, \mathcal{F}, \mu)$ $L^2(\Omega, \mathcal{F}, \mu)$ $X, Y \in L^2(\Omega, \mathcal{F}, \mu)$ $Y$ $L^2(\Omega, \mathcal{F}_X, \mu)$ $\mathcal{F}_X$ $\sigma$ $\mathcal{F}$ $X$ $L^2$ $E(X|Y)$ , за побудовою. (Це фактично характеризує , якщо перевіряти доказ існування). $E(X|Y)$

— Майкл
джерело

Це прекрасна відповідь.

— jII

0

Щодо останнього запитання, очікування може бути або wrt (безумовна помилка), або wrt (умовна помилка при кожному значенні ). На щастя, мінімізація умовної помилки при кожному значенні також мінімізує безумовну помилку, тому це не є вирішальним відмінністю. $p(x,y)$ $p(y\mid x)$ $X = x$ $X = x$

— Ulisses Braga-Neto
джерело