Лінійна регресія, умовні очікування та очікувані значення

Гаразд, просто трохи туманно щодо кількох речей, будь-яка допомога буде дуже вдячна. Наскільки я розумію, модель лінійної регресії прогнозується за допомогою умовного очікування

Е (Y | Х) = б + Х б + е

$E(Y|X)=b+Xb+e$

Чи вважаємо ми, що і і - випадкові величини з деяким невідомим розподілом ймовірностей? я розумів, що лише залишки та оцінені бета-коефіцієнти - випадкові величини. якщо так, як приклад, якщо ожиріння і вік, якщо ми візьмемо умовне очікування значення, яке очікуване значення ожиріння, якщо індивід у вибірці, просто візьміть середнє значення (середнє арифметичне) y для тих спостережень, де ? але чи не очікуване значення означає, що ми повинні помножити це на ймовірність виникнення? але як у цьому сенсі ми знаходимо ймовірність $X$ $Y$ $Y =$ $X =$ $E(Y|X=35)$ $35$ $X=35$ $X$ -значна змінна, що виникає, якщо вона представляє щось на зразок віку?
Якби представляв щось на зразок обмінного курсу, чи було б це класифіковано як випадкове? як на землі ви знайдете очікувану цінність цього, не знаючи ймовірності? або було б очікуване значення просто рівне середнього значення в ліміті. $X$
Якщо ми не припускаємо, що залежні змінні самі є випадковими змінними, оскільки ми не перекриваємо ймовірність, що ми вважаємо, що вони є? просто фіксовані значення чи щось? але якщо це так, то як ми можемо умовити неслучайну змінну для початку? що ми припускаємо про розподіл незалежних змінних?

Вибачте, якщо щось не має сенсу або очевидно для когось.

regression

— Вільям Каруллі
джерело

Коефіцієнт регресії

- невідома константа, а не випадкова величина (принаймні, у частістському світі).

β

$\beta$

— Річард Харді

що ви маєте на увазі під умовними очікуваннями? E (Y | X) просто означає Y, заданий X, тобто очікуване значення Y при X. Скажімо, y = 5 + x, тоді ви E (Y | X = 5) дорівнює 10. Я не зрозумів вашу точку з умовне очікування

— Замір Акімбеков

@ RichardHardy, я зрозумів, що оскільки B - це середнє значення вибіркового розподілу бета-версії, то це випадкова величина, яка характеризується нормальним розподілом. ви посилаєтесь на модель населення?

— Вільям Каруллі

Так, популяційна модель.

— Річард Харді

@WilliamCarulli Річард посилається на різницю між параметром популяції та оціночним параметром. Розрахунковий параметр справді є випадковою змінною, але (невідомий) істинний параметр сукупності є фіксованим значенням.

— Меттью Друрі

Відповіді:

У моделі ймовірностей, що лежать в основі лінійної регресії, X і Y - випадкові величини.

якщо так, як приклад, якщо Y = ожиріння і X = вік, якщо ми візьмемо умовне очікування E (Y | X = 35), яке значення, яке очікуване значення ожиріння, якщо індивід 35 у вибірці, просто візьміть середнє значення (середнє арифметичне) y для тих спостережень, де X = 35?

Це вірно. Загалом, ви не можете очікувати, що у вас буде достатньо даних при кожному конкретному значенні X, або це може бути неможливо, якщо X може приймати безперервний діапазон значень. Але концептуально це правильно.

але чи не очікуване значення означає, що ми повинні помножити це на ймовірність виникнення?

Це різниця між безумовним очікуванням і умовним очікуванням . Відносини між ними є $E[Y]$ $E[Y \mid X = x]$

E [Y] = \sum_{x} E [Y ∣ X = x] P r [X = x]

$E[Y] = \sum_x E[Y \mid X = x] Pr[X = x]$

що є законом повного очікування.

але як у цьому сенсі ми можемо знайти ймовірність виникнення змінної значення X, якщо вона представляє щось на зразок віку?

Як правило, ви не в лінійній регресії. Оскільки ми намагаємося визначити , нам не потрібно знати . $E[Y \mid X]$ $Pr[X = x]$

Якщо ми не припускаємо, що незалежні змінні самі є випадковими змінними, оскільки ми не перекриваємо ймовірність, що ми вважаємо, що вони є? просто фіксовані значення чи щось?

Ми ж вважаємо , що Y є випадковою величиною. Один із способів думати про лінійну регресію - це модель ймовірності для $Y$

Y \sim X β + N (0, σ)

$Y \sim X \beta + N(0, \sigma)$

Що говорить, що, як тільки ви знаєте значення X, випадкова зміна Y обмежується сумою . $N(0, \sigma)$

— Метью Друрі
джерело

Дуже дякую за ваш коментар, дуже допомогли мені. ура.

— Вільям Каруллі

@WilliamCarulli Ласкаво просимо! Не соромтеся задавати будь-які подальші запитання, і я зроблю все можливе, щоб відповісти. Якщо я дійсно очистив усі ваші проблеми, ви також можете їх прийняти.

— Метью Друрі

Це прекрасний пост. Однак я думаю, що будь-яка відповідь, яка не визнає, що

(a) може бути фіксованою, або (b) може бути випадковою змінною (з особливими припущеннями щодо незалежності), насправді не вирішує проблеми, висловлені у питанні.

X

$X$

— whuber

@MatthewDrury, Просто для уточнення, якщо моєю залежною змінною є скажімо обмінний курс, а моєю залежною є внутрішня процентна ставка, то

— Вільям Каруллі

@ MatthewDrury @ MatthewDrury, Просто для уточнення, якщо моєю залежною змінною є скажімо валютний курс, а моя залежна - внутрішня процентна ставка, то E (E (обмінний курс | процентна ставка)) = E (обмінний курс) = середня вибірка обмінного курсу? Я думаю, що мене бентежить, що я завжди припускаю, що очікування розраховуються виходячи з ймовірностей, я не бачу причини позначення лінійної регресії як умовного очікування, коли рішення її за допомогою матричної алгебри здається набагато іншим, ніж прийняття загального очікування.

— Вільям Каруллі

На це питання буде багато відповідей, але я все одно хочу додати його, оскільки ви зробили кілька цікавих моментів. Для простоти я розглядаю лише просту лінійну модель.

   It is my understanding that the linear regression model
   is predicted via a conditional expectation E(Y|X)=b+Xb+e

Фундаментальним рівнянням простого лінійного регресійного аналізу є:

Е (Y | Х) = β_{0} + β_{1} Х,

$\mathbb E(Y\,|\,X) = \beta_0 +\beta_1X,$

Y

$Y$

X

$X$

β_{0}

$\beta_0$

β_{1}

$\beta_1$

Y = β_{0} + β_{1} Х + ϵ,

$Y = \beta_0+\beta_1X+\epsilon,$

ϵ

$\epsilon$

E (ϵ) = 0

$\mathbb E(\epsilon) = 0$

Do we assume that both X and Y are Random variables with some unknown 
probability distribution? ... If we don't assume the independent variables 
are themselves random

$X$ $Y$

$\{X_1,...,X_n\}$ $X$

$\beta_0$ $\beta_1$ $X$ $X$

if we take the conditional expectation E(Y|X=35) ... would we just take 
the average(arithmetic mean) of y for those observations where X=35?

У простої лінійної моделі можна побудувати оцінку з на основі оцінок і $\hat\varphi(x)$ $\mathbb E(Y|X = x)$ $\hat \beta_0$ $\hat \beta_1$

\hat{φ} (х) = {\hat{β}}_{0} + {\hat{β}}_{1} х

$\hat\varphi(x) = \hat\beta_0+\hat\beta_1x$
Умовно-середній оцінювач найменшого квадрата має вираз, рівний тому, який ви описали, якщо ваша модель розглядає різні ваги як рівні одного коефіцієнта. Ці моделі також відомі як одностороння ANOVA, що є окремим випадком (не простої) лінійної моделі.

— Mur1lo
джерело

Деякі зауваження в цій публікації незвичайні і можуть бути неправильно зрозумілими. По- перше, модель називається «лінійної» , тому що він є лінійним по параметрам , а не в

. По- друге, оцінки

X

$X$

{\hat{β}}_{0}

$\hat\beta_0$

{\hat{β}}_{1}

$\hat\beta_1$

X

$X$

@whuber "По-перше, модель називається" лінійною ", тому що вона лінійна в параметрах" Я пояснював значення рівняння, а не значення "лінійного" в "лінійній моделі". "оцінки β̂ 0 та β̂ 1 є випадковими змінними, незалежно від того, що передбачається щодо X", але розподіл цих випадкових змінних змінюється залежно від способу лікування X.

— Mur1lo

@whuber Я повністю згоден з вашими останніми пунктами. Я збираюсь відредагувати свою відповідь, щоб вона була зрозумілішою у всіх питаннях, на які ви вказували. Дякуємо за відгук.

— Mur1lo