З чого насправді обчислюється формула y ~ x + 0 в R?

Яка статистична відмінність між лінійною регресією в R із formulaвстановленим на y ~ x + 0замість y ~ x? Як я інтерпретую ці два різні результати?

multiple-regression generalized-linear-model intercept

— JimBoy
джерело

Відповіді:

Додавання +0(або -1) до модельної формули (наприклад, в lm()) в R пригнічує перехоплення. Це взагалі вважається поганим ділом; подивитися:

Розрахунковий нахил обчислюється по-різному залежно від того, чи оцінюється також перехоплення, а саме:

\begin{aligned} (with intercept) & {\hat{β}}_{1} & = \frac{\sum x_{i} y_{i} - \frac{(\sum x_{i}) (\sum y_{i})}{N}}{\sum x_{i}^{2} - \frac{(\sum x_{i})^{2}}{N}} \\ (without intercept) & {\hat{β}}_{1} & = \frac{\sum x_{i} y_{i}}{\sum x_{i}^{2}} \end{aligned}

$\begin{align} \hat\beta_1 &= \frac{\sum x_iy_i - \frac{\big(\sum x_i\big)\big(\sum y_i\big)}{N}}{\sum x_i^2 - \frac{\big(\sum x_i\big)^2}{N}} \tag{with intercept} \\[15pt] \hat\beta_1 &= \frac{\sum x_iy_i}{\sum x_i^2} \tag{without intercept} \end{align}$

Оскільки величина, яку потрібно відняти ("підрядник") як у чисельнику, так і в знаменнику, не обов'язково дорівнює , оцінка нахилу є упередженою, коли перехоплення пригнічується. $0$

Значення для також обчислюється по-різному; подивитися: $R^2$

Ось основні формули:

\begin{aligned} (with intercept) & R^{2} & = 1 - \frac{\sum (y_{i} - {\hat{y}}_{i})^{2}}{\sum (y_{i} - \bar{y})^{2}} \\ (without intercept) & R^{2} & = 1 - \frac{\sum (y_{i} - {\hat{y}}_{i})^{2}}{\sum y_{i}^{2}} \end{aligned}

$\begin{align} R^2 &= 1 - \frac{\sum (y_i - \hat y_i)^2}{\sum (y_i - \bar y)^2} \tag{with intercept} \\[15pt] R^2 &= 1 - \frac{\sum (y_i - \hat y_i)^2}{\sum y_i^2} \tag{without intercept} \end{align}$

— gung - Відновити Моніку
джерело

Дякую, Гунг! Якщо я пригнічую перехоплення, раптово покращується мій кілька R-квадрат. Ви можете мені тут допомогти?

— JimBoy

Не існує узгодженого способу обчислення r квадрата без перехоплення. Квадрат r не має своєї звичної інтерпретації. Регресія без перехоплення майже завжди ДУЖЕ погана ідея

— Repmat

@Repmat: див. Також stats.stackexchange.com/questions/171240/…

@JimBoy: див. Stats.stackexchange.com/questions/171240/…

Це залежить від контексту (звичайно), в lm(...)команді на R він придушить перехоплення. Тобто, ви регресуєте, хоча за походженням.

Зауважте, що більшість підручників з теми регресії скажуть вам, що примушувати перехоплення (до будь-якого значення) - погана ідея.

Інтерпретація x не змінюється, але значення (порівняння з перехопленням і без нього) зміниться, іноді дуже суттєво.

— Репмат
джерело

Дякую, Репмат! Я отримую дуже різні оцінки, якщо пригнічую перехоплення порівняно з тим, коли цього не роблю. Крім того, всі t-тести стають дуже важливими. Ви знаєте, чому це?

— JimBoy

Перехоплення поглинає будь-які змінні 0, що не містяться в моделі. З перехопленням перехоплення дисперсія повинна кудись піти. Ось чому більшість книг, як правило, стверджує, що регресія без перехоплення завжди помилкова. Тобто OLS завжди є упередженим та послідовним у цьому випадку (за кількома винятками).

— Репмат