Чому GLM відрізняється, ніж LM з перетвореною змінною

16

Як пояснено у цьому розкладі курсу (стор. 1) , лінійну модель можна записати у вигляді:

y = β_{1} x_{1} + \dots + β_{p} x_{p} + ε_{i},

$y = \beta_1 x_{1} + \cdots + \beta_p x_{p} + \varepsilon_i,$

де - змінна відповіді, а - пояснювальна змінна . $y$ $x_{i}$ $i^{th}$

Часто з метою задоволення тестових припущень можна перетворити змінну відповіді. Наприклад, ми застосовуємо функцію журналу до кожного . Трансформація змінної відповіді НЕ відповідає рівню GLM. $y_i$

GLM може бути записаний у такій формі (з роздачі курсу знову (стор. 3) )

g (u) = β_{1} x_{1} + \dots + β_{p} x_{p} + ε_{i},

$g(u) = \beta_1 x_{1} + \cdots + \beta_p x_{p} + \varepsilon_i,$

де - просто інший символ для як я розумію зі сторінки 2 в роздавальному курсі. називається функцією зв'язку. $u$ $y$ $g()$

Я не дуже розумію різницю між GLM та LM з перетвореною змінною від слайдів курсу. Чи можете ви мені в цьому допомогти?

— Remi.b
джерело

2

Вам може бути ілюмінаційним врахувати той факт, що всі перетворення двійкового результату є афінними, що тим самим обмежило б вас звичайною найменшою регресією квадратів. Очевидно, це не те, що досягає логістична регресія (стандартний GLM для бінарних відповідей). (Доведення: нехай значення результатів кодуються як

і

- будь-яке перетворення. Запис

і

ми знаходимо

узгоджується на

y_{0}

$y_0$

y_{1}

$y_1$

ϕ

$\phi$

z_{0} = ϕ (y_{0})

$z_0=\phi(y_0)$

z_{1} = ϕ (y_{1})

$z_1=\phi(y_1)$

ϕ

$\phi$

при

(що є афінним перетворенням

), де

і

)

{y_{0}, y_{1}}

$\{y_0,y_1\}$

y \to λ y + μ

$y\to \lambda y + \mu$

y

$y$

λ = (z_{1} - z_{0}) / (y_{1} - y_{0})

$\lambda=(z_1-z_0)/(y_1-y_0)$

μ = z_{0} - λ y_{0}

$\mu=z_0-\lambda y_0$

— whuber

15

Трансформація відповіді перед лінійною регресією робиться так:

E (g (Y)) \sim β_{0} + β_{1} x_{1} + \dots + β_{p} x_{p}

$E(g(Y)) \sim \beta_0 + \beta_1x_1 + \ldots + \beta_px_p$

де - задана функція, і ми припускаємо, що має заданий розподіл (як правило, нормальний). $g$ $g(Y)$

Узагальнена лінійна модель робить це:

g (E (Y)) \sim β_{0} + β_{1} x_{1} + \dots + β_{p} x_{p}

$g(E(Y)) \sim \beta_0 + \beta_1x_1 + \ldots + \beta_px_p$

де такий самий, як і раніше, і вважаємо, що має заданий розподіл (як правило, не нормально). $g$ $Y$

— Hong Ooi
джерело

що є E у вашому рівнянні?

— користувач1406647

1

є стандартним позначенням для середнього значення

.

E (X)

$E(X)$

X

$X$

— Marcus PS

Я також вважаю це корисним: christoph-scherber.de/content/PDF%20Files/…

— Aditya

22

Я не впевнений, чи це стане для вас повною відповіддю, але це може допомогти звільнити концептуальну заваду.

Здається, у вашому обліковому записі є дві помилки:

Майте на увазі, що звичайні найменші квадрати (OLS - «лінійні») регресії є особливим випадком узагальненої лінійної моделі. Таким чином, коли ви говорите "[t] реформування змінної відповіді НЕ прирівнюється до виконання GLM", це неправильно. Встановлення лінійної моделі або перетворення змінної реакції, а потім підключення лінійної моделі є обома "робити GLM".
У стандартній постановці ГЛМ те, що ви називаєте " " (яке часто представлено , але це лише питання переваги), є середнім розподілом умовного відгуку у конкретному місці в коваріатному просторі (тобто ). Таким чином, коли ви говорите "де - просто інший символ для ", це також неправильно. У формулюванні OLS - випадкова величина і / або - реалізоване значення для одиниці спостереження / дослідження . Тобто, (більш загально) представляє дані , а не параметр . $u$ $\mu$ $X$ $u$ $y$ $Y$ $y_i$ $Y$ $i$ $y$

(Я не маю на увазі помилок, я просто підозрюю, що це може спричинити вашу плутанину.)
Є ще один аспект узагальненої лінійної моделі, який я не бачу, щоб ви згадували. Тобто ми визначаємо розподіл відповідей. У випадку регресії OLS розподіл відповіді - гауссова (нормальна), а функція зв'язку - функція ідентичності. У випадку, скажімо, логістичної регресії (яка може бути те, про що люди спочатку думають, коли думають про ГЛМ), розподіл відповідей - це Бернуллі (/ біноміал), а функцією зв'язку є логіт. Використовуючи перетворення для забезпечення припущень для OLS, ми часто намагаємось зробити розподіл умовного відгуку прийнятним нормальним. Однак жодне таке перетворення не зробить розподіл Бернуллі прийнятним нормальним.

— gung - Відновити Моніку
джерело