Яка різниця між "функцією зв'язку" та "канонічною функцією зв'язку" для GLM

65

Яка різниця між термінами "функція зв'язку" та "канонічна функція зв'язку"? Також, чи є якісь (теоретичні) переваги використання одного над іншим?

Наприклад, бірна змінна відповідь може бути змодельована за допомогою багатьох функцій зв'язку, таких як logit , probit тощо. Але logit тут вважається "канонічною" функцією зв'язку.

logistic generalized-linear-model link-function

— стійкі риби
джерело

10

Тут широко обговорюються функції посилань: різниця між моделями logit та probit , зосереджуючись на регресії для бінарної змінної відповіді. Хоча лише невелика частина цієї дискусії присвячена значенню того, що функція зв'язку є "канонічною", вона, тим не менш, може бути корисною для читання. Зауважимо, що для розуміння відмінності b / t & переваг функції канонічного від неканонічного зв'язку потрібно заглиблюватися в математику, що лежить в основі GLiM.

— gung - Відновіть Моніку

68

Наведені вище відповіді більш інтуїтивні, тому я стараюсь більш жорстко.

Що таке GLM?

Нехай позначає набір відповіді і -вимірний коваріатний вектор з очікуваним значенням . Для незалежних спостережень, розподіл кожного - експоненціальна сім'я з щільністю $Y=(y,\mathbf{x})$ $y$ $p$ $\mathbf{x}=(x_1,\dots,x_p)$ $E(y)=\mu$ $i=1,\dots,n$ $y_i$ Тут параметр інтересу (природний або канонічний параметр) - , - a параметр масштабу (відомий або сприймається як неприємність) і і - відомі функції. У - мірні вектори фіксованих значень вхідних для

f (у_{i}; θ_{i}, ϕ) = досвід {[у_{i} θ_{i} - γ (θ_{i})] / ϕ + τ (у_{i}, ϕ)}

$f(y_i;\theta_i,\phi)=\exp\{[y_i\theta_i-\gamma(\theta_i)]/\phi+\tau(y_i,\phi)\}$

θ_{i}

$\theta_i$

ϕ

$\phi$

γ

$\gamma$

τ

$\tau$

n

$n$

p

$p$ пояснювальні змінні позначаються

. Ми припускаємо, що вхідні вектори впливають (1) лише через лінійну функцію, лінійний предиктор,

від якої залежить

. Як можна показати, що

x_{1}, \dots, x_{p}

$\mathbf{x}_1,\dots,\mathbf{x}_p$

η_{i} = β_{0} + β_{1} х_{i 1} + \dots + β_{p} х_{i p}

$\eta_i=\beta_0+\beta_1x_{i1}+\dots+\beta_px_{ip}$

θ_{i}

$\theta_i$

θ = (γ^{'})^{- 1} (μ)

$\theta=(\gamma')^{-1}(\mu)$ ця залежність встановлюється з'єднанням лінійного предиктора

та

через середнє. Більш конкретно, середнє

розглядається як зворотна і плавна функція лінійного предиктора, тобто

Тепер, щоб відповісти на ваше запитання:

η

$\eta$

θ

$\theta$

μ

$\mu$

г (мк) = η або мк = г^{- 1} (η)

$g(\mu)=\eta\ \textrm{or}\ \mu=g^{-1}(\eta)$

Функція називається функцією зв'язку. Якщо функція з'єднує , і так, що , то ця ланка називається канонічною і має вигляд . $g(\cdot)$ $\mu$ $\eta$ $\theta$ $\eta \equiv\theta$ $g=(\gamma')^{-1}$

Це воно. Тоді є ряд бажаних статистичних властивостей використання канонічної посилання, наприклад, достатньою статистикою є з компонентами для , методом Ньютона та оцінкою Фішера для знаходження Оцінювач ML збігається, ці посилання спрощують виведення MLE, вони гарантують, що деякі властивості лінійної регресії (наприклад, сума залишків дорівнює 0) зберігаються або вони забезпечують, що залишається в межах змінної результату. $X'y$ $\sum_i x_{ij} y_i$ $j = 1, \dots, p$ $\mu$

Отже, вони, як правило, використовуються за замовчуванням. Однак зауважте, що немає апріорної причини, чому ефекти в моделі повинні бути адитивними за шкалою, заданою цим чи будь-яким іншим посиланням.

— Момо
джерело

5

+1, це дуже приємна відповідь, @Momo. Деякі рівняння мені було важче прочитати, коли вони були поховані в абзацах, тому я "заблокував" їх за допомогою подвійних знаків долара (тобто $ $). Я сподіваюся, що це нормально (якщо ні, ви можете відкатати, не мої вибачення).

— gung - Відновіть Моніку

1

@Momo, оригінальне питання тут, однак, включає те, про що Вей запитав, тому варто зазначити, що ще не було чітко відповіді.

— Glen_b

1

θ

$\theta$

η = θ

$\eta=\theta$

g (μ) = θ

$g(\mu)=\theta$

θ = (γ^{'})^{- 1} (μ)

$\theta=(\gamma')^{-1}(\mu)$

θ

$\theta$

θ \equiv μ

$\theta \equiv \mu$

g (.) = (γ^{'})^{- 1} (.)

$g(.)=(\gamma')^{-1}(.)$

1

. Звідси

γ^{'} (θ) = π = \frac{e x p (θ)}{1 + e x p (θ)}

$\gamma'(\theta) = \pi = \frac{exp(\theta)}{1+exp(\theta)}$

(γ^{'})^{- 1} (.) = logit(.)

$(\gamma')^{-1}(.) = \text{logit(.)}$

η = θ

$\eta = \theta$

g (.)

$g(.)$

θ = l o g i t (π) = η

$\theta = logit(\pi) = \eta$

θ

$\theta$

η

$\eta$ існує лише, якщо ми використовуємо канонічну функцію зв'язку.

— Druss2k

2

μ

$\mu$

θ

$\theta$

η \equiv θ

$\eta \equiv \theta$

16

Гунг цитує гарне пояснення: канонічне посилання має особливі теоретичні властивості мінімальної достатності. Це означає, що ви можете визначити умовну модель логіту (яку економісти називають моделлю з фіксованим ефектом), обумовлюючи кількість результатів, але ви не можете визначити умовно-пробітну модель, оскільки не існує достатньої статистики для використання з пробіт-ланкою.

— СтасК
джерело

Чи можете ви трохи розібратися в питаннях мінімальної достатності? Наведеним вище поясненням ми все ще можемо визначити пробіт-модель, правда? Це точно не буде функцією канонічної посилання, але яка шкода від використання неканонічної функції посилання.

— pikachuchameleon

9

Ось невеличка діаграма, натхненна класом MIT 18.650, який я вважаю досить корисним, оскільки допомагає візуалізувати зв’язки між цими функціями. Я використав те саме позначення, що і в дописі @ momo:

$\gamma(\theta)$
$g(\mu)$

$g$

Діаграма дозволяє легко переходити з одного напрямку в інший, наприклад:

η = г (γ (θ))

$\eta = g \left( \gamma(\theta)\right)$

θ = γ^{' - 1} (г^{- 1} (η))

$\theta = \gamma'^{-1}\left( g^{-1}(\eta)\right)$

Канонічна функція зв'язку

Інший спосіб вибору того, що Момо суворо описав, полягає в тому, що коли є канонічною функцією зв'язку, то склад функції $g$

γ^{- 1} \circ г^{- 1} = {(г \circ γ^{'})}^{- 1} = Я

$\gamma^{-1} \circ g^{-1}= \left( g \circ \gamma' \right)^{-1} = I$

θ = η

$\theta = \eta$

— Xavier Bourret Sicotte
джерело

1

Відповіді вище вже охоплювали те, що я хочу сказати. Просто для уточнення кількох моментів як дослідника машинного навчання:

функція зв'язку - це не що інше, як обернення функції активації. Наприклад, логіт - це зворотна сигмоїда, пробіт - обернена функція кумулятивного розподілу Гаусса.
$w^T x$ $w$ $x$

Обговорення вище не має нічого спільного з експоненціальною сім'єю, але приємну дискусію можна знайти в книзі PRML Крістофера Бішопа. Розділ 4.3.6.

— Годжун Чжан
джерело