Чи гарантувала ймовірність журналу в GLM гарантовану конвергенцію до глобальних максимумів?

Мої запитання:

Чи гарантовано узагальнені лінійні моделі (ГЛМ) наближаються до глобального максимуму? Якщо так, то чому?
Крім того, які обмеження існують у функції зв'язку для забезпечення опуклості?

Моє розуміння GLM полягає в тому, що вони максимізують дуже нелінійну функцію вірогідності. Таким чином, я б міг уявити, що існує кілька локальних максимумів, і набір параметрів, до яких ви сходитесь, залежить від початкових умов алгоритму оптимізації. Однак, провівши деякі дослідження, я не знайшов жодного джерела, яке б вказувало на наявність декількох локальних максимумів. Крім того, я не так добре знайомий з методами оптимізації, але знаю, що метод Ньютона-Рафсона та алгоритм IRLS дуже схильні до локальних максимумів.

Будь ласка, поясніть, якщо це можливо, як на інтуїтивній, так і на математичній основі!

EDIT: dksahuji відповів на моє початкове запитання, але я хочу додати наступне питання [ 2 ] вище. ("Які обмеження існують у функції зв'язку для забезпечення опуклості?")

— DankMasterDan
джерело

Я думаю, що до цього могло б бути необхідне обмеження. Яке джерело твердження?

— Glen_b -Встановіть Моніку

Кілька сайтів, здавалося, натякають на це, однак я не міг знайти нічого, що згадувало про це прямо, тому я також вітаю його відмову!

— DankMasterDan

доки ймовірність чітко визначена скрізь у домені (і ігнорування деяких тангенціальних числових питань), я думаю, що так. За цих умов гессян є <0 скрізь у домені, тому ймовірність глобально увігнута. До речі, функція не є «сильно нелінійною» в параметрах, і саме це важливо.

— user603

@ user603 Яке джерело / доказ того, що гессіан скрізь <0?

— DankMasterDan

Логістичні, Пуассонові та Гауссові регресії часто опуклі, отримуючи функцію "хорошого" зв'язку. Однак при довільній функції зв'язку вони не опуклі.

— Спогад

Визначення експоненціальної родини:

p (x | θ) = h (x) \exp (θ^{T} ϕ (x) - A (θ)),

$p(x|\theta) = h(x)\exp(\theta^T\phi(x) - A(\theta)),$

де - функція розділення журналу. Тепер можна довести, що для 1D-випадку мають місце такі три речі (і вони узагальнюють на більш високі розміри - ви можете вивчити властивості експоненціальних сімей або журнальний розділ): $A(\theta)$

$\frac{dA}{d\theta} = \mathbb{E}[\phi(x)]$
$\frac{d^2A}{d\theta^2} = \mathbb{E}[\phi^2(x)] -\mathbb{E}[\phi(x)]^2 = {\rm var}(\phi(x))$
$\frac{ \partial ^2A}{\partial\theta_i\partial\theta_j} = \mathbb{E}[\phi_i(x)\phi_j(x)] -\mathbb{E}[\phi_i(x)] \mathbb{E}[\phi_j(x)] = {\rm cov}(\phi(x)) \Rightarrow \Delta^2A(\theta) = {\rm cov}(\phi(x))$

Вищенаведений результат доводить, що випуклий (оскільки є позитивним напівкінцевим). Тепер ми розглянемо функцію ймовірності для MLE: $A(\theta)$ ${\rm cov}(\phi(x))$

\begin{aligned} p (D | θ) & = [\prod_{i = 1}^{N} h (x_{i})] \exp (θ^{T} [\sum_{i = 1}^{N} ϕ (x_{i})] - N A (θ)) \\ \log (p (D | θ)) & = θ^{T} [\sum_{i = 1}^{N} ϕ (x_{i})] - N A (θ) \\ = θ^{T} [ϕ (D)] - N A (θ) \end{aligned}

$\begin{align} p(\mathcal{D}|\theta) &= \bigg[\prod_{i=1}^{N}{h(x_i)}\bigg]\ \exp\!\big(\theta^T[\sum_{i=1}^{N}\phi(x_i)] - NA(\theta)\big) \\ \log\!\big(p(\mathcal{D}|\theta)\big) &= \theta^T\bigg[\sum_{i=1}^{N}\phi(x_i)\bigg] - NA(\theta) \\ &= \theta^T[\phi(\mathcal{D})] - NA(\theta) \end{align}$

Тепер лінійний у теті і увігнутий. Тому існує унікальний глобальний максимум. $\theta^T[\phi(\mathcal{D})]$ $-A(\theta)$

Існує узагальнена версія, що називається вигнутою експоненціальною сім'єю, яка також була б подібною. Але більшість доказів є у канонічній формі.

— dksahuji
джерело

значить, це означає, що GLM має унікальну глобальну номінальну мінімуму, яка функція зв’язку обрана (включаючи неканонічну)?

— DankMasterDan

Я спробую відповісти, наскільки я це сприймаю.

- це випадок, про який ви говорите. Це все ще є увігнутим у

але може не знаходитись у

тому

повинен бути таким, що вся ймовірність колоди є увігнутою в

p (x | θ) = h (x) e x p (η (θ)^{T} ϕ (x) - A (η (θ)))

$p(x|\theta) = h(x)exp(\eta(\theta)^T\phi(x) - A(\eta(\theta)))$

η

$\eta$

θ

$\theta$

η

$\eta$

θ

$\theta$

— дксахуджі

Зауважте, що питання задається питанням конвергенції, а не просто існування, але з кількома обмеженнями, що теж може бути здійснене.

— Glen_b -Встановіть Моніку

@Glen_b Чи можете ви детальніше? Я не знаю жодних таких обмежень. Можливо, щось на кшталт обмежень щодо ступінчастого розміру оптимізатора на основі градієнта до конвергенції гарантії у випадку увігнутої функції.

— dksahuji

@Glen_b Це може бути правдою в цілому, але я не в змозі побачити жодної причини, щоб увігнута функція не сходилася до оптими в межах малого допустимого значення. Але я б сказав, що я не маю жодного практичного досвіду з цим, і я тільки почав. :)

— dksahuji