Чому експоненціальна сім'я не включає всі розподіли?

Я читаю книгу:

Бішоп, розпізнавання образів та машинне навчання (2006)

що визначає експонентну сім'ю як розподіли форми (урівень 2.194):

p (x | η) = h (x) g (η) \exp {η^{T} u (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

Але я не бачу обмежень щодо $h(\mathbf x)$ або $\mathbf u(\mathbf x)$ . Чи не означає це, що будь-який розподіл можна поставити у цій формі за допомогою відповідного вибору $h(\mathbf x)$ та $\mathbf u(\mathbf x)$ (адже лише один із них має бути обраний належним чином!)? То чому ж експоненціальна сім'я не включає всі розподіли ймовірностей? Що я пропускаю?

Нарешті, більш конкретним питанням, яке мене цікавить, є таке: чи поширення Бернуллі в експоненціальній родині ? Вікіпедія стверджує, що це так, але оскільки я тут явно щось плутаю, я хотів би зрозуміти чому.

mathematical-statistics exponential-family

— беко
джерело

для підтвердження того, що розподіл Бернуллі знаходиться в сім'ї експонентів, спробуйте скористатися тим фактом, що

і подивіться, куди це потрапляє

f (x; μ) = \exp (\log (f (x; μ)))

$f(x; \mu) = \exp (\log( f(x; \mu)))$

— jld

Щоб уточнити, ви запитуєте, чи можна записати будь-який розподіл у цій формі, чи можна записати будь-яку родину дистрибутивів у цій формі? Ви, здається, отримали відповіді на останнє питання.

— Оуен

@Owen Так, зараз я бачу, що це вирішальний момент. Хоча будь-який розподіл може бути записаний у цій формі (відповідним чином встановивши

, і

h (x)

$h(\mathbf x)$

), це не означає, що будь-якасім'яможе бути записана у цій формі.

g = 1, u = 0

$g=1,\mathbf u= 0$

— бекко

@becko, саме так. Словосполучення в тексті "експоненціальна сім'я" дещо вводить в оману, оскільки не існує лише однієї експоненціальної родини; скоріше, кожен вибір

породжує сім'ю. Натомість багато авторів говорять про "експоненціальну сім'ю", роблячи це більш зрозумілим; Наприклад, дивіться сторінку Wikipedia:en.wikipedia.org/wiki/Exponential_family

(h, g, u)

$(h, g, \mathbf u)$

— Brent Kerby

@becko Я думаю, що ваш аргумент показує, що будь-який даний розподіл може бути одним членом експоненціальної сім'ї, але не те, що будь-яка сім'я розподілів може бути експоненціальною сім'єю.

— Меттью Друрі

Відповіді:

Ну, одним із наслідків вашого визначення: є те, що підтримка сімейства розподілів, індексована параметром , не залежить від . (Підтримка розподілу ймовірностей - це (закриття) найменш встановленого з імовірністю одного, або іншими словами, де розподіл живе

p (x | η) = h (x) g (η) \exp {η^{T} u (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

η

$\eta$

η

$\eta$ .) Отже, досить надати контрприклад сімейства розподілу з підтримкою залежно від параметра, найпростішим прикладом є наступне сімейство рівномірних розподілів:

. (інша відповідь @Chaconne дає більш складний контрприклад).

U (0, η), η > 0

$\text{U}(0, \eta), \quad \eta > 0$

— kjetil b halvorsen
джерело

Розглянемо не центральний розподіл Лапласа

f (x; μ, σ) \propto \exp (- | x - μ | / σ) .

$f(x; \mu, \sigma) \propto \exp \left(-| x - \mu | / \sigma \right).$

Якщо ви не зможете писати як внутрішній продукт між і деякою функцією . $\mu = 0$ $|x - \mu|$ $\mu$ $x$

Експоненціальна сім'я включає в себе переважну більшість приємних названих дистрибуцій, з якими ми зазвичай стикаємось, тому спочатку може здатися, що у неї є все цікаве, але це аж ніяк не є вичерпним.

— jld
джерело