Коли Маркові випадкові поля

У підручнику, графічні моделях, експоненціальна сім'ї та варіаційні умовиводах , М. Йордані і М. Уейнрайт обговорюється зв'язок між експонентними родинами і марковскими випадковими полів (неорієнтовані графічні моделями).

Я намагаюся краще зрозуміти стосунки між ними за допомогою наступних питань:

Чи всі члени ДПС сімей експоненціалів?
Чи можуть усі члени родин експоненціалів бути представлені як ДПС?
Якщо MRFs Експоненціальні сім'ї, то які хороші приклади розподілу одного типу не включені в інший ? $\neq$

З того, що я розумію у своєму підручнику (глава 3), Джордан та Уейнрайт подають наступний аргумент:

Скажімо, у нас є скалярна випадкова величина X, яка слідує деякому розподілу $p$ , і проведемо $n$ спостереження $X^1, \ldots X^n$ , і ми хочемо ідентифікувати $p$ .
Обчислимо емпіричні очікування певних функцій $\phi_\alpha%$

$\hat{\mu}_\alpha= \frac{1}{n}\sum^n_{i=1}\phi_\alpha(X^i),$ для всіх $\alpha \in \mathcal{I}$

де кожен $\alpha$ у деякій множині $\mathcal{I}$ індексує функцію $\phi_\alpha: \mathcal{X} \rightarrow R$
Тоді, якщо ми змусимо наступні два набори величин бути послідовними, тобто відповідати (ідентифікувати ): $p$
- Очікування від достатньої статистики розподілу $E_p[(\phi_\alpha(X)]=\int_\mathcal{X}\phi_\alpha(x)p(x)\nu(dx)$ $\phi$ $p$
- Очікування при емпіричному розподілі

ми отримуємо недоопределену задачу , в тому сенсі, що існує багато розподілів , які відповідають спостереженням. Тож нам потрібен принцип вибору серед них (для виявлення ). $p$ $p$

Якщо ми використаємо принцип максимальної ентропії для видалення цієї невизначеності, ми можемо отримати єдине : $p$

умови $\DeclareMathOperator*{\argmax}{arg\,max} p^* = \argmax_{p\in{\mathcal{P}}} \,H(p)$ ; для всіх $E_p[(\phi_\alpha(X)] = \hat{\mu}_\alpha$ $\alpha \in \mathcal{I}$

де цей приймає вигляд exp $p^*$ $p_\theta(x) \propto$ де являє собою параметризацію розподілу в експоненціальній формі сім'ї. ${\sum_{\alpha \in \mathcal{I}}\theta_\alpha \phi_\alpha(x)},$ $\theta \in R^d$

Іншими словами, якщо ми

Зробіть так, щоб очікування розподілів відповідали очікуванням при емпіричному розподілі
Для позбавлення від невизначеності використовуйте принцип максимальної ентропії

Ми закінчуємо розподілом експоненціальної родини. $\rightarrow$

Однак це більше схоже на аргумент щодо запровадження експоненціальних сімей, і (наскільки я можу зрозуміти) це не описує взаємозв'язок між ДПС та досвідом. сімей. Я щось пропускаю?

mathematical-statistics graphical-model

— Амеліо Васкес-Рейна
джерело

Я думаю, що там є деяка плутанина: [MRFs] ( en.wikipedia.org/wiki/Markov_random_field ) визначаються не за принципом максимальної ентропії, а самі по собі за фактом щільності, що розподіляється відповідно до кліків графік. ДПС - це експоненціальні сім'ї, завдяки їх лінійному представленню.

— Сіань

Дякую @ Xi'an. Ця частина " ДРП визначається тим фактом, що коефіцієнти щільності відповідають клікам графіка " - це те, про що я завжди думав, визначає ДРП. Але чому ця власність робить усі ДПС частиною експоненціальних сімей? І які приклади (якщо такі є) будь-якого типу (MRF або exp. Family), які не є членами іншого типу?

— Амеліо Васкес-Рейна

Я не впевнений, скільки це додасть вам, але одне, що може зробити це зрозумілішим, - це читання оригінальної постановки дистрибуцій Гіббса та MRF у цьому документі від Джемана та Джемана. По суті, вся ідея полягає в тому, щоб щось моделювати за допомогою розподілу Больцмана (наприклад, до мінус чогось), а потім запитати, як щось факторується. Через такий спосіб його опису може бути більш очевидним їх зв’язок із експоненціальними сім'ями.

— ely

Експоненціальні сім'ї визначаються тим, що щільність журналу є по суті скалярним продуктом векторіальної функції спостережень та векторіальної функції параметрів. У цьому визначенні немає жодної графічної структури. ДПФ додатково включають графік, який визначає кліки, мікрорайони та ін. Отже, ДРП - це експоненціальні сім'ї з доданою структурою, графік.

— Сіань

Я думаю, що плутанина в суперечливих коментарях / відповідях зводиться до того, чи дозволено вам вводити фактори, які не є логічними за своїми параметрами.

— Ярослав Булатов

Ви цілком вірні - аргумент, який ви представили, стосується експоненціальної сім'ї до принципу максимальної ентропії, але не має нічого спільного з ДПС.

Щоб вирішити три початкові питання:

Чи можуть усі члени родин експоненціалів бути представлені як ДПС?

P (X = x) = \prod_{C \in c l (G)} ϕ_{C} (X_{C} = x_{C})

$P(X=x) = \prod_{C \in cl(G)} \phi_C(X_C = x_C)$

c l (G)

$cl(G)$

G

$G$ . З цього визначення видно, що повністю пов'язаний графік, хоча і повністю неінформативний, відповідає будь-якому розподілу.

Чи всі члени ДПС сімей експоненціалів?

$are$ експоненціальне розподіл сім'ї. Усі дискретні ЗРК з обмеженою доменністю та Гауссова ДРФ є членами родини експонентів. Насправді, оскільки продукти експоненціального розподілу сім'ї також є в експоненціальній сім'ї, спільний розподіл будь-якої ДПС, в якій кожна потенційна функція має форму (ненормалізованого) експонентного члена сім'ї, сам буде в експоненціальній сім'ї.

$\neq$ Експоненціальні сім’ї, які хороші приклади розподілу одного типу не включаються до іншого?

Розподіл сумішей - поширені приклади неекспоненціальних розподілів сім'ї. Розглянемо лінійну модель простору Гаусса держави (як приховану модель Маркова, але з безперервними прихованими станами та гауссовими переходами та розподілами емісії). Якщо замінити ядро переходу сумішшю гауссів, отриманий розподіл вже не в експоненціальному сімействі (але він все ще зберігає багату структуру умовної незалежності, характерну для практичних графічних моделей).

[1] http://en.wikipedia.org/wiki/Markov_random_field

— Малював
джерело