Посилання, що виправдовують використання гауссових сумішей

Моделі гауссових сумішей (ГММ) привабливі, оскільки з ними просто працювати як аналітично, так і на практиці, і здатні моделювати деякі екзотичні розподіли без надмірної складності. Є декілька аналітичних властивостей, яких слід очікувати, які загалом не зрозумілі. Зокрема:

Скажімо, $S_n$ - клас усіх гауссових сумішей з $n$ компонентами. Чи гарантуємо нам, що при будь-якому безперервному розподілі на реалі, коли росте, ми можемо наближати до ГММ з незначними втратами в сенсі відносної ентропії? Тобто, чи $P$ $n$ $P$ $lim_{n \to \infty} inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$
Скажімо, у нас є безперервний розподіл $P$ і ми знайшли $N$ -компонентну гауссова суміш $\hat{P}$ яка близька до $P$ за сумарною варіацією: $\delta(P,\hat{P})<\varepsilon$ . Чи можемо ми зв'язати $D(P||\hat{P})$ в термінах $\epsilon$ ?
Якщо ми хочемо спостерігати $X\sim P_X$ через незалежний аддитивний шум $Y\sim P_Y$ (як реальний, безперервний), і у нас є GMMs $\hat{X} \sim Q_X, \hat{Y} \sim Q_N$ де $\delta(P,Q)<\epsilon$ , тоді це значення невелике: $| m m s e (X | X + Y) - m m s e (\hat{X} | \hat{X} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ тобто чи правда, що оцінювати $X$ через $Y$ шум приблизно так само важко, як оцінювати $\hat{X}$ через $\hat{Y}$ шум?
Чи можете ви це зробити для таких моделей, що не додають шуму, наприклад шуму Пуассона?

Мій (короткий) огляд літератури до цих пір виявив дуже прикладні навчальні посібники. Хтось має посилання, які суворо демонструють, за яких умов ми виправдані у використанні моделей сумішей?

— enthdegree
джерело

Набір ГММ щільний у наборі розподілів у слабкій топології (відповідає конвергенції в розподілі); див., наприклад, тут . Я не впевнений , чи має ваша перша заява, хоча це, безумовно , потребують дозволяючи компоненти нульової дисперсії в суміші , щоб мати справу з будь-якими точковими масами в . Я також скептично ставлюсь до другої точки кулі, знову ж таки через проблему масових точок.

P

$P$

— Дугал

Хороше запитання, я вказав все повинно бути безперервним

— enthdegree

Можливо, вам пощастить переглянути літературу про оцінку щільності ядра з ядрами Гаусса. Оскільки у вас є суміш гауссів з одним на зразок, то як кількість зразків збільшується, чи отримуєте ви асимптотично неупереджений і послідовний оцінювач розподілу? Я думаю, що відповідь "так", але не вдалося відразу знайти посилання.

— Грег Вер Стіг

@ 5thdegree: Дуже добре запитання. Оскільки ви хочете використовувати сильні топології (розбіжність KL та сумарне коливання), загальна відповідь на ваші перші два пункти - ні: наприклад, розгляньте розподіл жиру; КЛ будь-якої кінцевої гауссової суміші нескінченна (я впевнений, що це працює, хоча і не на 100%). Але це призводить до набагато цікавішого питання, для якого підкласу розподілу ймовірностей застосовуються всі ваші кульові бали? Я не знаю відповіді, але це здається надзвичайно цікавим. Моя здогадка - це, ймовірно, майже всі розподіли ймовірностей.

— Гійом Дехаєн

Я взяв клас з цією книжкою. Посилання Це робить деякі пристойні передумови щодо основ.

— EngrStudent

Відповіді:

У економетриці, де контекст полягає у розподілі змішаних коефіцієнтів у моделях logit, стандартним посиланням є: Змішані моделі MNL для дискретного відгуку DANIEL MCFADDEN AND KENNETH TRENIN, ПІДПРИЄМСТВО ПРИКЛАДНОЇ ЕКОНОМЕТРИКИ, J. Appl. Екон. 15: 447-470 (2000).

— Тім
джерело

Що стосується ваших питань:

На дуже схожу байєсівську проблему суміші гаусианців Процесу Діріхле, я розумію, що відповідь - так. Ghosal (2013) .
Коли я відвідував деякі бесіди на цю тему, здавалося, що в основному досягнуто прогресу, використовуючи дивергенцію КЛ. Подивіться слайди Гаррі ван Зантена .
Мені не ясно. Однак це виглядає як проблема відокремлення джерела ( ). Це, як правило, набагато складніше, ніж моделювання суміші. Зокрема, для простого випадку ви б не змогли ідентифікувати справжні і через симетрію розподілів про нуль. $P_N, P_S$ $P_N = P_S = N(0,1)$ $X$ $Y$
Дивіться четвертий з слайдів, зв'язаних вище, є список байєсівських моделей, щодо яких є гарантії конвергенції.

— здогадки
джерело

Ось часткова відповідь.

Скажімо, - клас усіх гауссових сумішей з компонентами. Чи гарантуємо нам, що при будь-якому безперервному розподілі на реалі, коли росте, ми можемо наближати до ГММ з незначними втратами в сенсі відносної ентропії? Тобто, чи $S_n$ $n$ $P$ $n$ $P$
$lim_{н \to \infty} \underset{\hat{П} \in S_{н}}{інф} D (П | | \hat{П}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$

$D(P\|Q)$ $Q$ $P$ $P$ $n$

\underset{\hat{П} \in S_{н}}{інф} D (П | | \hat{П}) = \infty

$\inf_{\hat{P}\in S_n} D(P||\hat{P})=\infty$

Додаткові умови на потрібно сказати. $P$

Скажімо, у нас є безперервний розподіл і ми знайшли -компонентну гауссова суміш яка близька до за сумарною варіацією: . Чи можемо ми зв'язати в термінах ? $P$ $N$ $\hat{P}$ $P$ $\delta(P,\hat{P})<\varepsilon$ $D(P||\hat{P})$ $\epsilon$

Ні. Цей же приклад застосовується вище.

Якщо ми хочемо спостерігати через незалежний аддитивний шум (як реальний, безперервний), і у нас є GMMs де , тоді це значення невелике: тобто чи правда, що оцінювати через шум приблизно так само важко, як оцінювати через шум? $X\sim P_X$ $Y\sim P_Y$ $\hat{X} \sim Q_X, \hat{Y} \sim Q_Y$ $\delta(P,Q)<\epsilon$
$| м м с е (Х | Х + Y) - м м с е (\hat{Х} | \hat{Х} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ $X$ $Y$ $\hat{X}$ $\hat{Y}$

$X,Y,\hat{X},\hat{Y}$ $E[X|Y]$ $E[\hat{X}|\hat{Y}]$ $|E_P[(E_P[X|Y]-X)^2]-E_Q[(E_Q[X|Y]-X)^2]|$ $TV(P,Q)$

Я не зміг довести це ні в цілому, ні використовуючи додаткову структуру добавок, яку ми припустили на P, Q, або придумав будь-які зустрічні приклади.

Чи можете ви це зробити для таких моделей, що не додають шуму, наприклад шуму Пуассона?

Це неоднозначно. У контексті попереднього питання, якщо твердження у цій відповіді можна довести загалом, то відповідь - так.

— enthdegree
джерело