Чому проблему захаращення не можна вирішити для великих розмірів вибірки?

Припустимо, у нас є набір точок . Кожна точка формується за допомогою розподілу Для отримання posterior для пишемо Згідно зі статтею Мінка на Очікування поширення нам необхідно обчислення , щоб отримати задній і, таким чином, проблема стає нерозв'язною для великих розмірів вибірки . Однак я не можу зрозуміти, для чого нам потрібна така кількість обчислень у цьому випадку, оскільки для одиничного $\mathbf{y} = \{y_1, y_2, \ldots, y_N \}$ $y_i$

p (y_{i} | x) = \frac{1}{2} N (x, 1) + \frac{1}{2} N (0, 10) .

$p(y_i| x) = \frac12 \mathcal{N}(x, 1) + \frac12 \mathcal{N}(0, 10).$

x

$x$

p (x | y) \propto p (y | x) p (x) = p (x) \prod_{i = 1}^{N} p (y_{i} | x) .

$p(x| \mathbf{y}) \propto p(\mathbf{y}| x) p(x) = p(x) \prod_{i = 1}^N p(y_i | x).$

2^{N}

$2^N$

p (x | y)

$p(x| \mathbf{y})$

N

$N$

y_{i}

$y_i$ ймовірність має вигляд

p (y_{i} | x) = \frac{1}{2 \sqrt{2 π}} (\exp {- \frac{1}{2} (y_{i} - x)^{2}} + \frac{1}{\sqrt{10}} \exp {- \frac{1}{20} y_{i}^{2}}) .

$p(y_i| x) = \frac{1}{2 \sqrt{2 \pi}} \left( \exp \left\{-\frac12 (y_i - x)^2\right\} + \frac{1}{\sqrt{10}} \exp \left\{-\frac1{20} y_i^2\right\} \right).$

Використовуючи цю формулу, ми отримуємо posterior шляхом простого множення $p(y_i| x)$ , тому нам потрібні лише $N$ операцій, і, таким чином, ми можемо точно вирішити цю проблему для великих розмірів вибірки.

Я роблю чисельний експеримент для порівняння, чи дійсно я отримую ту саму задню, якщо я обчислюю кожен термін окремо, і якщо я використовую добуток густини для кожного $y_i$ . Плакати однакові. Дивіться, введіть тут опис зображення де я помиляюся? Хтось може мені зрозуміти, навіщо нам потрібні $2^N$ операції для обчислення задніх для даного $x$ та sample $\mathbf{y}$ ?

bayesian mixture posterior

— Олексій Зайцев
джерело

Одна операція на термін і термінів, тому нам потрібні операції . Також я знову переглядаю папір Мінки та розділ єпископа про приблизний висновок. Обидва припускають, що ми хочемо оцінити та отримати posterior для .

N

$N$

O (N)

$O(N)$

x

$x$

— Олексій Зайцев

Я правильно розумію, що ваші однозначні? Якщо так, ви можете вирішити це в яке вважається простежуваним незалежно від

y_{i}

$y_i$

O (n \log (n))

$O(n\log(n))$

n

$n$

— user603

@Alexey Перечитавши цей параграф, я думаю, що автор не згадує операцій. Він просто вказує, що «стан вірування для - це суміш гауссів» .

2^{N}

$2^N$ $x$ $2^N$

@Procrastinator згідно з документом, ми хочемо використовувати поширення віри, але не можемо використовувати, тому що нам потрібно продовжувати суміш гауссів. Тоді питання полягає в тому, чому ми хочемо використовувати ВР? Ще одне питання виникає у випадку, якщо ми читаємо главу 10.7.1 у PRML Бішопа або дивимось відеолекції Мінки . Після цього відповідь не є однозначною.

2^{N}

$2^N$

— Олексій Зайцев

@Alexey Я думаю, що логіка цього полягає в іншому. Автор описує те, що станеться, якщо використовувати поширення віри, щоб підкреслити деякі труднощі з ним, коли великий, а потім просувати його "поширення очікування". Він згадує, що для поширення вірування потрібно використовувати суміш гауссів для стану вірування для що ускладнюється, коли є великим. Тут не згадується кількість необхідних операцій, а складність стану вірування для .

N

$N$

2^{N}

$2^N$

x

$x$

N

$N$

x

$x$

Відповіді:

Ви праві, що папір говорить неправильно. Ви, звичайно, можете оцінити задній розподіл у відомому місці за допомогою операцій . Проблема полягає в тому, коли ви хочете обчислити моменти ззаду. Щоб обчислити заднє середнє значення точно, вам знадобиться операцій. Це проблема, яку намагається вирішити папір. $x$ $O(n)$ $x$ $2^N$

— Том Мінка
джерело

Ви пропустили те, що розподіл - це суміш гауссів: кожен зразок розподіляється як за з ймовірністю і як (розподіл захаращеності для , незалежно від ) з вірогідністю . $y_i$ $p(y_i | x)$ $1-w$ $p_c(y)$ $y$ $x$ $w$

Нехай - показник змінної, що вказує на те, що зразок був отриманий з розподілу безладу; таким чином, якщо вона дорівнює це означає, що зразок був взятий з . Очевидно, що якщо вибірка була взята з розподілу захаращеності, для оцінки значення не має значення . $c_i$ $i$ $0$ $p(y|x)$ $x$

Саме наявність можливих спільних станів для цих змінних індикаторів викликає проблему. $2^N$

— Дейв
джерело

Однак ми можемо скинути додаткові змінні , оскільки нам потрібно отримати максимально заднє рішення проблеми. Задня для має чітку форму, тому ми не змушені враховувати всі теперішніх станів. Отже, питання "Для чого нам потрібна ця кількість обчислень, якщо ми хочемо знайти максимально заднє рішення?"

c_{i}

$c_i$

x

$x$

2^{N}

$2^N$

— Олексій Зайцев

Максимізацію потрібно взяти за стани для змінних .

c

$c$

— Дейв

Ми не знаємо , тому ми інтегруємо (підсумовуємо більше) . Це можна зробити прямо, чи не так?

c_{i}

$c_i$

c_{i}

$c_i$

— Олексій Зайцев

Прямий так, але кількість станів (термінів) зростає як , що може бути обчислено проблематично.

2^{N}

$2^N$

— Дейв

Ми можемо зробити це для кожного спостереження незалежним чином, тому ми маємо складність , а не .

O (n)

$O(n)$

O (2^{n})

$O(2^n)$

— Олексій Зайцев