Як обчислити недоумкування утримування за допомогою латентного розподілу Діріхле?

Мене бентежить питання про те, як обчислити здивування зразка затримки, коли роблять приховане розподілення Діріхле (LDA). Документи на тему бризнуть над нею, змушуючи мене думати, що я пропускаю щось очевидне ...

Здивування сприймається як хороший показник ефективності для LDA. Ідея полягає в тому, щоб ви зберігали зразок проведення, навчали свій LDA на решті даних, а потім обчислювали недоумкування утримань.

Враженість може бути задана формулою:

$per(D_{test})=exp\{-\frac{\sum_{d=1}^{M}\log p(\mathbb{w}_d)}{\sum_{d=1}^{M}N_d}\}$

(З огляду на пошук зображень у масштабних базах зображень, Horster та ін .)

Тут - кількість документів (у тестовій вибірці, імовірно), w d являє собою слова в документі d , N d - кількість слів у документі d .$M$$\mathbb{w}_d$$d$$N_d$$d$

Мені незрозуміло, як розумно розрахувати , оскільки у нас немає тематичних сумішей для розданих документів. В ідеалі, ми б об'єдналися за допомогою Dirichlet до всіх можливих сумішей тем і використали б багатозначні теми, які ми дізналися. Однак обчислення цього інтегралу не представляється легким завданням.$p(\mathbb{w}_d)$

Крім того, ми могли б спробувати вивчити оптимальну суміш тем для кожного розібраного документа (враховуючи наші вивчені теми) та використати це для обчислення невдачі. Це можна зробити, однак це не так банально, як виглядають такі документи, як Horter et al та Blei et al, і мені не відразу зрозуміло, що результат буде еквівалентний ідеальному випадку вище.

Це справді щось, що часто засклилося.

Деякі люди роблять щось трохи нахабне: роздають частину слів у кожному документі та використовують прогнозну ймовірність цих витриманих слів, заданих сумішами тема-тема документа, а також сумішами тема-слово. Це, очевидно, не ідеально, оскільки це не оцінює ефективність жодних витриманих документів.

Щоб зробити це належним чином з витриманими документами, як це пропонується, вам потрібно "інтегруватися за допомогою Dirichlet до всіх можливих тематичних сумішей". http://people.cs.umass.edu/~wallach/talks/evaluation.pdf розглядає кілька методів боротьби з цим трохи неприємним інтегралом. Я ось-ось спробую реалізувати це власне, так що удачі!

Ми знаємо, що параметри LDA оцінюються за допомогою варіативного виводу. Так

$\log p(w|\alpha, \beta) = E[\log p(\theta,z,w|\alpha,\beta)]-E[\log q(\theta,z)] + D(q(\theta,z)||p(\theta,z))$.

If your variational distribution is enough equal to the original distribution, then $D(q(\theta,z)||p(\theta,z)) = 0$. Так,$\log p(w|\alpha, \beta) = E[\log p(\theta,z,w|\alpha,\beta)]-E[\log q(\theta,z)]$, яка є ймовірністю.

$\log p(w|\alpha, \beta)$ наближається до ймовірності, яку ви отримали з Варіаційного висновку.