Чому байєсівська задня частина концентрується навколо мінімізації розбіжності KL?

Розглянемо байєсівську задню $\theta\mid X$ . Асимптотично, його максимум відбувається при оцінці MLE , що просто збільшує ймовірність . $\hat \theta$ $\operatorname{argmin}_\theta\, f_\theta(X)$

Усі ці поняття - байесівські пріори, що збільшують ймовірність - звучать супер принципово і зовсім не довільно. Не видно колоди.

Однак MLE мінімізує розбіжність KL між реальним розподілом та , тобто мінімізує $\tilde f$ $f_\theta(x)$

K L (\tilde{f} ∥ f_{θ}) = \int_{- \infty}^{+ \infty} \tilde{f} (х) [журнал \tilde{f} (х) - журнал f_{θ} (х)] г х

$KL(\tilde f \parallel f_\theta) = \int_{-\infty}^{+\infty} \tilde f(x) \left[ \log \tilde f(x) - \log f_\theta(x) \right] \, dx$

Вуа - звідки взялися ці колоди? Чому, зокрема, розбіжність KL?

Чому, наприклад, мінімізація різної дивергенції не відповідає над принциповим і мотивованим концепціям байєсівських плакатів і максимізує ймовірність вище?

Здається, у цьому контексті є щось особливе щодо розбіжності та / або журналів KL. Звичайно, ми можемо кинути руки в повітря і сказати, що саме так математика. Але я підозрюю, що може виявитись якась глибша інтуїція чи зв'язки.

bayesian maximum-likelihood kullback-leibler

— Ятхарт Агарвал
джерело

Деякі ідеї ви можете знайти тут: stats.stackexchange.com/questions/188903/…

— kjetil b halvorsen

@kjetilbhalvorsen Попередня назва звучала як дублікат; Я прошу вибачення. Я вніс редагування, і повинно бути зрозуміло, чому це питання не є дублікатом.

— Ятхарт Агарвал

Інші запитання задають: "Що таке дивергенція KL, і чому вона не є симетричною?" Відповіді пояснюють поняття розбіжності та деяку інформацію про KL. На противагу цьому, це питання задає питання: "Чому байєсова задня частина концентрується навколо мінімізації розбіжності KL?" Просто пояснення того, як розбіжності не повинні бути симетричними, і пояснення KL та констатація KL пов'язана з MLE не вдається вирішити суть питання тут: чому серед багатьох можливих розбіжностей KL, зокрема, має особливий зв'язок із байєсівською задньою частиною. Це має сенс?

— Ятхарт Агарвал

Так, це має сенс, але проблема все ж є. Задні також залежать від попереднього, і якщо це сильно, задній може бути максимум від млечних. Але пріоритет у вашому запитанні відсутній.

— kjetil b halvorsen

@kjetilbhalversen Я мав на увазі асимптотично все більше і більше зразків IID і в умовах (суворих) умов, при яких попереднє значення не має значення асимптотично!

— Ятхарт Агарвал

Використання логарифмів у подібних обчисленнях походить з теорії інформації . У конкретному випадку розбіжності KL міру можна інтерпретувати як відносну інформацію двох розподілів:

\begin{aligned} K L (\tilde{f} ∥ f_{θ}) & = \int_{- \infty}^{\infty} \tilde{f} (x) (\log \tilde{f} (x) - \log f_{θ} (x)) d x \\ = (\underset{H (\tilde{f}, f_{θ})}{\underset{⏟}{- \int_{- \infty}^{\infty} \tilde{f} (x) \log f_{θ} (x) d x}}) - (\underset{H (\tilde{f})}{\underset{⏟}{- \int_{- \infty}^{\infty} \tilde{f} (x) \log \tilde{f} (x) d x}}), \end{aligned}

$\begin{equation} \begin{aligned} KL(\tilde{f} \parallel f_\theta) &= \int \limits_{-\infty}^\infty \tilde{f}(x) (\log \tilde{f}(x) - \log f_\theta (x)) \ dx \\[6pt] &= \Bigg( \underbrace{- \int \limits_{-\infty}^\infty \tilde{f}(x) \log f_\theta(x) \ dx}_{H(\tilde{f}, f_\theta)} \Bigg) - \Bigg( \underbrace{- \int \limits_{-\infty}^\infty \tilde{f}(x) \log \tilde{f}(x) \ dx}_{H(\tilde{f})} \Bigg), \\[6pt] \end{aligned} \end{equation}$

де $H(\tilde{f})$ - це ентропія Росії $\tilde{f}$ і $H(\tilde{f}, f_\theta)$ - це перехресна ентропія $\tilde{f}$ і $f_\theta$ . Ентропію можна розглядати як міру середньої швидкості виробленої густиною (думка перехресна ентропія трохи складніше). Мінімізація розбіжності KL для фіксованого значення $\tilde{f}$ (як у проблемі, яку ви згадуєте) еквівалентна мінімізації перехресної ентропії, і тому цій оптимізації можна дати інформаційно-теоретичну інтерпретацію.

Я не можу коротко викласти тестування інформації та властивості інформаційних заходів. Однак я рекомендую ознайомитись із полем, оскільки воно має тісні зв’язки зі статистикою. Багато статистичних заходів, що включають інтеграли та суми над логарифмами густин, є простими комбінаціями стандартних інформаційних заходів, що використовуються в теорії вимірювань, і в таких випадках їм можна давати інтерпретацію з точки зору базових рівнів інформації різної щільності тощо.

— Бен - Відновлення Моніки
джерело

Перегляд теорії інформації звучить багатообіцяюче! Дякую, що вказали мені на це.

— Yatharth Agarwal

Очевидно, ви не можете пояснити ціле математичне поле у публікації StackExchange, але чи мали би ви якісь конкретні посилання на їхній журнал?

— Ятхарт Агарвал

Я просто думаю, що за такою глибокою інтуїцією є, чому, скажімо, е в рівнянні Ейлера та така, що тут ховається подібна інтуїція. Можливо, продукт десь змушує виникнути природний логарифм. Я не впевнений.

— Yatharth Agarwal

@ Ятхарт логарифм виникає тут через його центральну роль у визначенні ентропії Шеннона. Щодо "чому" логарифм доречний для вимірювання інформації, на відміну від іншої функції, погляньте на теорему 2 у "Математичній теорії зв'язку" Шеннона. Крім того, "Теорія інформації та статистична механіка" Джейне - приємне вступ.

— Нейт-папа