Зв'язок між метрикою Фішера та відносною ентропією

20

Чи може хтось довести наступний зв’язок між метрикою інформації Фішера та відносною ентропією (або розбіжністю KL) чисто математично суворим способом?

D (p (\cdot, a + d a) ∥ p (\cdot, a)) = \frac{1}{2} g_{i, j} d a^{i} d a^{j} + (O (‖ d a ‖^{3})

$D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3)$ де

a = (a^{1}, \dots, a^{n}), d a = (d a^{1}, \dots, d a^{n})

$a=(a^1,\dots, a^n), da=(da^1,\dots,da^n)$ ,

g_{i, j} = \int \partial_{i} (\log p (x; a)) \partial_{j} (\log p (x; a)) p (x; a) d x

$g_{i,j}=\int \partial_i (\log p(x;a)) \partial_j(\log p(x;a))~ p(x;a)~dx$ і

g_{i, j} d a^{i} d a^{j} := \sum_{i, j} g_{i, j} d a^{i} d a^{j}

$g_{i,j} \, da^i \, da^j := \sum_{i,j}g_{i,j} \, da^i \, da^j$ - це конвенція Ейнштейна про підсумовування.

Я знайшов вище сказане в приємному блозі Джона Бееса, де в коментарях говорить про це Васильос Анагностопулос.

mathematical-statistics kullback-leibler fisher-information

— Кумара
джерело

1

Шановний Кумара: Для уточнення, це допоможе краще пояснити ваші позначення, зокрема значення

g_{i, j}

$g_{i,j}$ . Крім того, я думаю, що у вашому вираженні відсутній постійний коефіцієнт

1 / 2

$1/2$ перед першим членом правої частини рівняння дисплея. Зауважимо, що те, що Кулбек сам назвав розбіжністю (використовуючи позначення

J (\cdot, \cdot)

$J(\cdot,\cdot)$ ), є симетризованою версією того, що відомо, називається дивергенцією KL, тобто

J (p, q) = D (p ‖ q) + D (q ‖ p)

$J(p,q) = D(p \| q) + D(q \| p)$ . Дивергенція KL була позначена

I (\cdot, \cdot)

$I(\cdot,\cdot)$ у працях Kullback. Це пояснює також коефіцієнт

1 / 2

$1/2$ . Ура.

— кардинал

19

У 1946 році геофізик і баєсовський статистик Гарольд Джеффріс представив те, що ми сьогодні називаємо розбіжністю Куллбека-Лейблера, і виявив, що для двох розподілів, які "нескінченно близькі" (будемо сподіватися, що хлопці Math SE цього не бачать ;-), ми можемо написати їхня розбіжність Куллбека-Лейблера як квадратична форма, коефіцієнти якої задані елементами інформаційної матриці Фішера. Він інтерпретував цю квадратичну форму як елемент довжини риманівського багатоманіття, при цьому інформація Фішера відігравала роль риманівської метрики. З цієї геометризації статистичної моделі він отримав пріоритет свого Джеффріса як міру, природно індуковану Римановою метрикою, і цю міру можна інтерпретувати як внутрішньо рівномірне розподіл на колекторі, хоча, загалом, це не є обмеженою мірою.

Щоб написати суворий доказ, вам потрібно буде визначити всі умови регулярності та подбати про порядок помилок у розширеннях Тейлора. Ось короткий нарис аргументу.

Симетризована розбіжність Кульбека-Лейблера між двома щільністю і визначається як $f$ $g$

D [f, г] = \int (f (х) - г (х)) журнал (\frac{f (х)}{г (х)}) г х .

$D[f,g] = \int (f(x) - g(x)) \log\left(\frac{f(x)}{g(x)} \right) dx \, .$

Якщо у нас є сімейство густин, параметризоване по , то $\theta=(\theta_1,\dots,\theta_k)$

D [p (\cdot ∣ θ), p (\cdot ∣ θ + Δ θ)] = \int (p (х, ∣ θ) - p (х ∣ θ + Δ θ)) журнал (\frac{p (х ∣ θ)}{p (х ∣ θ + Δ θ)}) г х,

$D[p(\,\cdot\,\mid\theta), p(\,\cdot\,\mid\theta + \Delta\theta)] = \int ( p(x,\mid\theta) - p(x\mid\theta + \Delta\theta)) \log\left( \frac{p(x\mid\theta)}{p(x\mid\theta + \Delta\theta)}\right) \,dx \, ,$ в якому . Вводячи позначення деяка проста алгебра дає Використовуючи розширення Тейлора для природного логарифму, ми маємо

Δ θ = (Δ θ_{1}, \dots, Δ θ_{k})

$\Delta\theta=(\Delta\theta_1,\dots,\Delta\theta_k)$

Δ p (х ∣ θ) = p (х ∣ θ) - p (х ∣ θ + Δ θ),

$\Delta p(x\mid\theta) = p(x\mid\theta) - p(x\mid\theta + \Delta\theta) \, ,$

D [p (\cdot ∣ θ), p (\cdot ∣ θ + Δ θ)] = \int \frac{Δ p (x ∣ θ)}{p (x ∣ θ)} \log (1 + \frac{Δ p (x ∣ θ)}{p (x ∣ θ)}) p (x ∣ θ) d x .

$D[p(\;\cdot\,\mid\theta), p(\;\cdot\,\mid\theta + \Delta\theta)] = \int\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \log\left(1+\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right)p(x\mid\theta)\,dx \, .$

\log (1 + \frac{Δ p (x ∣ θ)}{p (x ∣ θ)}) \approx \frac{Δ p (x ∣ θ)}{p (x ∣ θ)},

$\log\left(1+\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right) \approx \frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \, ,$ і тому Але Звідси в якому

D [p (\cdot ∣ θ), p (\cdot ∣ θ + Δ θ)] \approx \int {(\frac{Δ p (x ∣ θ)}{p (x ∣ θ)})}^{2} p (x ∣ θ) d x .

$D[p(\;\cdot\,\mid\theta), p(\;\cdot\,\mid\theta + \Delta\theta)] \approx \int\left(\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right)^2p(x\mid\theta)\,dx \, .$

\frac{Δ p (x ∣ θ)}{p (x ∣ θ)} \approx \frac{1}{p (x ∣ θ)} \sum_{i = 1}^{k} \frac{\partial p (x ∣ θ)}{\partial θ_{i}} Δ θ_{i} = \sum_{i = 1}^{k} \frac{\partial \log p (x ∣ θ)}{\partial θ_{i}} Δ θ_{i} .

$\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \approx \frac{1}{p(x\mid\theta)} \sum_{i=1}^k \frac{\partial p(x\mid\theta)}{\partial\theta_i} \, \Delta\theta_i = \sum_{i=1}^k \frac{\partial \log p(x\mid\theta)}{\partial\theta_i} \, \Delta\theta_i \, .$

D [p (\cdot ∣ θ), p (\cdot ∣ θ + Δ θ)] \approx \sum_{i, j = 1}^{к} г_{i j} Δ θ_{i} Δ θ_{j},

$D[p(\,\cdot\,\mid\theta), p(\,\cdot\,\mid\theta + \Delta\theta)] \approx \sum_{i,j=1}^k g_{ij} \,\Delta\theta_i \, \Delta\theta_j \, ,$

г_{i j} = \int \frac{\partial журнал p (х ∣ θ)}{\partial θ_{i}} \frac{\partial журнал p (х ∣ θ)}{\partial θ_{j}} p (х ∣ θ) г х .

$g_{ij} = \int \frac{\partial \log p(x\mid\theta)}{\partial\theta_i} \frac{\partial \log p(x\mid\theta)}{\partial\theta_j} p(x\mid\theta) \,dx \, .$

Це оригінальний папір:

Джеффріс, Х. (1946). Інваріантна форма для попередньої ймовірності проблем оцінки. Зб. Королівський соц. Лондона, серія A, 186, 453–461.

— Дзен
джерело

1

Дуже дякую за приємне написання. Було б добре, якщо ви також можете допомогти в цьому .

— Кумара

Так, ви правильно сказали. Я повинен вийти з цієї «пастки абстракції».

— Кумара

@zen Ви використовуєте розширення логарифму Тейлора під інтегралом, чому це справедливо?

— Sus20200

1

Наче важливим є те, що ви починаєте з симетризованої дивергенції KL, на відміну від стандартної KL розбіжності. Стаття у Вікіпедії не згадує симетризовану версію, тому вона може бути неправильною. en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence

— хірургічний командир

11

Доказ звичайного (несиметричного) розбіжності KL

У відповіді Дзен використовується симетризована дивергенція KL, але результат має місце і для звичайної форми, оскільки він стає симетричним для нескінченно близьких розподілів.

Ось доказ дискретних розподілів, параметризованих скаляром (тому що я лінивий), але його можна легко переписати для безперервних розподілів або вектора параметрів: $\theta$

D (p_{θ}, p_{θ + г θ}) = \sum p_{θ} журнал p_{θ} - \sum p_{θ} журнал p_{θ + г θ} .

$\begin{equation} D(p_\theta,p_{\theta+d\theta})=\sum p_\theta \log p_\theta - \sum p_\theta \log p_{\theta+d\theta}\ . \end{equation}$ Тейлор-розширення останнього терміна: Припускаючи деякі закономірності, я використав два результати:

= \underset{= 0}{\underset{⏟}{\sum p_{θ} журнал p_{θ} - \sum p_{θ} журнал p_{θ}}} - г θ \underset{= 0 †}{\underset{⏟}{\sum p_{θ} \frac{г}{г θ} журнал p_{θ}}} - \frac{1}{2} {г θ}^{2} \underset{= - \sum p_{θ} (\frac{г}{г θ} журнал p_{θ})^{2} ‡}{\underset{⏟}{\sum p_{θ} \frac{г^{2}}{г θ^{2}} журнал p_{θ}}} + О ({г θ}^{3}) = \frac{1}{2} {г θ}^{2} \underset{Інформація про Фішера}{\underset{⏟}{\sum p_{θ} (\frac{г}{г θ} журнал p_{θ})^{2}}} + О ({г θ}^{3}) .

$\begin{equation} = \underbrace{\sum p_\theta \log p_\theta - \sum p_\theta \log p_\theta}_{=\ 0} - d\theta \underbrace{\sum p_\theta \frac{d}{d\theta}\log p_\theta}_{=\ 0 \ \dagger} - \frac{1}{2}{d\theta}^2 \underbrace{\sum p_\theta \frac{d^2}{d\theta^2}\log p_\theta}_{= -\sum p_\theta (\frac{d}{d\theta}\log p_\theta)^2 \ \ddagger} + \mathcal{O}({d\theta}^3) \\ = \frac{1}{2}{d\theta}^2 \underbrace{\sum p_\theta (\frac{d}{d\theta}\log p_\theta)^2}_{\textrm{Fisher information}} + \mathcal{O}({d\theta}^3). \end{equation}$

† : \sum p_{θ} \frac{г}{г θ} журнал p_{θ} = \sum \frac{г}{г θ} p_{θ} = \frac{г}{г θ} \sum p_{θ} = 0,

$\begin{equation} \dagger: \sum p_\theta \frac{d}{d\theta}\log p_\theta = \sum \frac{d}{d\theta} p_\theta = \frac{d}{d\theta} \sum p_\theta =0, \end{equation}$

\begin{aligned} ‡ : \sum p_{θ} \frac{г^{2}}{г θ^{2}} журнал p_{θ} & = \sum p_{θ} \frac{г}{г θ} (\frac{1}{p_{θ}} \frac{г p_{θ}}{г θ}) \\ = \sum p_{θ} [\frac{1}{p_{θ}} \frac{г^{2} p_{θ}}{г θ} - (\frac{1}{p_{θ}} \frac{г p_{θ}}{г θ})^{2}] \\ = \sum \frac{г^{2} p_{θ}}{г θ^{2}} - \sum p_{θ} (\frac{1}{p_{θ}} \frac{г p_{θ}}{г θ})^{2} \\ = \underset{= 0}{\underset{⏟}{\frac{г^{2}}{г θ^{2}} \sum p_{θ}}} - \sum p_{θ} (\frac{г}{г θ} журнал p_{θ})^{2} . \end{aligned}

$\begin{align} \ddagger: \sum p_\theta \frac{d^2}{d\theta^2}\log p_\theta &= \sum p_\theta \frac{d}{d\theta}(\frac{1}{p_\theta}\frac{dp_\theta}{d\theta}) \\ &= \sum p_\theta \left[\frac{1}{p_\theta}\frac{d^2p_\theta}{d\theta}-(\frac{1}{p_\theta}\frac{dp_\theta}{d\theta})^2\right] \\ &= \sum \frac{d^2p_\theta}{d\theta^2} - \sum p_\theta (\frac{1}{p_\theta} \frac{dp_\theta}{d\theta})^2 \\ &= \underbrace{\frac{d^2}{d\theta^2} \sum p_\theta}_{=\ 0} - \sum {p_\theta} (\frac{d}{d\theta}\log p_\theta)^2. \end{align}$

— Абхраніл Дас
джерело

4

Подібне співвідношення (для одновимірного параметра) можна знайти в рівнянні (3) наступної роботи

Д. Гоо (2009), Відносна ентропія та функція оцінки: Нові інформаційно-оціночні відносини через довільні адитивні обурення , в Зб. Міжнародний симпозіум IEEE з теорії інформації , 814–818. ( стійке посилання ).

Автори посилаються на це

С. Куллбек, інформаційна теорія та статистика . Нью-Йорк: Дувр, 1968.

для підтвердження цього результату.

— Примо Карнера
джерело

1

Багатовимірна версія рівняння (3) цього документу доведена в цитованому тексті Куллбека на сторінках 27-28. Постійна схоже, пропала в питанні про ОП. :)

1 / 2

$1/2$

— кардинал