Доведіть, що максимальний розподіл ентропії з фіксованою матрицею коваріації є гауссом

13

Я намагаюсь скрутити наступний доказ того, що у Гауса є максимальна ентропія.

Як має значення зірковий крок? Конкретна коваріація фіксує лише другий момент. Що відбувається з третім, четвертим, п'ятим моментами тощо?

entropy information-theory maximum-entropy

— Тарраре
джерело

13

Зірковий крок дійсний, оскільки (a) і мають однаковий нульовий і другий моменти, і (b) є поліноміальною функцією компонентів , члени яких мають загальні градуси або . $p$ $q$ $\log(p)$ $\mathbf{x}$ $0$ $2$

Потрібно знати лише дві речі про багатоваріантний нормальний розподіл з нульовим середнім:

$\log(p)$ - квадратична функція без лінійних доданків . Зокрема, є константи і для яких $\mathbf{x}=(x_1,x_2,\ldots,x_n)$ $C$ $p_{ij}$
$\log (p (x)) = C + \sum_{i, j = 1}^{n} p_{i j} x_{i} x_{j} .$ $\log(p(\mathbf{x}))=C + \sum_{i,j=1}^n p_{ij}\, x_i x_j.$
(Звичайно, і можна записати через , але ця деталь не має значення.) $C$ $p_{ij}$ $\Sigma$
$\Sigma$ дає другий момент розподілу. Тобто,
$Σ_{i j} = E_{p} (x_{i} x_{j}) = \int p (x) x_{i} x_{j} d x .$ $\Sigma_{ij}=E_p(x_i x_j) = \int p(\mathbf{x})\, x_ix_j\, d\mathbf{x}.$

Ми можемо використовувати цю інформацію для опрацювання інтегралу:

\begin{aligned} \int (q (x) - p (x)) \log (p (x)) d x \\ = & \int (q (x) - p (x)) (C + \sum_{i, j = 1}^{n} p_{i j} x_{i} x_{j}) d x . \end{aligned}

$\eqalign{ & &\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x} \\ &= &\int(q(\mathbf{x}) - p(\mathbf{x}))\left(C + \sum_{i,j=1}^n p_{ij}\, x_i x_j\right)d\mathbf{x}. }$

Він розбивається на суму двох частин:

$\int(q(x) - p(x))C\, d\mathbf{x} = C\left(\int q(\mathbf{x}) d\mathbf{x} - \int p(\mathbf{x}) d\mathbf{x}\right) = C(1 - 1) = 0$ , оскільки і і - функції щільності ймовірності. $q$ $p$
$\int(q(\mathbf{x}) - p(\mathbf{x})) \sum_{i,j=1}^n p_{ij}\, x_i x_jd\mathbf{x} = \sum_{i,j=1}^n p_{ij}\int(q(\mathbf{x}) - p(\mathbf{x}))x_i x_jd\mathbf{x} = 0$ оскільки кожен з інтегралів праворуч сторона, та , має те саме значення (дотепно, ). Це те, що призначене сказати зауваження "дають ті самі моменти квадратичної форми". $\int q(\mathbf{x}) x_i x_jd\mathbf{x}$ $\int p(\mathbf{x}) x_i x_jd\mathbf{x}$ $\Sigma_{ij}$

Результат випливає негайно: оскільки , робимо висновок що $\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x}=0$ $\int q(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x} = \int p(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x}.$

— дзижчати
джерело

1

Я думаю, що трапляється так, що у інтегралах як (4.27), так і (4.28) у вас є і множення доданків на форму (тому що - це нормальна щільність , коли ви берете журнал, ви отримуєте саме такі умови з експонента плюс константи). Але тоді умови теореми гарантує , що ті члени , помножених або з інтегрувати в той же значення. $q(x)$ $p(x)$ $\sigma_{ij}x_ix_j$ $p(x)$ $p(x)$ $q(x)$

— Ф. Туселл
джерело