Диференціальна ентропія

Диференціальна ентропія РВ - . Це залежить від , що є стандартним відхиленням. $\log_2(\sigma \sqrt{2\pi e})$ $\sigma$

Якщо нормалізувати випадкову величину, щоб вона мала одиничну дисперсію, її диференціальна ентропія падає. Для мене це контрінтуїтивно, тому що складність нормалізації Колмогорова повинна бути дуже малою порівняно зі зменшенням ентропії. Можна просто розробити декодер кодера, який ділить / множиться з константою нормалізації, щоб відновити будь-який набір даних, породжений цією випадковою змінною.

Можливо, моє розуміння вимкнено. Не могли б ви вказати на мою ваду?

information-theory entropy randomness

— Cagdas Ozgenc
джерело

Я подумаю в цьому, хоча це трохи вище моєї голови, тому пригощайте посипкою сіллю ...

Ви не зовсім помиляєтесь. Я думаю, що там, де ваш думковий експеримент падає, це те, що диференціальна ентропія не є обмежувальним випадком ентропії. Я здогадуюсь, що через це втрачаються паралелі між нею і складністю Колмогорова.

Припустимо, ми маємо дискретну випадкову величину . Ми можемо обчислити його ентропію Шеннона наступним чином шляхом підсумовування всіх можливих значень , $X$ $x_i$

H (X) = - \sum_{i} P (X = x_{i}) \log (P (X = x_{i})) .

$H(X) = -\sum_i P(X=x_i) \log \big( P(X=x_i) \big).$

Поки що нудно. Тепер скажемо, що - це кількісна версія неперервної випадкової величини - скажімо, у нас є функція щільності яка генерує вибірки з набору дійсних чисел, і ми перетворюємо це на гістограму. У нас буде досить тонка гістограма, що функція щільності по суті лінійна. У такому випадку у нас відбудеться ентропія щось подібне, де - ширина наших гістограм, а - середина кожного. У нас є логарифм продукту - давайте розділимо його та використаємо властивість розподілів ймовірностей, що підсумовують 1, щоб перемістити його за межі підсумовування, давши нам $X$ $p()$

H (X) \approx - \sum_{i} p (X = x_{i}) δ x \log (p (X = x_{i}) δ x),

$H(X) \approx -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \delta x \big),$

δ x

$\delta x$

x_{i}

$x_i$

H (X) \approx - \log (δ x) - \sum_{i} p (X = x_{i}) δ x \log (p (X = x_{i})) .

$H(X) \approx -\log \big( \delta x \big) -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \big).$

Якщо ми візьмемо обмеження, відпустивши і перетворивши підсумок в інтеграцію, наше наближення стає точним, і отримаємо наступне, $\delta x \rightarrow dx$

H (X) = - \log (d x) - \int_{x} p (X = x) \log (p (X = x)) d x .

$H(X) = -\log \big( dx \big) -\int_x p(X=x) \log \big( p(X=x) \big)dx.$

Термін у правій частині - це диференціальна ентропія. Але подивіться на цей жахливий термін. Ми повинні ігнорувати це, щоб усі наші відповіді не були NaN. Боюся, це означає, що диференціальна ентропія не є обмежувальним випадком ентропії Шеннона. $\log \big( dx \big)$

Отже, ми втрачаємо деякі властивості. Так, зміни масштабу ваших даних змінює диференціальну ентропію - диференціальна ентропія - це міра того, наскільки 'щільно упакований' pdf. Якщо змінити його масштаб, то це зміниться. Ще одна цікава властивість полягає в тому, що вона може стати негативною, на відміну від ентропії Шеннона - спробуйте налаштувати дійсно дуже мало і побачити, що відбувається. Втрата посилання на складність Колмогорова, я думаю, це лише черговий випадок. $\sigma$

На щастя, ми не зовсім загублені. Кулбек-Лейблер розбіжності і, розширюючи взаємну інформацію, досить добре поводяться, оскільки всі відміняються. Наприклад, ви можете обчислити де - деякий еталонний розподіл - скажімо, рівномірний. Це завжди позитивно, і коли ви змінюєте масштаб змінної вона змінюється як і , тому результати набагато менш серйозні. $\delta$

\int_{x} p (X = x) \log (\frac{p (X = x)}{q (X = x)}) d x

$\int_x p(X=x) \log \Bigg( \frac{p(X=x)}{q(X=x)} \Bigg) dx$

q (X)

$q(X)$

X

$X$

p (X)

$p(X)$

q (X)

$q(X)$

— Пат
джерело

Дякую. Це дуже цікаво. Я не знав, що в теорії є така хитрість.

— Cagdas Ozgenc

Позначення насправді не дуже значуще, але ми можемо перетворити частину вашої експозиції в щось трохи точніше. Дійсно, якщо щільність є інтегральною Ріманом, то як . Інтерпретація цього, яке ви часто бачите, полягає в тому, що бітове квантування безперервної випадкової величини має ентропію приблизно .

\log (d x)

$\log(\mathrm d x)$

p (x)

$p(x)$

- \sum_{i} p (x_{i}) δ x \log p (x_{i}) \to h (X)

$-\sum_{i} p(x_i) \delta x \log p(x_i) \to h(X)$

δ x \to 0

$\delta x \to 0$

n

$n$

h (X) + n

$h(X) + n$

— кардинал

@Cardinal. Так, я знав, що - жахливо дивна річ, про яку потрібно говорити, коли я це писав. Однак я думаю, що про це таким чином допомагає реально їхати додому, чому диференціальна ентропія насправді не є ентропією.

\log (d x)

$\log(d x)$

— Пат

@Cagdas - Не хочу, якщо я б назвав це трюком. Це просто виміряти іншу річ. І як вказує кардинал, він має певну користь. Що стосується того, чи зламається він при застосуванні до біномінального розподілу, ну, залежить, як ви його застосуєте :). Можливо, варто почати нову тему, якщо ви не впевнені.

— Пат

Я вважав, що ентропія, очевидно, відрізняється від складності Колмогорова, коли враховувати генератори псевдовипадкових чисел.

— Джеймс Баурі