Як інтерпретувати диференційну ентропію?

Нещодавно я прочитав цю статтю про ентропію дискретного розподілу ймовірностей. Він описує приємний спосіб мислення про ентропію як очікувану кількість бітів (принаймні, при використанні у вашому визначенні ентропії), необхідного для кодування повідомлення, коли ваше кодування є оптимальним, враховуючи розподіл ймовірності вживаних вами слів. $\log_2$

Однак, поширюючись на безперервний випадок, як тут, я вважаю, що такий спосіб мислення руйнується, оскільки для будь-якого безперервного розподілу ймовірностей (будь ласка, виправте мене, якщо це неправильно), тому я був цікаво, чи існує приємний спосіб думати про те, що означає безперервна ентропія, як і у випадку з дискретним випадком. $\sum_x p(x) = \infty$ $p(x)$

entropy information-theory

— діппінарк
джерело

Ви намагалися прочитати статті Вікіпедії про ентропію та диференційну ентропію?

— ttnphns

Постійний розподіл не має функції масової ймовірності. Аналог у безперервному випадку є інтегралом щільності ймовірності, а інтеграл у всьому діапазоні x дорівнює 1.

— Майкл Р. Черник

@MichaelChernick Я не говорив, що у нього був такий, але спосіб роздуму про дискретний випадок залежить від того, що сума дорівнює 1.

— dippynark

@ttnphns ні у мене немає, але я перевірю їх зараз, дякую.

— dippynark

Дивіться також stats.stackexchange.com/questions/66186/… для тлумачення ентропії Шеннона. Деякі ідеї можна передати.

— kjetil b halvorsen

Не існує трактування диференціальної ентропії, яке було б таким же значущим або корисним, як і ентропія. Проблема з безперервними випадковими змінними полягає в тому, що їх значення, як правило, мають 0 ймовірності, і тому потрібно кодувати нескінченну кількість біт.

$[n\varepsilon, (n + 1)\varepsilon[$

- \int p (x) \log_{2} p (x) d x - \log_{2} ε

$-\int p(x) \log_2 p(x) \, dx - \log_2 \varepsilon$

а не диференціальна ентропія. Ця кількість в певному сенсі є більш значущою, але буде розходитися до нескінченності, оскільки ми будемо робити менші та менші інтервали. Це має сенс, оскільки нам потрібно більше і більше бітів, щоб кодувати, в який з багатьох інтервалів падає значення нашого випадкового значення.

Більш корисною кількістю для спостереження за постійними розподілами є відносна ентропія (також розбіжність Куллбека-Лейблера). Для дискретних розподілів:

D_{KL} [P | | Q] = \sum_{x} P (x) \log_{2} \frac{P (x)}{Q (x)} .

$D_\text{KL}[P || Q] = \sum_x P(x) \log_2 \frac{P(x)}{Q(x)}.$

$P$ $-\log Q_2(x)$ $x$

D_{KL} [p ∣∣ q] = \int p (x) \log_{2} \frac{p (x)}{q (x)} d x,

$D_\text{KL}[p \mid\mid q] = \int p(x) \log_2 \frac{p(x)}{q(x)} \, dx,$

$\log_2 \varepsilon$

$p(x)$ $\lambda(x) = 1$

- \int p (x) \log_{2} p (x) d x = - D_{KL} [p ∣∣ λ] .

$-\int p(x) \log_2 p(x) \, dx = -D_\text{KL}[p \mid\mid \lambda].$

$-\log_2 \int_{n\varepsilon}^{(n + 1)\varepsilon} p(x) \, dx$ $n$ $-\log \varepsilon$ $\lambda$

Дивіться розмову Серхіо Верду, де ви знайдете чудове вступ до відносної ентропії.

— Лукас
джерело