Чи є якась користь для величини у статистиці чи теорії інформації?

\int f (x)^{2} d x

$\int f(x)^2 dx$

probability entropy information-theory

— charles.y.zheng
джерело

Ентропія Рені

— кардинал

f

$f$ - це pdf, так?

— whuber

Так, - щільність.

f

$f$

— charles.y.zheng

@cardinal відповідь!

@mbq: Гаразд, я спробую набрати щось пізніше, що варте відповіді. :)

— кардинал

Нехай позначає функцію густини ймовірностей (або стосовно Лебега, або міри підрахунку відповідно), кількість відомий як ентропія Renyi порядку 0 . Це узагальнення ентропії Шеннона, яке зберігає багато однакових властивостей. Для випадку інтерпретуємо як , і це відповідає стандартній ентропії Шеннона . $f$ $\newcommand{\rd}{\mathrm{d}}$

H_{α} (f) = - \frac{1}{α - 1} \log (\int f^{α} d μ)

$H_\alpha(f) = -\frac{1}{\alpha-1} \log(\textstyle\int f^\alpha \rd \mu)$

α \geq 0

$\alpha \geq 0$

α = 1

$\alpha = 1$

H_{1} (f)

$H_1(f)$

lim_{α \to 1} H_{α} (f)

$\lim_{\alpha \to 1} H_{\alpha}(f)$

H (f)

$H(f)$

Рені представив це у своїй роботі

А. Реній, Про заходи інформації та ентропію , Зб. 4-й Берклі-симп. з математики, стат. і Проб. (1960), стор 547–561.

що варто прочитати не лише щодо ідей, але й для зразкового стилю експозиції.

Випадок є одним із найбільш поширених варіантів для і цей особливий випадок часто також називають ентропією Рені. Тут ми бачимо, що для випадкова величина, розподілена з щільністю . $\alpha = 2$ $\alpha$

H_{2} (f) = - \log (\int f^{2} d μ) = - \log (E f (X))

$\newcommand{\e}{\mathbb{E}} H_2(f) = - \log( \textstyle\int f^2 \rd \mu ) = -\log( \e f(X) )$

f

$f$

Зауважимо, що - це опукла функція, і тому за нерівністю Дженсена маємо де права частина позначає ентропію Шеннона. Отже, ентропія Рені забезпечує нижню межу для ентропії Шеннона, і в багатьох випадках її легше обчислити. $- \log(x)$

H_{2} (f) = - \log (E f (X)) \leq E (- \log f (X)) = - E \log f (X) = H (f)

$H_2(f) = -\log( \e f(X) ) \leq \e( -\log f(X) ) = - \e \log f(X) = H(f)$

Інший природний екземпляр, в якому виникає ентропія Рені, - це розгляд дискретної випадкової величини та незалежної копії . У деяких сценаріях ми хочемо знати ймовірність того, що , що за елементарним обчисленням є $X$ $X^\star$ $X = X^\star$

P (X = X^{⋆}) = \sum_{i = 1}^{\infty} P (X = x_{i}, X^{⋆} = x_{i}) = \sum_{i = 1}^{\infty} P (X = x_{i}) P (X^{⋆} = x_{i}) = e^{- H_{2} (f)} .

$\renewcommand{\Pr}{\mathbb{P}} \Pr(X = X^\star) = \sum_{i=1}^\infty \Pr(X = x_i, X^\star = x_i) = \sum_{i=1}^\infty \Pr(X = x_i) \Pr(X^\star = x_i) = e^{-H_2(f)} .$

Тут позначає щільність відносно міри підрахунку на множині значень . $f$ $\Omega = \{x_i: i \in \mathbb{N}\}$

Ентропія (загальна) Рені також, мабуть, пов'язана з вільною енергією системи в тепловій рівновазі, хоча я особисто не займаюся цим. (Дуже) недавній документ на цю тему є

JC Baez, ентропія Рені і вільна енергія , arXiv [kvant-ph] 1101.2098 (лют. 2011).

— кардинальний
джерело

Я справді використовував ентропію Рені як заміну для ентропії Шеннона; приємно бачити підтвердження моєї інтуїції. Дякую за освічуючу відповідь.

— charles.y.zheng

Багато (але не всі!) Властивостей та корисності ентропії Шеннона випливають із її опуклості. Якщо подивитися на набір результатів основ теорії інформації, вони більш-менш залежать від нерівності Дженсена. Отже, у певному (розпливчастому) розумінні не надто багато, що є (страшенно) особливим щодо як особливої нелінійності, що призводить до поняття "інформація".

- \log x

$-\log x$

— кардинал

Я бачу. Зокрема, мені потрібна властивість, що максимальний ентропійний спільний розподіл, який задовольняє заданим маргіналам, є добутком маргіналів (що ви отримаєте від незалежності)

— charles.y.zheng