Що нам говорить ентропія?

Я читаю про ентропію і важко розумію, що це означає у безперервному випадку. На сторінці вікі зазначено наступне:

Розподіл ймовірностей подій у поєднанні з інформаційною кількістю кожної події утворює випадкову змінну, очікуваним значенням якої є середня кількість інформації, або ентропія, що генерується цим розподілом.

Отже, якщо я обчислюю ентропію, пов'язану з розподілом вірогідності, який є безперервним, що це насправді говорить? Вони дають приклад про гортання монет, тому дискретний випадок, але якщо є інтуїтивно зрозумілий спосіб пояснити такий приклад у безперервному випадку, це було б чудово!

Якщо це допомагає, визначення ентропії для безперервної випадкової величини таке: $X$

H (X) = - \int P (x) \log_{b} P (x) d x

$H(X)=-\int P(x)\log_b P(x)dx$ де - функція розподілу ймовірностей.

P (x)

$P(x)$

Щоб спробувати зробити це більш конкретним, розглянемо випадок , тоді, згідно Вікіпедії , ентропія - це $X\sim \text{Gamma}(\alpha,\beta)$

\begin{aligned} H (X) & = E [- \ln (P (X))] \\ = E [- α \ln (β) + \ln (Γ (α)) + \ln (Γ (α)) - (α - 1) \ln (X) + β X] \\ = α - \ln (β) + \ln (Γ (α)) + (1 - α) (\frac{d}{d α} \ln (Γ (α))) \end{aligned}

$\begin{align} H(X)&=\mathbb{E}[-\ln(P(X))]\\ &=\mathbb{E}[-\alpha\ln(\beta)+\ln(\Gamma(\alpha))+\ln(\Gamma(\alpha))-(\alpha-1)\ln(X)+\beta X]\\ &=\alpha-\ln(\beta)+\ln(\Gamma(\alpha))+(1-\alpha)\left(\frac{d}{d\alpha}\ln(\Gamma(\alpha))\right) \end{align}$

І тому тепер ми обчислили ентропію для безперервного розподілу (розподілу Гамми), і тому, якщо я зараз оцінюю цей вираз, , з урахуванням та , що ця кількість насправді говорить мені? $H(X)$ $\alpha$ $\beta$

entropy

— Іржавий статистик
джерело

(+1) Ця цитата посилається на справді невдалий уривок. Це намагається кропітками та непрозорими способами описати та інтерпретувати математичне визначення ентропії. Це визначення - . Його можна розглядати як математичне очікування , де є PDF випадкової величини . Він намагається охарактеризувати як "кількість інформації", пов'язану з числом .

\int f (x) \log (f (x)) d x

$\int f(x)\log(f(x))dx$

\log (f (X))

$\log(f(X))$

f

$f$

X

$X$

\log (f (x))

$\log(f(x))$

x

$x$

— whuber

Варто запитати, тому що є делікатне, але важливе технічне питання: безперервна версія ентропії не зовсім володіє тими ж властивостями, що й дискретна версія (яка має природну, інтуїтивну інтерпретацію щодо інформації). @Tim AFAIK, цей потік з Математики стосується лише дискретного випадку.

— whuber

@RustyStatistician вважає як про те, як дивує результат x. Потім ви підраховуєте очікуваний сюрприз.

- \log (f (x))

$-\log\left(f\left(x\right)\right)$

— Адріан

Повторне технічне питання @whuber посилання, це може зацікавити.

— Шон Пасха

У разі , якщо ви зацікавлені в технічних: Ентропії є на основі від псевдометрікі називається дивергенція Кульбака-Лейблер , який використовується для опису відстаней між подіями у відповідній мірі, см projecteuclid.org/euclid.aoms/1177729694 для оригіналу ( і грубозахисний) папір Kullback і Leibler. Концепція також з’являється в таких критеріях вибору моделі, як AIC та BIC.

— Jeremias K

Відповіді:

Ентропія повідомляє, скільки невизначеностей у системі. Скажімо, ви шукаєте кота, і ви знаєте, що він знаходиться десь між вашим будинком та сусідами, що за 1 милю. Ваші діти говорять вам, що вірогідність того, що кішка перебуває на відстані від вашого будинку, найкраще описується шляхом бета-розподілу . Таким чином, кішка може бути десь від 0 до 1, але більше шансів бути посередині, тобто . $x$ $f(x;2,2)$ $x_{max}=1/2$

Давайте підключіть бета-розподіл до вашого рівняння, тоді ви отримаєте . $H=-0.125$

Далі ви запитуєте свою дружину, і вона каже вам, що найкращий розподіл для опису її знань про вашу кішку - це рівномірний розподіл. Якщо ви підключите його до рівняння ентропії, ви отримаєте . $H=0$

Як рівномірний, так і бета-розподіл дозволяють кішці знаходитися де-небудь від 0 до 1 милі від вашого будинку, але в уніформі є більше невизначеності, оскільки ваша дружина насправді не має уявлення, де ховається кішка, а діти мають якусь ідею , вони думають, що це більше швидше за все, десь посередині. Тому ентропія Бета нижча, ніж уніформа.

Ви можете спробувати інші дистрибуції, можливо, ваш сусід каже вам, що кіт любить бути поруч із будь-яким із будинків, тому його бета-розподіл з . Її повинен бути знову нижчим, ніж у мундиру, тому що ви отримуєте деяке уявлення про те, де шукати кота. Здогадайтесь, чи інформація ентропії вашого сусіда вище чи нижче, ніж у дітей? Я б колись робив ставку на дітей на ці питання. $\alpha=\beta=1/2$ $H$

ОНОВЛЕННЯ:

Як це працює? Один із способів думати про це - почати з рівномірного розподілу. Якщо ви згодні, що це найбільше невизначеність, тоді подумайте, як це порушити. Давайте розглянемо дискретний випадок простоти. Візьміть від однієї точки і додайте її до іншої так: $\Delta p$

p_{i}^{'} = p - Δ p

$p_i'=p-\Delta p$

p_{j}^{'} = p + Δ p

$p_j'=p+\Delta p$

Тепер давайте подивимося, як змінюється ентропія: Це означає, що будь-яке порушення від рівномірного розподілу зменшує ентропію (невизначеність). Щоб показати те саме в безперервному випадку, мені доведеться використовувати числення варіацій або щось подібне, але ви отримаєте такий же результат, як правило.

H - H^{'} = p_{i} \ln p_{i} - p_{i} \ln (p_{i} - Δ p) + p_{j} \ln p_{j} - p_{j} \ln (p_{j} + Δ p)

$H-H'=p_i\ln p_i-p_i\ln (p_i-\Delta p)+p_j\ln p_j-p_j\ln (p_j+\Delta p)$

= p \ln p - p \ln [p (1 - Δ p / p)] + p \ln p - p \ln [p (1 + Δ p / p)]

$=p\ln p-p\ln [p(1-\Delta p/p)]+p\ln p-p\ln [p(1+\Delta p/p)]$

= - \ln (1 - Δ p / p) - \ln (1 + Δ p / p) > 0

$=-\ln (1-\Delta p/p)-\ln (1+\Delta p/p)>0$

ОНОВЛЕННЯ 2: Середнє значення рівномірних випадкових змінних є самою випадковою змінною, і це від розподілу Bates . З CLT ми знаємо, що дисперсія цієї нової випадкової змінної зменшується як . Отже, невизначеність його розташування повинна зменшуватися зі збільшенням : ми все більше і більше впевнені, що кішка посередині. Мій наступний графік та код MATLAB показує, як ентропія зменшується з 0 для (рівномірний розподіл) до . Тут я використовую бібліотеку distributions31 . $n$ $n\to\infty$ $n$ $n=1$ $n=13$

x = 0:0.01:1;
for k=1:5
    i = 1 + (k-1)*3;
    idx(k) = i;
    f = @(x)bates_pdf(x,i);
    funb=@(x)f(x).*log(f(x));
    fun = @(x)arrayfun(funb,x);
    h(k) = -integral(fun,0,1);
    subplot(1,5+1,k)

    plot(x,arrayfun(f,x))
    title(['Bates(x,' num2str(i) ')'])
    ylim([0 6])
end

subplot(1,5+1,5+1)
plot(idx,h)
title 'Entropy'

— Аксакал
джерело

(+1) Я зачекаю, щоб побачити інші інтерпретації, але мені це дуже подобається. Тож здається, що ви можете використовувати ентропію як міру впевненості, що вам потрібно порівняти її з іншими розподілами? Тобто, число саме по собі не говорить вам багато?

— RustyStatistician

@RustyStatistician, я б не сказав, що його абсолютне значення є абсолютно безглуздим. Але так, це найкорисніше, коли використовується для порівняння станів системи. Найпростіший спосіб інтерналізації ентропії - це сприймати це як міру невизначеності

— Аксакал,

Проблема з цією відповіддю полягає в тому, що термін "невизначеність" залишається невизначеним.

— kjetil b halvorsen

термін залишається невизначеним

— Аксакал

Це дуже приємно.

— Астрід

Я хотів би додати пряму відповідь на це питання:

що насправді говорить ця кількість?

Інтуїтивно зрозуміти це в дискретному сценарії. Припустимо, що ви кидаєте сильно упереджену монету, кажучи, що ймовірність побачити голову на кожному перевороті становить 0,99. Кожен фактичний фліп дає вам дуже мало інформації, оскільки ви вже майже знаєте, що це буде голова. Але якщо мова йде про більш справедливу монету, вам не важче мати ідею, чого очікувати, тоді кожен фліп повідомляє вам більше інформації, ніж будь-яка більш упереджена монета. Кількість інформації, отриманої в результаті спостереження за одним жеребом, прирівнюється до . $\log \frac{1}{p(x)}$

Що нам говорить кількість ентропії - це інформація, яку може передати кожне фактичне перевертання (середньозважене) : . Чим справедливіша монета, тим більша ентропія, і цілком справедлива монета буде максимально інформативною. $E \log \frac{1}{p(x)} = \sum p(x) \log \frac{1}{p(x)}$

— Лернер Чжан
джерело