Чому ентропія максимальна, коли розподіл ймовірностей рівномірний?

32

Я знаю, що ентропія є мірою випадковості процесу / змінної, і її можна визначити наступним чином. для випадкової величини множині : - . У книзі про ентропію та теорію інформації Маккея він подає це твердження в Ch2 $X \in$ $A$ $H(X)= \sum_{x_i \in A} -p(x_i) \log (p(x_i))$

Ентропія максимальна, якщо р рівномірний.

Інтуїтивно, я можу це зрозуміти, як якщо всі точки даних у множині вибираються з однаковою ймовірністю ( є кардинальністю множини ), то випадковість або ентропія збільшуються. Але якщо ми знаємо, що деякі точки в множині відбуватимуться з більшою ймовірністю, ніж інші (скажімо, у випадку нормального розподілу, де максимальна концентрація точок даних становить навколо середнього і невеликого області стандартного відхилення навколо нього, то випадковість або ентропія повинна зменшуватися. $A$ $1/m$ $m$ $A$ $A$

Але чи є для цього математичне підтвердження? Як і рівняння для $H(X)$ я диференціюю його відносно $p(x)$ і встановлюю його на 0 або щось подібне.

Зі сторони, чи є сполучення між ентропією, що відбувається в теорії інформації, та ентропійними обчисленнями в хімії (термодинаміка)?

uniform entropy maximum-entropy

— user76170
джерело

2

На це запитання відповідають (попутно) на сайті stats.stackexchange.com/a/49174/919 .

— whuber

Я дуже плутаюсь з іншим твердженням, викладеним у книзі Крістофера Єпископа, в якому йдеться про те, що "для єдиної реальної змінної розподіл, який максимально сприймає ентропію, є гауссом". Він також зазначає, що «багатофакторний розподіл з максимальною ентропією для даної коваріації є гауссом». Наскільки ця заява справедлива? Чи не завжди ентропія рівномірного розподілу є максимальною завжди?

— користувач76170,

6

Максимізація завжди проводиться з урахуванням обмежень щодо можливого рішення. Коли обмеження полягають у тому, що вся ймовірність повинна вийти за межі визначених меж, максимальний розчин ентропії є рівномірним. Якщо замість цього обмеження полягають у тому, що очікування та дисперсія повинні дорівнювати заздалегідь заданим значенням, рішення МЕ є Гауссом. Заяви, які ви цитуєте, повинні бути зроблені в конкретних контекстах, де ці обмеження були висловлені або принаймні зрозумілі.

— whuber

2

Я, мабуть, також повинен зазначити, що слово "ентропія" означає щось інше в гауссовій обстановці, ніж це в оригінальному питанні тут, тому що ми обговорюємо ентропію безперервних розподілів. Ця "диференціальна ентропія" - це інша тварина, ніж ентропія дискретних розподілів. Основна відмінність полягає в тому, що диференціальна ентропія не є інваріантною при зміні змінних.

— whuber

Отже, що означає, що максимізація завжди стосується обмежень? Що робити, якщо немає обмежень? Я маю на увазі, чи не може бути таке питання? Який розподіл ймовірностей має максимальну ентропію?

— користувач76170

25

Евристично, функція щільності ймовірностей на з максимальною ентропією виявляється такою, яка відповідає найменшому знанню , іншими словами - Уніфікований розподіл. $\{x_1, x_2,..,.x_n\}$ $\{x_1, x_2,..,.x_n\}$

Тепер для більш офіційного доказу врахуйте наступне:

Функція густини ймовірностей на - це набір негативних дійсних чисел які складають до 1. Ентропія - це неперервна функція пар , і ці точки лежать у компактному підмножині , тому існує -tuple, де ентропія максимальна. Ми хочемо показати, що це відбувається в і більше ніде. $\{x_1, x_2,..,.x_n\}$ $p_1,...,p_n$ $n$ $(p_1,...,p_n)$ $\mathbb{R}^n$ $n$ $(1/n,...,1/n)$

Припустимо, не всі рівні, скажімо, . (Ясно, що ) Ми знайдемо нову щільність ймовірностей з більшою ентропією. Потім випливає, оскільки ентропія максимізована в деякому -парі, ця ентропія однозначно максимізована в -tuple з для всіх . $p_j$ $p_1 < p_2$ $n\neq 1$ $n$ $n$ $p_i = 1/n$ $i$

Оскільки , для малого позитивного маємо . Ентропія мінус ентропія дорівнює $p_1 < p_2$ $\varepsilon$ $p_1 + \varepsilon < p_2 -\varepsilon$ $\{p_1 + \varepsilon, p_2 -\varepsilon,p_3,...,p_n\}$ $\{p_1,p_2,p_3,...,p_n\}$

- p_{1} журнал (\frac{p_{1} + ε}{p_{1}}) - ε журнал (p_{1} + ε) - p_{2} журнал (\frac{p_{2} - ε}{p_{2}}) + ε журнал (p_{2} - ε)

$-p_1\log\left(\frac{p_1+\varepsilon}{p_1}\right)-\varepsilon\log(p_1+\varepsilon)-p_2\log\left(\frac{p_2-\varepsilon}{p_2}\right)+\varepsilon\log(p_2-\varepsilon)$ Щоб завершити доказ, ми хочемо показати, що це є позитивним для досить малого . Перепишіть вищевказане рівняння як

ε

$\varepsilon$

- p_{1} \log (1 + \frac{ε}{p_{1}}) - ε (\log p_{1} + \log (1 + \frac{ε}{p_{1}})) - p_{2} \log (1 - \frac{ε}{p_{2}}) + ε (\log p_{2} + \log (1 - \frac{ε}{p_{2}}))

$-p_1\log\left(1+\frac{\varepsilon}{p_1}\right)-\varepsilon\left(\log p_1+\log\left(1+\frac{\varepsilon}{p_1}\right)\right)-p_2\log\left(1-\frac{\varepsilon}{p_2}\right)+\varepsilon\left(\log p_2+\log\left(1-\frac{\varepsilon}{p_2}\right)\right)$

Нагадаючи, що для малого , вищевказане рівняння який є позитивним, коли досить малий, оскільки . $\log(1 + x) = x + O(x^2)$ $x$

- ε - ε журнал p_{1} + ε + ε журнал p_{2} + О (ε^{2}) = ε журнал (p_{2} / p_{1}) + О (ε^{2})

$-\varepsilon-\varepsilon\log p_1 + \varepsilon + \varepsilon \log p_2 + O(\varepsilon^2) = \varepsilon\log(p_2/p_1) + O(\varepsilon^2)$

ε

$\varepsilon$

p_{1} < p_{2}

$p_1 < p_2$

Менш жорстким доказом є наступне:

Розглянемо спочатку наступну лему:

Нехай і неперервні функції щільності ймовірності на інтервалі в дійсних числах, з і на . У нас є якщо існують обидва інтеграли. Більше того, існує рівність тоді і лише тоді, коли для всіх . $p(x)$ $q(x)$ $I$ $p\geq 0$ $q > 0$ $I$

- \int_{Я} p журнал p г х \leq - \int_{Я} p журнал q г х

$-\int_I p\log p dx\leq -\int_I p\log q dx$

p (x) = q (x)

$p(x) = q(x)$

x

$x$

Нехай - будь-яка функція густини ймовірностей на , з . Нехай для всіх , що є ентропією . Тому наша лема говорить , при рівності тоді і тільки тоді, коли є рівномірним. $p$ $\{x_1,...,x_n\}$ $p_i = p(x_i)$ $q_i = 1/n$ $i$

- \sum_{i = 1}^{н} p_{i} журнал q_{i} = \sum_{i = 1}^{н} p_{i} журнал н = журнал н

$-\sum_{i=1}^n p_i\log q_i = \sum_{i=1}^n p_i \log n=\log n$

q

$q$

h (p) \leq h (q)

$h(p)\leq h(q)$

p

$p$

Також у Вікіпедії є коротка дискусія з цього приводу: wiki

— міцус
джерело

11

Я захоплююсь зусиллями представити елементарний доказ (без обчислення). Сувора однолінійна демонстрація доступна через зважену нерівність AM-GM , зазначивши, що = при рівності, якщо iff всі рівні, QED.

\exp (H)

$\exp(H)$

\prod {(\frac{1}{p_{i}})}^{p_{i}} \leq \sum p_{i} \frac{1}{p_{i}} = n

$\prod\left(\frac{1}{p_i}\right)^{p_i}\le\sum p_i\frac{1}{p_i}=n$

1 / p_{i}

$1/p_i$

— whuber

Я не розумію, як може дорівнювати .

\sum \log n

$\sum{\log{n}}$

\log n

$\log{n}$

— user1603472

4

@ user1603472 ти маєш на увазі ? Це тому, що

\sum_{i = 1}^{n} p_{i} \log n = \log n

$\sum\limits_{i=1}^n p_i \log n = \log n$

\sum_{i = 1}^{n} p_{i} \log n = \log n \sum_{i = 1}^{n} p_{i} = \log n \times 1

$\sum\limits_{i=1}^n p_i \log n = \log n \sum\limits_{i=1}^n p_i = \log n \times 1$

— HBeel

@Roland Я витягнув поза сумою, оскільки це не залежить від . Тоді сума дорівнює оскільки - щільність функції масової ймовірності.

\log n

$\log n$

i

$i$

1

$1$

p_{1}, \dots, p_{n}

$p_1,\ldots,p_n$

— HBeel

Те саме пояснення з більш детальною інформацією можна знайти тут: math.uconn.edu/~kconrad/blurbs/analysis/entropypost.pdf

— Роланд

14

Ентропія у фізиці та теорії інформації не пов'язана між собою. Вони більше відрізняються, ніж випливає з назви, але між ними чітко існує зв’язок. Метою ентропійної метрики є вимірювання кількості інформації. Дивіться мою відповідь з графіками тут, щоб показати, як ентропія змінюється від рівномірного розподілу до горбистого.

Причина того, що ентропія максимізована для рівномірного розподілу, полягає в тому, що вона була розроблена так! Так, ми будуємо міру нестачі інформації, тому ми хочемо віднести її найвищу цінність до найменшого інформаційного розповсюдження.

Приклад. Я запитав у вас " Чувак, де моя машина ?" Ваша відповідь - "це десь у США між Атлантичним та Тихим океанами". Це приклад рівномірного розподілу. Мій автомобіль міг бути де завгодно в США. Я не отримав багато інформації з цієї відповіді.

Однак якщо ви сказали мені: "Я бачив вашу машину годину тому на маршруті 66, що прямував із Вашингтона, округ Колумбія" - це вже не рівномірний розподіл. Автомобіль швидше знаходиться в 60 милях від DC, ніж десь поблизу Лос-Анджелеса. Тут явно більше інформації.

Отже, наша міра повинна мати високу ентропію для першої відповіді та нижчу - для другої. Уніформа повинна мати найменший інформативний розподіл, це в основному відповідь "я не маю уявлення".

— Аксакал
джерело

7

Математичний аргумент заснований на нерівності Дженсена для увігнутих функцій. Тобто, якщо - увігнута функція на і - точки в , тоді: $f(x)$ $[a,b]$ $y_1, \ldots y_n$ $[a,b]$ $n \cdot f(\frac{y_1 + \ldots y_n}{n}) \geq f(y_1) + \ldots + f(y_n)$

Застосуйте це для увігнутої функції та нерівності Дженсена для і у вас є доказ. Зауважте, що визначає дискретний розподіл ймовірностей, тому їх сума дорівнює 1. Що ви отримуєте, це , з рівністю для рівномірного розподілу. $f(x) = -x \log(x)$ $y_i = p(x_i)$ $p(x_i)$ $log(n) \geq \sum_{i=1}^n - p(x_i) log(p(x_i))$

— Октавіан Ганея
джерело

1

Я фактично вважаю доказ нерівності Дженсена набагато глибшим доказом концептуально, ніж той, що стосується AM-GM.

— Casebash

4

Зі сторони, чи є сполучення між ентропією, що відбувається в теорії інформації, та ентропійними обчисленнями в хімії (термодинаміка)?

Так, є! Ви можете побачити роботи Джейнеса та багатьох інших, що стежать за його роботою (наприклад, тут і тут , наприклад).

Але головна ідея полягає в тому, що статистичну механіку (та й інші галузі науки) також можна розглядати як висновок, який ми робимо про світ .

Для подальшого читання я рекомендую книгу Аріеля Катіхи на цю тему.

— kaslusimoes
джерело

1

Інтуїтивне пояснення:

Якщо ми введемо більше маси ймовірності в одну подію випадкової величини, нам доведеться відняти деякі з інших подій. Один матиме менший інформаційний вміст і більше ваги, інший більше інформаційного наповнення та меншу вагу. Тому ентропія, яка є очікуваним інформаційним вмістом, знизиться, оскільки подія з меншим інформаційним вмістом буде зважена більше.

Як крайній випадок, уявіть, що одна подія отримує ймовірність майже однієї, тому інші події матимуть загальну ймовірність майже нуля, а ентропія буде дуже низькою.

— Роланд
джерело

0

$p_i$

$p_i$ $i=1,...,n$ $q = 1-\sum_{i=0}^{n-1} p_i$

\begin{aligned} Н & = - \sum_{i = 0}^{н - 1} p_{i} журнал p_{i} - (1 - q) журнал q \\ Н * \ln 2 & = - \sum_{i = 0}^{н - 1} p_{i} \ln p_{i} - (1 - q) \ln q \end{aligned}

$\begin{align} H &= -\sum_{i=0}^{n-1} p_i \log p_i - (1-q)\log q\\ H*\ln 2 &= -\sum_{i=0}^{n-1} p_i \ln p_i - (1-q)\ln q \end{align}$

\begin{aligned} \frac{\partial Н}{\partial p_{i}} & = \ln \frac{q}{p_{i}} = 0 \end{aligned}

$\begin{align} \frac{\partial H}{\partial p_i} &= \ln \frac{q}{p_i} = 0 \end{align}$

q = p_{i}

$q = p_i$

i

$i$

p_{1} = p_{2} = . . . = p_{n}

$p_1=p_2=...=p_n$

— Ян Вентилятор
джерело

p_{i}

$p_i$