Гарне введення в різні види ентропії

18

Я шукаю книгу чи Інтернет-ресурс, який пояснює різні види ентропії, такі як Ентропія зразків та Ентропія Шеннона та їх переваги та недоліки. Чи може хтось вказати мені в правильному напрямку?

references entropy

— Християнин
джерело

9

Обкладинка та книга Томаса Елементи інформаційної теорії є хорошим джерелом ентропії та її застосувань, хоча я не знаю, що вона стосується саме тих питань, які ви маєте на увазі.

— Марк Меккес
джерело

4

Також у статті "Інформаційно-теоретичні нерівності" Дембо Ковер та Томаса розкривається багато глибоких аспектів

— Робін Жирард

1

Проте жодна з цих книг не стверджує, що ентропія існує більше.

5

Ці лекційні конспекти О. Джонсона з теорії інформації містять хороший вступ до різних видів ентропії.

— Алекк
джерело

4

Якщо вас цікавить математична статистика щодо ентропії, ви можете проконсультуватися з цією книгою

http://www.renyi.hu/~csiszar/Publications/Information_Theory_and_Statistics:_A_Tutorial.pdf

це у вільному доступі!

— Робін Жирард
джерело

2

Ентропія лише одна (як поняття) - кількість інформації, необхідної для опису якоїсь системи; є лише багато його узагальнень. Зразок ентропії - це лише деякий дескриптор, подібний до ентропії, який використовується при аналізі серцевого ритму.

Я знаю, однак це не допомагає мені вирішити, чи застосовувати зразкову ентропію або ентропію Шеннона чи інший вид ентропії для даних, з якими я працюю.

— Крістіан

2

Те, що я написав у своєму дописі, полягає лише в тому, що для певного типу даних / процесу / системи існує лише одне істинне визначення ентропії. Зразок ентропії не є заходом ентропії, це лише якась статистика із заплутаною назвою. Поставте запитання, де ви визначаєте дані, для яких потрібно обчислити ентропію, і отримаєте формулу.

Мене не цікавить правда, але отримання функції, яка працює. Я біоінформатор і вчив не шукати догматичної правди, а шукати статистику, яка працює. Я не думаю, що там робиться робота з тими даними, які я хочу працювати з тією специфікою, яка ентропія працює найкраще. Ось такий момент, чому я хочу працювати з даними.

— Крістіан

2

Правильно, але це не дискусія про догматичні істини, а про слова. Ви запитали про ентропію, тому я відповів про ентропію. Оскільки тепер я бачу, що вам справді потрібна відповідь про дескриптори часових рядів, напишіть питання про дескриптори часових рядів, тільки тоді ви отримаєте корисну відповідь.

2

Джейнес показує, як вивести ентропію Шеннона з основних принципів у своїй книзі .

$n!$ $n^n$

\frac{1}{н} журнал \frac{н!}{(н p_{1})! \dots (н p_{г})!}

$\frac{1}{n}\log \frac{n!}{(n p_1)!\cdots (n p_d)!}$

$d$ $p$

— Ярослав Булатов
джерело

1

n^{n}

$n^n$

n!

$n!$

\log (n!) \sim n \log n - n + O (1)

$\log(n!) \sim n \log n - n + O(1)$

n

$n$

p_{1} + \dots + p_{d} = 1

$p_1 + \cdots+ p_d = 1$

2

Теорія ігор Грюнвальда та Давіда , максимальна ентропія, мінімальна невідповідність та міцна байєсівська теорія рішень обговорюють узагальнення традиційного поняття ентропії. Враховуючи втрату, пов'язаною з нею функцією ентропії є відображення від розподілу до мінімально досяжної очікуваної втрати для цього розподілу. Звичайною функцією ентропії є узагальнена ентропія, пов'язана з втратою журналу. Інші варіанти втрат дають різні ентропії, такі як ентропія Ренея.

— Марк Рейд
джерело

1

Отже, сигма - це ентропія N (0, сигма), що відповідає помилці квадрата, а min (p, 1-p) - ентропія Бернуллі (p), що відповідає 0,1 втраті прогнозування? Схоже, цілком узагальнення!

— Ярослав Булатов

Так. Ентропія для квадратних втрат є постійною, а ентропія для втрати 0-1 - хв (p, 1-p). Що також цікаво, це те, що вони також мають сильну відповідність розбіжностям. Квадратні втрати для розбіжності Хеллінгера і 0-1 втрати для варіативної дивергенції. Оскільки ентропії, визначені таким чином, вони обов'язково є увігнутими функціями, і виходить f-дивергенція, побудована за допомогою f (p) = -entropy (p). Ми з Боб Вільямсоном дослідили щось із цього в нашій статті: arxiv.org/abs/0901.0356 . Це веселі речі.

— Марк Рейд

1

Ось щось цікаве я нещодавно дізнався про розбіжності - кожен крок розповсюдження віри можна розглядати як Bregman Projection ece.drexel.edu/walsh/Walsh_TIT_10.pdf

— Ярослав Булатов