Хто ввів термін "емпірична ентропія"?

Я знаю роботу Шеннона з ентропією, але останнім часом я працював над стислими структурами даних, в яких емпірична ентропія часто використовується як частина аналізу зберігання.

Шеннон визначив ентропію інформації, яку виробляє дискретний джерело інформації, як $-\sum_{i=1}^k p_i \log{p_i}$ , де $p_i$ - це ймовірність події $i$ виникають, наприклад, генерується конкретний символ, і вони є $k$ можливі події.

Як вказує MCH у коментарях, емпірична ентропія - це ентропія емпіричного розподілу цих подій, і таким чином надається $-\sum_{i=1}^k \frac{n_{i}}{n} \log{\frac{n_{i}}{n}}$ де $n_{i}$ - кількість спостережуваних подій, що спостерігаються $i$ і $n$ - загальна кількість спостережуваних подій. Це називається емпіричною ентропією нульового порядку . Поняття Шеннона про умовну ентропію має аналогічну емпіричну версію вищого порядку .

Шеннон не використовував термін емпірична ентропія, хоча він, безумовно, заслуговує певної заслуги на цю концепцію. Хто вперше застосував цю ідею і хто вперше застосував (дуже логічне) емпіричне ентропію для її опису?

reference-request shannon-entropy succinct

— видалений користувач 42
джерело

"Точково визначений для кожного рядка" звучить як складність Колмогорова: це те, про що ви маєте на увазі? Якщо ні, чи можете ви вказати на посилання, яке його визначає, або краще все-таки вказати defn у самому питанні?

— Суреш Венкат

Його називають так, тому що емпірична ентропія - це ентропія емпіричного розподілу послідовності.

— Махді Чераччі

@SureshVenkat Я намагався розробити це питання.

— видалено користувача 42

Погляньте на Косараджу С. Рао, Манзіні Г., "Стиснення низьких ентропійних рядків за допомогою алгоритмів Лемпеля-Зіва" (1998) також. Вони аналізують працездатність алгоритмів Лемпель-Зів за допомогою " так званої емпіричної ентропії ".

— Марціо Де Біасі

Зауважимо, що "емпіричний розподіл" - це дійсно розподіл ML для заданого набору частотних підрахунків. Тож мені цікаво, чи це датується Байєсом. Навіть Лаплас замислювався над проблемою визначення розподілу за емпіричними підрахунками.

— Суреш Венкат

Мене цікавить "емпірична ентропія", як ви, і найдавніший документ, який я вважаю, - це те, що у Косараджу, як сказав користувач "Marzio De Biasi" у своєму коментарі.

Але, на мій погляд, реальні визначення поняття "емпірична ентропія" зроблені пізніше шляхом узагальнення колишніх понять:

"Великі алфавіти і нерозбірливість" Тревіса Гагі (2008)
"Емпірична ентропія" Павла М.Б. Вітанія (2011)

Гаджі перефразовує визначення $k$ емпірична ентропія:

$H_{k}(w)=\frac{1}{|w|}\min\limits_{Q}\left\{\log\large\frac{1}{P(Q=w)}\right\}$

де - й порядок Марківського процесу. Він також показав, що це визначення еквівалентне попередньому. Наступним кроком від Вітанія було узагальнення до довільних класів процесів (не лише Марківських процесів): $Q$ $k$

$H(w|\mathcal{X})=\min\limits_{X}\left\{K(X)+H(X):\;\left|H(X)-\log\large\frac{1}{P(X=w)}\right|\normalsize\;is\;minimal!\right\}$

де - клас дозволених процесів, а - складність Колмогорова. Якщо ми виберемо для класу го порядку, Марков обробляє, виробляючи послідовністьвипадкові змінні та ігнорування складності Колмогорова, ніж це також призводить до визначення Гагі (помножене на ). $\mathcal{X}$ $K(X)$
$\mathcal{X}$ $k$ $|w|$ $|w|$

— Денні
джерело