Код Хаффмана для розподілу ймовірностей - код префікса з мінімально зваженою середньою довжиною кодового слова , де - довжина го кодового слова. Загальновідома теорема, що середня довжина на символ коду Хаффмана становить між та , де - ентропія Шеннона розподілу ймовірностей
Канонічний поганий приклад, коли середня довжина перевищує ентропію Шеннона майже на 1, - це розподіл ймовірностей, такий як , де ентропія майже 0, а середня довжина кодового слова - 1. Це дає зазор між ентропією та довжиною кодового слова майже .
Але що відбувається, коли існує обмеження найбільшої ймовірності в розподілі ймовірностей? Припустимо, наприклад, що всі ймовірності менші ніж . Найбільший розрив, який я міг би знайти в цьому випадку, полягає в розподілі ймовірностей, таких як , де ентропія трохи більше 1, а середня довжина кодового слова трохи менше 1,5, що дає розрив наближається до . Це найкраще, що ви можете зробити? Чи можете ви вказати верхню межу зазору, яка строго менша за 1 для цього випадку?
Тепер розглянемо випадок, коли всі ймовірності дуже малі. Припустимо , ви вибираєте розподіл ймовірностей букв, кожна з яких має ймовірність 1 / M . У цьому випадку найбільший розрив виникає, якщо вибрати M ≈ 2 k ln 2 . Тут ви отримуєте проміжок навколо Це найкраще, що ви можете зробити в ситуації, коли всі ймовірності невеликі?
Це питання було натхнене цим питанням TCS Stackexchange .