Відгадування низького значення ентропії в декількох спробах

Припустимо, Аліса має розподіл $\mu$ над обмеженим (але можливо дуже великим) доменом, таким, що (ентропія) Шеннона $\mu$ є верхньою межею довільно малою постійною $\varepsilon$. Аліса малює значення$x$ з $\mu$, а потім запитує у Боба (хто знає $\mu$) вгадати $x$.

Яка ймовірність успіху для Боба? Якщо йому дозволена лише одна здогадка, то можна знизити цю ймовірність так: верхній ентропія обмежує міні-ентропію, тому існує елемент, який має ймовірність щонайменше$2^{-\varepsilon}$. Якщо Боб обере цей елемент як свою здогадку, його ймовірність буде успішною$2^{-\varepsilon}$.

А тепер припустимо, що Бобі дозволяється робити кілька здогадок, скажімо $t$здогадується, і Боб виграє, якщо одне з його здогадок правильне. Чи існує схема здогадок, яка покращує ймовірність успіху Боба? Зокрема, чи можна показати, що ймовірність відмови Боба зменшується експоненціально$t$?

Найкраще, щоб Боб здогадався $t$ значення з найбільшою ймовірністю.

Якщо ви готові використовувати замість ентропії Рені, пропозиція 17 у "Ентропіях, здогадах та криптографії " Бозташа стверджує, що ймовірність помилок після$t$ здогадки - це не більше

$$1 - 2^{-H_2(\mu)\left(1-\frac{\log t}{\log n}\right)} \approx \ln 2 \left(1-\frac{\log t}{\log n}\right) H_2(\mu),$$ де $n$- розмір домену. Звичайно, залежність від$t$ досить погано, і, можливо, Бозташ був зосереджений на іншому режимі ентропії.

Для ентропії Шеннона можна спробувати вирішити задачу подвійної оптимізації: з урахуванням фіксованої ймовірності відмови $\delta$, знайдіть максимальну ентропію такого розподілу. Використання опуклості$-x\log x$, ми знаємо, що розподіл $\mu$ має форму $a,b,\ldots,b;b,\ldots,b,c$, де $a\geq b\geq c$, $a+(t-1)b = 1-\delta$, і $c = \delta-\lfloor\frac{\delta}{b}\rfloor b$. Ми маємо$t-1+\lfloor\frac{\delta}{b}\rfloor$ значення, які отримують ймовірність $b$. Кондиціонування на$s = \lfloor\frac{\delta}{b}\rfloor$, ми можемо спробувати знайти $b$що мінімізує ентропію. Для правильного значення$s$, це буде внутрішньою точкою (при якій похідна зникає). Я не впевнений, як отримати асимптотичні оцінки за допомогою цього підходу.

На жаль, немає гарної відповіді на ваше запитання. Джон Плім [кандидатська дисертація, 2 статті з серії LNCS] першим помітив невідповідність між ентропією Шеннона та очікуваною кількістю здогадок. Його тезу легко знайти в Інтернеті. У розділі 4.3, вибравши відповідний розподіл ймовірностей для$X$ (залежно від довільного натурального числа $N$) що походить із самоподібних дерев хафмана, він демонструє, що, здогадуючись у порядку зменшення ймовірності, треба зробити більше, ніж $N+H(X)$ здогадки до досягнення ймовірності успіху $1/2$.

Це є причиною того, що люди продовжували вивчати ентропії Рені.