Корисність ентропій Renyi?

14

Більшість з нас знайомі - або принаймні чули про - ентропію Шеннона випадкової величини, $H(X) = -\mathbb{E} \bigl[ \log p(X)\bigr]$ , і всі відповідні інформаційно-теоретичні заходи, такі як відносна ентропія, взаємна інформація тощо. Існує кілька інших заходів ентропії, які зазвичай використовуються в теоретичній інформатиці та теорії інформації, такі як міні-ентропія випадкової величини.

Я почав частіше бачити ці так звані ентропії Рені, коли переглядаю літературу. Вони узагальнюють ентропію Шеннона та мін-ентропію і фактично забезпечують цілий спектр ентропічних заходів випадкової величини. Я працюю здебільшого у сфері квантової інформації, де також досить часто розглядається квантова версія ентропії Рені.

Що я насправді не розумію, це те, чому вони корисні. Я чув, що часто з ними простіше працювати з аналітикою, ніж говорити про ентропію Шеннона / фон Неймана або міні-ентропію. Але вони також можуть бути пов'язані також з ентропією / міні-ентропією Шеннона.

Чи може хтось навести приклади (класичні чи квантові), коли використання ентропій Рені - це "правильна річ"? Що я шукаю, це якийсь "ментальний гачок" або "шаблон" для того, щоб знати, коли я можу захотіти використовувати ентропії Рені.

Спасибі!

it.information-theory quantum-information

— Генрі Юен
джерело

Додаток до моєї відповіді: Схоже, існує ймовірнісне визначення ентропії q-Renyi (

) i, e

q \in Z^{+}

$q \in \mathbb{Z}^+$

. Тоді

і цей RHS називається `` ентропія Шеннона '', а також визначається інша межа, тобто

H_{q} ({p_{i}}_{i = 1}^{n}) = \frac{1}{1 - q} l n [\sum_{k = 1}^{n} p_{k}^{q}]

$H_q (\{ p_i \}_{i=1}^n )= \frac{1}{1-q} ln [ \sum_{k=1}^n p_k^q ]$

l i m_{q \to 1} H_{q} = - \sum p_{k} l n (p_{k})

$lim_{q \rightarrow 1} H_q = - \sum p_k ln (p_k)$

. Ці ідеї, схоже, знайшли застосування в побудові розширювачів, як це бачимо тут, math.rutgers.edu/~sk1233/courses/topics-S13, math.ias.edu/~avi/PUBLICATIONS/MYPAPERS/CRVW01/crvw01.pdf, arxiv. org / pdf / math / 0406038.pdf

H_{\infty} (X) = l n [\frac{1}{m a x_{a} P r [X = a]}]

$H_{\infty} (X) = ln [\frac{1}{ max_{a} Pr[X=a]} ]$

— Anirbit

15

Розглянемо намагається зробити атомні припущення з невідомої випадкової величини , розподіленої по деякому кінцевому безлічі У ентропії Шеннона передбачається, що ви можете запитувати побіжно, тобто якщо ви можете запитати: $X$ $A.$ $A=\{1,\ldots,N\}$

Чи ? $X\in \{1,\ldots,N/2\}$ (припустимо, рівне або використовувати функції підлоги / стелі) $N$

У криптовалютах та деяких сценаріях декодування це не реально. Намагаючись відгадати невідомий пароль, вам потрібно зробити атомні запити, тобто запитати, чи є конкретним значенням. $X$

Виявляється, очікувана кількість запитів для відгадування випадкової величини тоді сильно залежить від ентропії Ренея порядку Тож зробимо кілька вищих моментів. Наприклад $X$ $1/2.$

E [G] \leq \frac{(\sum_{x \in A} P_{X} (x)^{1 / 2})^{2}}{2}

$E[G]\leq \frac{(\sum_{x \in A} P_X(x)^{1/2})^2}{2}$

і чисельник, по суті, є логарифмом ентропії Рені порядку Можна також зробити ентропію Шеннона дуже великою, тоді як ентропія Рені і очікування кількості здогадок дуже мало. Якщо ви для безпеки покладалися на ентропію Шеннона, то у цьому випадку ви будете мати проблеми. $1/2.$

Будь ласка, дивіться також пов'язане питання Відгадайте низьке значення ентропії у кількох спробах

Деякі посилання:

Дж. П. Парлем, Про невідповідність ентропії та граничних здогадів у нападах грубої сили. ІНДОКРИПТ 2000: 67-79
Е. Арікан, Нерівність у здогадуванні та його застосування до послідовного розшифровки. Операції IEEE з інформаційної теорії 42 (1): 99-105,1996.
С. Бозтас, Про ентропії Рені та їх застосування для відгадування атак у криптографії, IEICE транзакції з основ електроніки, зв’язку та комп'ютерних наук 97 (12): 2542-2548, 2014.

— kodlu
джерело

Я не можу отримати доступ до цієї статті S.Boztas. У вас є загальнодоступне посилання?

— Анірбіт

@Anirbit див. Сховище досліджень RMIT, researchbank.rmit.edu.au

— kodlu

Я шукав це посилання. Це взяло мене лише по колах. Я ніколи не знаходив публічно доступний pdf-файл!

— Анірбіт

@Anirbit, вибач, я думав, що це справді депоновано там!

— kodlu

18

Ентропія Рені в деякому сенсі аналогічна -нормам, тому спочатку згадаймо, чому ці норми корисні. $\ell_p$

Припустимо, у нас є вектор чисел . Ми хочемо мати одне число , яке представляє, в якому - то сенсі, як робить типовий елемент виглядати. $a \in \mathbb{R}^n$ $a$

Один із способів зробити це - взяти середнє число чисел у , яке приблизно відповідає нормі : . Це часто корисно, але для деяких застосувань у нього є такі проблеми: По-перше, норма не дає нам гарної верхньої межі найбільшому елементу , тому що якщо є один великий елемент і багато нулів, норма буде значно меншою, ніж найбільший елемент. З іншого боку, $a$ $\ell_1$ $\mathbb{E}_{1 \le i \le n}[|a_i|]$ $\ell_1$ $a$ $\ell_1$ $\ell_1$ норма також не дає нам хорошу оцінку на як малі елементи , наприклад, скільки нулів має - ця проблема виникає точно за таким же сценарієм , як і раніше. $a$ $a$

Звичайно, коли елементи багато дисперсії, наприклад, в крайньому випадку , як зазначено вище, жоден номер не може дати вирішити обидві проблеми вище. У нас є компроміс. Наприклад, якщо ми хочемо знати лише найбільший елемент, ми можемо використовувати норму , але тоді ми втратимо всю інформацію про більш дрібні елементи. Якщо ми хочемо кількість нулів, ми можемо подивитися на норму , яка є лише розміром опори . $a$ $\ell_\infty$ $\ell_0$ $a$

Тепер причина розгляду норм полягає в тому, що вони дають нам весь безперервний компроміс між двома крайнощами. Якщо ми хочемо отримати більше інформації про великі елементи, ми вважаємо, що буде більшим, і навпаки. $\ell_p$ $p$

Те саме стосується і ентропій Рені: Ентропія Шенона подібна до норми - це щось говорить про "типову" ймовірність елемента, але нічого не стосується дисперсії чи крайнощів. Міні-ентропія дає нам інформацію про елемент з найбільшою ймовірністю, але втрачає всю інформацію про решту. Розмір опори надає іншої крайності. Ентропії Рені дають нам безперервний компроміс між двома крайнощами. $\ell_1$

Наприклад, багато разів ентропія Renyi-2 є корисною, оскільки вона, з одного боку, близька до ентропії Шенона, і, таким чином, містить інформацію про всі елементи розподілу, а з іншого боку дає більше інформації про елементи з найбільшою ймовірність. Зокрема, відомо, що межі ентропії Renyi-2 задають межі на min-ентропії, див., Наприклад, Додаток A тут: http://people.seas.harvard.edu/~salil/research/conductors-prelim .ps

— Або Мейр
джерело

11

Ентропія Рені (порядку 2) корисна в криптографії для аналізу ймовірності зіткнень.

Нагадаємо, що ентропія Ренея порядку 2 випадкової величини задана через $X$

H_{2} (X) = - \log_{2} \sum_{x} Pr [X = x]^{2} .

$H_2(X) = - \log_2 \sum_x \Pr[X=x]^2.$

Виявляється, що дозволяє нам виміряти ймовірність того, що два значення, намальовані в iD відповідно до розподілу , будуть однаковими ("зіткненнями"): ця ймовірність рівно . Після виведення разів з цього розподілу очікувана кількість зіткнень між цими нічиями становить . $H_2(X)$ $X$ $2^{-H_2(X)}$ $n$ $n$ $C(n,2) 2^{-H_2(X)}$

Ці факти корисні в криптографії, де зіткнення іноді можуть бути проблематичними та спричиняти напади.

Для аналізу інших застосувань у криптографії я рекомендую наступну докторську дисертацію:

Крістіан Качін. Ентропійні заходи та безумовна безпека в криптографії . Кандидатська дисертація, ETH Цюріх, травень 1997.

— DW
джерело

Чи існує таке пряме ймовірнісне визначення будь-якої ентропії q-Рені? (як ви бачите з моєї відповіді, єдиний спосіб, коли я знаю, як це визначити у довільному q, це через визначення функцій розділення, що відповідають фізичній системі, яка була визначена через її лагранжева або гамільтоніана або її дію)

— Анірбіт

@Anirbit, я не знаю. Я не пам'ятаю жодного бачення (хоча можливо, що ентропія q-Renyi може призвести до інших меж, про які ми піклуємося ...)

— DW

Крім того, схоже, що "інформаційна ентропія", по суті, є "термодинамічною ентропією". Отже, навіть при ентропії (q = 1) -Рені, тобто ентропії заплутаності, існує концептуальний розрив щодо інтерпретації її складності?

— Анірбіт

- \infty

$-\infty$

@DW Здається, існує ймовірнісна інтерпретація. Чи бачите мій коментар до оригінального питання.

— Анірбіт

3

Ця інша відповідь на stackexchange і ця публікація в блозі може бути дуже корисною для швидкого відчуття основного прикладу,

Грубо кажучи, ентропії Рені знають про збуджені стани квантової системи, але ентропія заплутування знає про основні стани. ПОПЕРЕДЖЕННЯ: Ця інтуїція може бути дуже жорстокою, але може бути просто хорошим "розумовим гаком": DI був би ДУЖЕ радий дізнатися про кращий і точніший спосіб сказати це!

Можна подумати про обчислення ентропії заплутаності $S_1$ (що є більш фізичною величиною) як єдиний межа обчислення ентропій Ренея ( $S_q$ для кожного $q \in \mathbb{Z}^+$ ). Але це межа $S_1 = limit_{q \rightarrow 1} S_q$ страшенно погано визначено. Тому часто виникає думка, що можна розрахувати $S_q$ при довільному цілому значенні, а потім зробіть аналітичне продовження цього до $q \in \mathbb{R}$ and then try to define taking of the $q \rightarrow 1$ limit. (though always $q \in \mathbb{R}$ , this I call "analytic" continuation because often enough one needs to do the interpolation via contours in the complex plane - and the continuation can depend on what contours one chooses through the poles and branch-cuts of the $S_q$ that one started with)

At integral values of $q>1$ typically there is a always a very well-defined construction in terms of some integration of some function on some $q-$ branched manifold. After one has done such an integration one happily forgets about the manifold used and just tries to do the analytic continuation parametrically in the variable $q$ .

There are always a lot of issues about existence and well-posedness when one tries to do these anayltic continuations - but for someone like me who is brought up on a daily diet of Feynman path-integrals its a very common issue to deal with and we have a lot of tools to address these. Three nice papers to look into for these issues are, http://arxiv.org/pdf/1306.5242.pdf, http://arxiv.org/pdf/1402.5396.pdf, http://arxiv.org/pdf/1303.7221.pdf (the last of these papers might be an easier starting point) This presentation might also help, https://www.icts.res.in/media/uploads/Talk/Document/Tadashi_Takayanagi.pdf

What Renyi entropy says in terms of quantum complexity theory might be an exciting question! Can one think of the Renyi index as somehow parameterizing a hierarchy of complexity classes? That should be fun if true! Do let me know :)

— Anirbit
джерело

0

Renyi entropy has found its way into definitions of quantitative information flow, an area or security research. See G. Smith's survey paper.

— Kai
джерело