Протилежність нерівності Фано?

10

Нерівність Фано може бути викладена в багатьох формах, і одна особливо корисна пов'язана (з незначною модифікацією) Одеда Регева :

Нехай $X$ - випадкова величина, і $Y = g(X)$ де $g(\cdot)$ - випадковий процес. Припустимо існування процедури $f$ яка при $y = g(x)$ може реконструювати $x$ з ймовірністю $p$ . Тоді
$I (X; Y) \geq p H (X) - H (p)$ $I(X; Y) \ge pH(X) − H(p)$

Іншими словами, якщо я можу реконструювати, в системі багато взаємної інформації.

Чи є "зворотна" нерівність Фано: щось із форми

"Враховуючи канал з достатньою взаємною інформацією, існує процедура реконструкції вводу з виводу з помилкою, що залежить від взаємної інформації"

Було б занадто очікувати, що ця процедура також буде ефективною, але також було б цікаво побачити (природні) приклади, де реконструкція існує, але повинна бути неефективною.

it.information-theory randomized-algorithms

— Суреш Венкат
джерело

12

$P(y)$ $y$ $x$ $\Pr[X = x \mid Y = y]$ $\max_x \Pr[x \mid Y = y]$ $2^{-H_\infty(X | Y = y)}$ $H_\infty(X \mid Y = y)$ $X$ $Y = y$ $H_\infty(X) \leq H_1(X)$ $H_1(X)$ $X$ $H_\infty(X|Y = y)$ з точки зору взаємної інформації . $I(X:Y)$

Запишіть . Використовуючи вищезгадану нерівність, , або . $I(X:Y) = H(X) - H(X|Y) = H(X) - \mathbb{E}_y[H(X \mid Y = y)]$ $I(X:Y) \leq H(X) - \mathbb{E}_y[H_\infty(X \mid Y = y)]$ $\mathbb{E}_y[H_\infty(X \mid Y = y)] \leq H(X) - I(X:Y)$

Ймовірність успіху процедури, коли та обрані випадковим чином, є , що за увігнутістю становить щонайменше . Таким чином, ймовірність успішної процедури становить щонайменше . $X$ $Y$ $\mathbb{E}_y [2^{-H_\infty(X\mid Y = y)}]$ $2^{-\mathbb{E}_y[H_\infty(X \mid Y = y)]}$ $2^{I(X:Y) - H(X)}$

Ця процедура є оптимальною: враховуючи будь-яку процедуру випадковості , ймовірність успіху - , яка є максимальною точково, коли детерміновано виводить найімовірніший . $P$ $\mathbb{E}_y [ \sum_{x} \Pr(X = x \mid Y = y) \Pr(P(y) = x) ]$ $P(y)$ $x$

— Генрі Юен
джерело

1

Отже, чи існує кількісне твердження, яке є суперечкою нерівності Фано, що випливає з цього аргументу?

— mobius dumpling

Що ви маєте на увазі під кількісним? Аргумент, який я наводив вище, повинен говорити: "Враховуючи канал із взаємною інформацією , існує процедура реконструкції з помилкою не більше ."

I (X : Y)

$I(X:Y)$

1 - 2^{I (X : Y) - H (X)}

$1 - 2^{I(X:Y) - H(X)}$

— Генрі Юен

2

Приємна відповідь і доказ. Отже, обмежений у вашій відповіді також може бути переписаний оскільки за визначенням. Це, як мені відомо, з'явилося в IEEE ISIT 1994, в розмові Баумера.

p_{e r r} \leq 1 - 2^{I (X; Y) - H (X)} = 1 - 2^{- H (X | Y)}, (1)

$p_{err} \leq 1-2^{I(X;Y)-H(X)}=1-2^{-H(X|Y)},\quad\quad(1)$

I (X; Y) = H (X) - H (X | Y)

$I(X;Y)=H(X)-H(X|Y)$

У подібному руслі можна отримати , де є ентропія Ренея порядкуТут тому пов'язана (2) є більш жорсткою, ніж (1).

p_{e r r} \leq 1 - \sum_{y \in Y} P_{Y} (y) 2^{- H_{2} (X | Y)}, (2)

$p_{err} \leq 1 - \sum_{y \in {\cal Y}} P_Y(y) 2^{-H_2(X|Y)},\quad\quad(2)$

H_{α} (Z) = \frac{1}{1 - α} (\sum_{z \in Z} P_{Z} (z)^{α})

$H_{\alpha}(Z)=\frac{1}{1-\alpha}\left( \sum_{z \in {\cal Z}} P_Z(z)^{\alpha}\right)$

α \in (0, 1) \cup (1, \infty) .

$\alpha \in (0,1)\cup(1,\infty).$

α = 2,

$\alpha=2,$

— kodlu
джерело