Ентропія галасливого розподілу

Скажімо, у нас є функція $f:\mathbb{Z}_2^n \to \mathbb{R}$ такий як

$$\forall x\in \mathbb{Z}_2^n \quad f(x) \in \left\{\frac{1}{2^n}, \frac{2}{2^n}, \ldots, \frac{2^n}{2^n} \right\},$$ і $f$ це розподіл, тобто $\sum_{x\in \mathbb{Z}_2^n} f(x) = 1$.

Ентропія Шеннона $f$ визначається так:

$$H(f) = -\sum _{x \in \mathbb{Z}_2^n} f(x) \log \left( f(x) \right) .$$

Дозволяє $\epsilon$бути деякою постійною. Скажіть, ми отримаємо$\epsilon$-шумна версія $f(x)$, тобто отримуємо функцію $\tilde{f}:\mathbb{Z}_2^n \to \mathbb{R}$ такий як $|\tilde{f}(x)- f(x) | < \epsilon$ для кожного $x\in \mathbb{Z}_2^n$. Який вплив шуму на ентропію? Тобто чи можемо ми зв'язатись$H(\tilde{f})$ за "розумною" функцією $\epsilon$ і $H(f)$, як от:

$$(1-\epsilon)H(f) < H(\tilde{f}) < (1+\epsilon)H(f),$$ або навіть, $$(1-\epsilon^c n)^d H(f) < H(\tilde{f}) < (1+\epsilon^c n)^d H(f),$$ для деяких констант $c,d$.

Редагувати: Намагаючись відчути вплив шуму на ентропію Шеннона, будь-яку "розумну" добавку, пов'язану з $H(\tilde{f})$ було б також дуже цікаво.

Такий зв’язок неможливий. Розглянемо випадок, де$f$ є рівномірним розподілом по деякій множині $S$ розміру $2^{\delta \cdot n}$, і нехай $\tilde{f}$ бути розподілом, що з вірогідністю $\delta$ виводить рівномірно розподілений елемент $S$, інакше виводить рівномірно розподілений рядок.

Не важко зрозуміти, що можна отримати $f$ до $\tilde{f}$ тобі потрібен лише максимум шуму $(1-\delta) \cdot 2^{-\delta \cdot n}$. Однак,$H(f)= \delta \cdot n$ поки $H(\tilde{f}) \approx (1 - \delta + \delta^2) \cdot n$. Таким чином, ви отримаєте різницю$(1 - \delta)^2 \cdot n$ для довільно малого $\delta$ для надзвичайно низького рівня шуму.

Зокрема, ви можете встановити $\delta = \frac{\log(1/\varepsilon)}{n}$, і отримати шум $\varepsilon$ різниця ентропії $\approx n - 2\log(1/\varepsilon)$.