Ентропія галасливого розподілу
Скажімо, у нас є функція f:Zn2→Rf:Z2n→Rf:\mathbb{Z}_2^n \to \mathbb{R} такий як ∀x∈Zn2f(x)∈{12n,22n,…,2n2n},∀x∈Z2nf(x)∈{12n,22n,…,2n2n},\forall x\in \mathbb{Z}_2^n \quad f(x) \in \left\{\frac{1}{2^n}, \frac{2}{2^n}, \ldots, \frac{2^n}{2^n} \right\}, і fff це розподіл, тобто ∑x∈Zn2f(x)=1∑x∈Z2nf(x)=1\sum_{x\in \mathbb{Z}_2^n} f(x) = 1. Ентропія Шеннона fff визначається так: H(f)=−∑x∈Zn2f(x)log(f(x)).H(f)=−∑x∈Z2nf(x)log(f(x)).H(f) = -\sum _{x \in \mathbb{Z}_2^n} f(x) \log \left( f(x) \right) . Дозволяє ϵϵ\epsilonбути …