Як ентропія залежить від місця розташування та масштабу?

Ентропії безперервного розподілу з функцією щільності визначається як негативне в очікуванні і , отже , дорівнює$f$$\log(f),$

$$H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x.$$

Ми також говоримо, що будь-яка випадкова величина , розподіл якої має щільність має ентропію (Цей інтеграл добре визначений, навіть якщо має нулі, тому що може бути прийнято рівним нулю при таких значеннях.)$X$$f$$H_f.$$f$$\log(f(x))f(x)$

Коли і - випадкові величини, для яких ( - константа), називається версією зміщеною на Аналогічно, коли ( - позитивна константа), називається версією масштабованою наПоєднання шкали зі зсувом дає$X$$Y$$Y = X+\mu$$\mu$$Y$$X$ $\mu.$$Y = X\sigma$$\sigma$$Y$$X$ $\sigma.$$Y=X\sigma + \mu.$

Ці відносини трапляються часто. Наприклад, зміна одиниць вимірювання зміщується і масштабується.$X$

Як ентропія пов'язана з такою в$Y = X\sigma + \mu$$X?$

Оскільки елемент ймовірності є зміна змінної еквівалентна звідки$X$$f(x)\mathrm{d}x,$$y = x\sigma + \mu$$x = (y-\mu)/\sigma,$

$$f(x)\mathrm{d}x = f\left(\frac{y-\mu}{\sigma}\right)\mathrm{d}\left(\frac{y-\mu}{\sigma}\right) = \frac{1}{\sigma} f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$$

випливає, що щільність дорівнює$Y$

$$f_Y(y) = \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right).$$

Отже, ентропія є$Y$

$$H(Y) = -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right)\right) \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$$

який при зміні змінної назад на виробляє$x = (y-\mu)/\sigma,$

$$\eqalign{ H(Y) &= -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= -\int_{-\infty}^{\infty} \left(\log\left(\frac{1}{\sigma}\right) + \log\left(f\left(x\right)\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log\left(\sigma\right) \int_{-\infty}^{\infty} f(x) \mathrm{d}x -\int_{-\infty}^{\infty} \log\left(f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log(\sigma) + H_f. }$$

Ці розрахунки використовували основні властивості логарифму, лінійність інтеграції та той факт, що інтегрується в єдність (Закон сумарної ймовірності).$f(x)\mathrm{d}x$

Висновок такий

Ентропія - це ентропія плюс$Y = X\sigma + \mu$$X$$\log(\sigma).$

Словом, зміщення випадкової величини не змінює її ентропії (ми можемо вважати ентропію такою, що залежить від значень щільності ймовірності, але не від того, де ці значення трапляються), одночасно масштабуючи змінну (яка для "розтягує" або "змазує" це) збільшує її ентропію на Це підтримує інтуїцію, що дистрибуції з високою ентропією "більше розповсюджені", ніж розподіли з низькою ентропією.$\sigma \ge 1$$\log(\sigma).$

---

Як наслідок цього результату, ми можемо вибирати зручні значення та при обчисленні ентропії будь-якого розподілу. Наприклад, ентропію нормального розподілу можна знайти, встановивши іЛогарифм щільності в даному випадку є$\mu$$\sigma$$(\mu,\sigma)$$\mu=0$$\sigma=1.$

$$\log(f(x)) = -\frac{1}{2}\log(2\pi) - x^2/2,$$

звідки

$$H = -E[-\frac{1}{2}\log(2\pi) - X^2/2] = \frac{1}{2}\log(2\pi) + \frac{1}{2}.$$

Отже, ентропія нормального розподілу отримується просто додаванням до цього результату, даючи$(\mu,\sigma)$$\log\sigma$

$$H = \frac{1}{2}\log(2\pi) + \frac{1}{2} + \log(\sigma) = \frac{1}{2}\log(2\pi\,e\,\sigma^2)$$

як повідомляє Wikipedia .