Який розподіл має максимальну ентропію за відомим середнім абсолютним відхиленням?

Я читав дискусію в Hacker News про використання стандартного відхилення на відміну від інших показників, таких як середнє абсолютне відхилення. Отже, якби ми дотримувались принципу максимальної ентропії, який би розподіл ми б використовували, якби ми знали лише середню величину розподілу та середнє абсолютне відхилення?

Або має сенс використовувати медіану та середнє абсолютне відхилення від медіани?

Я знайшов паперовий принцип максимальної ентропії із загальними заходами відхилення від Гречука, Молібоги та Забаранкіна, який, як видається, має інформацію, про яку мені цікаво, але для розшифровки мені потрібен певний час.

distributions maximum-entropy mad

— Дітріх Епп
джерело

Цікаве запитання; Ласкаво просимо до перехресної перевірки!

— Нік Стаунер

Ці мудрі джентльмени, Коц, С., Козубовський, Т. Дж. Та Підгорський, К. (2001). Розподіл та генералізація Лапласа: перегляд із застосуванням до комунікацій, економіки, інженерії та фінансів (№ 183). Спрингер.

киньте нам виклик вправою:

введіть тут опис зображення

Доказ може слідувати інформаційно-теоретичному доказу, що Нормальна - максимальна ентропія для заданої середньої та відхилення. Зокрема: Нехай є вищевказаною щільністю Лапласа, а - будь-яка інша щільність, але має однакове середнє і середнє абсолютне відхилення. Це означає, що виконується наступна рівність: $f(x)$ $g(x)$

Е_{г} (| Х - c_{1} |) = \int г (х) | х - c_{1} | г х = c_{2} = \int f (х) | х - c_{1} | г х = Е_{f} (| Х - c_{1} |) [1]

$E_g(|X-c_1|)=\int g(x)|x-c_1|dx=c_2 =\int f(x)|x-c_1|dx =E_f(|X-c_1|)\qquad [1]$

0 \leq D_{К L} (г | | f) = \int г (х) \ln (\frac{г (х)}{f (х)}) г х = \int г (х) \ln г (х) г х - \int г (х) \ln f (х) г х [2]

$0\le D_{KL}(g||f) = \int g(x)\ln\left(\frac {g(x)}{f(x)}\right)dx = \int g(x)\ln g(x)dx -\int g(x)\ln f(x)dx \qquad [2]$

$g$ $-h(g)$

\int г (х) \ln [f (х)] г х = \int г (х) \ln [\frac{1}{2 c_{2}} досвід {- \frac{1}{c_{2}} | х - c_{1} |}] г х

$\int g(x)\ln[f(x)]dx = \int g(x)\ln\left[\frac{1}{2c_2}\exp\left\{-\frac 1{c_2} |x-c_1|\right\}\right]dx$

= \ln [\frac{1}{2 c_{2}}] \int г (х) г х - \frac{1}{c_{2}} \int г (х) | х - c_{1} | г х

$=\ln\left[\frac{1}{2c_2}\right]\int g(x)dx- \frac 1{c_2}\int g(x)|x-c_1|dx$

[1]

$[1]$

\int г (х) \ln [f (х)] г х = - \ln [2 c_{2}] - \frac{1}{c_{2}} \int f (х) | х - c_{1} | г х = - (\ln [2 c_{2}] + 1)

$\int g(x)\ln[f(x)]dx = -\ln\left[2c_2\right] - \frac 1{c_2}\int f(x)|x-c_1|dx = -(\ln\left[2c_2\right] +1)$

- h (f)

$-h(f)$

$[2]$

0 \leq D (г | | f) = - год (г) - (- год (f)) \Rightarrow год (г) \leq год (f)

$0\le D(g||f) = -h(g) - (-h(f)) \Rightarrow h(g) \le h(f)$

g

$g$

— Алекос Пападопулос
джерело

Такий простий розподіл і приємне написання теж! Я підозрював, що розподіл буде плавним, за винятком 0.

— Дітріх Епп

Дякую. Колись "те ж саме йде", тому що розподіл Лапласа передбачає абсолютну величину, він був головним підозрюваним.

— Алекос Пападопулос