Яка функція максимальної щільності ймовірності ентропії для позитивної безперервної змінної заданого середнього та стандартного відхилень?

13

Який максимальний розподіл ентропії для позитивної безперервної змінної з огляду на її перший та другий моменти?

Наприклад, розподіл Гаусса - це максимальний розподіл ентропії для безмежної змінної, враховуючи її середнє та стандартне відхилення, а розподіл Гамма - це максимальний розподіл ентропії для позитивної змінної, враховуючи її середнє значення та середнє значення її логарифму.

— беко
джерело

13

Можна просто використати теорему Больцмана, яка є в самій статті Вікіпедії, на яку ви вказуєте .

Зауважте, що визначення середнього та дисперсії еквівалентне вказуванню перших двох необроблених моментів - кожен визначає другий (насправді не потрібно посилатися на це, оскільки ми можемо застосувати теорему безпосередньо до середнього та дисперсії, це просто трохи простіше цього способу ).

Тоді теорема встановлює, що щільність повинна бути такої форми:

f (x) = c \exp (λ_{1} x + λ_{2} x^{2}) for all x \geq 0

$f(x)=c \exp\left(\lambda_1 x + \lambda_2 x^2 \right)\quad \mbox{ for all } x \geq 0$

Інтегрування по позитивної речової прямої обмежать буде , і я думаю , що накладає деякі обмеження на відносинах між s (який, імовірно , буде виконано автоматично при запуску з зазначеного середнього і дисперсії , а не вихідних моментів). $\lambda_2$ $\leq 0$ $\lambda$

На мій подив (оскільки я б не очікував цього, коли я розпочав цю відповідь), схоже, це залишає нас із усіченим нормальним розподілом.

Як це буває, я не думаю, що я раніше використовував цю теорему, тому критики чи корисні пропозиції щодо будь-якого, що я не розглядав чи не відкидав, були б вітаються.

— Glen_b -Встановити Моніку
джерело

- \infty

$-\infty$

\infty

$\infty$

x

$x$

1 / x

$1/x$

\frac{1}{x} \exp (- α x - β x^{2})

$\frac{1}{x}\exp(-\alpha x- \beta x^2)$

7

Я хочу зробити відповідь @ Glen_b більш чіткою, ось додаткова відповідь лише тому, що вона не підходить як коментар.

f (x) \propto N (x | - 1 / 2 λ_{1} / λ_{2}, - 1 / (2 λ_{2}))

$f(x) \propto \mathcal{N}(x | -1/2 \lambda_1/\lambda_2, -1/(2\lambda_2))$

λ_{1}

$\lambda_1$

λ_{2}

$\lambda_2$

a_{1}, a_{2}

$a_1, a_2$

a_{1} = μ, a_{2} = μ^{2} + σ^{2}

$a_1=\mu, a_2=\mu^2 + \sigma^2$

λ_{1} = μ / σ^{2}, λ_{2} = - 0.5 σ^{2}

$\lambda_1=\mu/\sigma^2, \lambda_2=-0.5 \sigma^2$

N (x | μ, σ^{2})

$\mathcal{N}(x|\mu, \sigma^2)$

$x>x_{min}$ $\lambda_{1,2}$ $1/c$ $\mu$ $\sigma^2$ $x_{min}=0$ $x_{min} \to -\infty$

$a_1, a_2$ $\lambda_{1,2}$ $\lambda_{1,2}$

Це питання є дублікатом /math/598608/what-is-the-maximum-entropy-distribution-for-a-continuous-random-variable-on-0

— Фред Шоен
джерело