Чи завжди диференціальна ентропія менше, ніж нескінченність?

Для довільної безперервної випадкової величини, скажімо , чи є її диференціальна ентропія завжди меншою від ? (Це нормально, якщо це .) Якщо ні, то яка необхідна і достатня умова, щоб вона була менше ? $X$ $\infty$ $-\infty$ $\infty$

entropy information-theory maximum-entropy

— syeh_106
джерело

Ви пробували якісь приклади? Мовляв, рівномірний розподіл на інтервалі довжини ?

L

$L$

— Пьотр Мігдал

Дійсно, диференціальна ентропія рівномірного розподілу (на будь-якому кінцевому інтервалі) завжди кінцева, тобто log (L), отже, обмежена. Насправді я міг би виділити 2 класи безперервних розподілів, ентропія яких завжди обмежена - (1) будь-який розподіл, підтримка якого міститься у кінцевому інтервалі, і (2) будь-який розподіл, 2-й момент якого є кінцевим. Перший обмежений рівномірним розподілом; в той час як останній обмежений гауссовим розподілом.

— syeh_106

Насправді я також можу побудувати розподіл з нескінченним другим моментом і все ще має кінцеву ентропію. Наприклад, розглянемо f (x) = 3 / (x ^ 2), x> 3. Очевидно, що E [X ^ 2] нескінченно, але h (X) ~ = -3,1 нац. Однак я не зміг підтвердити, чи це справедливо для довільних безперервних випадкових змінних, або не придумав зустрічний приклад, щоб спростувати його. Я дуже вдячний, якщо хтось може це показати.

— syeh_106

Дякую за коментарі та посилання, Пьотр. Між іншим, я також перевірив один з моїх курсових матеріалів і виявив абсолютно той самий приклад дискретної випадкової змінної з незліченною підтримкою. Мотивоване цим, не важко побудувати безперервний аналог. Тож відповідь на перше питання очевидна. Я підсумую його нижче для інших людей, які можуть мати те саме питання. До речі, мені потрібно внести виправлення у своєму другому коментарі вище, зокрема, для f (x) = 3 / (x ^ 2), h (X) має бути позитивним, тобто 3,1 нат.

— syeh_106

Це питання та відповідь неоднозначні, оскільки в них не зазначено, які саме межі слід застосовувати. Якщо - RV, то він має ентропію, період. Якщо це "довільний" безперервний RV, тоді (очевидно) верхня межа не можлива. Які обмеження ви маєте намір накласти на ? З коментарів та вашої відповіді, можливо, ви хочете виправити підтримку можливо, ні? Можливо, ви хочете обмежити тими змінними із заданими межами на певні моменти? Можливо, ви хочете

X

$X$

X

$X$

X

$X$

X

$X$

знаходився в параметричній родині - а може і ні? Будь ласка, відредагуйте це запитання для уточнення.

X

$X$

— whuber

Я ще раз подумав над цим питанням і зумів знайти зустрічний приклад, завдяки також коментарям Піотра, поданим вище. Відповідь на перше питання - ні - диференціальна ентропія неперервної випадкової величини (RV) не завжди менша за . Наприклад, розглянемо суцільний RV X, pdf якого $\infty$ для.

f (x) = \frac{\log (2)}{x \log (x)^{2}}

$f(x) = \frac{\log(2)}{x \log(x)^2}$

x > 2

$x > 2$

Не важко перевірити, що його диференціальна ентропія нескінченна. Воно росте досить повільно (приблизно логарифмічно).

Щодо другого питання, я не знаю простої необхідної та достатньої умови. Однак одна часткова відповідь полягає в наступному. Класифікуйте безперервний RV на один із наступних 3 типів на основі його підтримки, тобто

$\infty$ $-\infty$

Тоді ми маємо наступне -

$\infty$
$\infty$ $\mu$
$\infty$ $\sigma^2$

$log(b-a)$ $1+log(|\mu-a|)$ $\frac{1}{2} log(2{\pi}e\sigma^2)$

f (x) = \frac{3}{x^{2}}

$f(x) = \frac{3}{x^2}$

x > 3

$x > 3$

f (x) = \frac{9}{| x |^{3}}

$f(x) = \frac{9}{|x|^3}$

| x | > 3

$|x| > 3$

— syeh_106
джерело

⟨ x^{α} ⟩

$\langle x^\alpha \rangle$

α > 0

$\alpha>0$

Дякую, Піотре, за поради щодо політики щодо ІП. (Так, я, очевидно, тут новий.) Щодо обмежених моментів, що призводять до обмеженої ентропії, ви поділилися б своїм доказом? Спасибі!

— syeh_106

@PiotrMigdal Я планую залишити відповідь на це питання у його поточному стані після додавання остаточного штриху. Мотивований коментарем Пьотра вище, я вважав, якщо кінцева середня величина призводить до кінцевої ентропії. Я не міг цього зробити загалом. Що я знайшов, це те, що це правда, якщо підтримка RV є напівмежею. Будь ласка, дивіться переглянутий відповідь вище. Я з нетерпінням чекаю кращої відповіді від когось колись.

— syeh_106

"Не важко перевірити, що її диференціальна ентропія нескінченна". Чи можете ви показати, як це підтвердити? Це здається справжнім для інтеграла Рімана, але диференціальна ентропія щодо міри Лебега. У мене виникають проблеми з підтвердженням того, що відповідний інтеграл Лебега не збігається.

— cantorhead

X

$X$

E [X]

$\mathrm{E}[X]$

H (X) = \log (4 π)

$H(X)=\log(4\pi)$