Про ентропію суми


12

Шукаю обмеження на ентропії суми двох незалежних дискретних випадкових величин X і Y . Природно, H ( X + Y ) H ( X ) + H ( Y ) ( ) Однак, застосований до суми n незалежних випадкових величин Бернуллі Z 1 , , Z n , це дає H ( Z 1 +H(X+Y)XY

H(X+Y)H(X)+H(Y)      ()
nZ1,,Zn Іншими словами, пов'язана зростає лінійно з n при багаторазовому застосуванні. Однак Z 1 + Z n підтримується на наборі розміру n , тому його ентропія становить не більше log n . Справді, по центральній граничній теоремі, я припускающо Н ( Z 1 + + Z п ) ( 1 / 2 ) журнал
H(Z1+Z2++Zn)nH(Z1)
nZ1+Znnlogn оскільки він по суті підтримується на наборі розмірівH(Z1++Zn)(1/2)logn .n

Коротше кажучи, зв'язане в цій ситуації зовсім трохи перестарається. Коли я читаю цю публікацію в блозі , я збираю всілякі межі на H ( X + Y ) ; чи існує межа, яка дає правильну асимптотику (або, принаймні, більш розумну асимптотику), коли її неодноразово застосовувати до суми випадкових змінних Бернуллі?()H(X+Y)


2
Я не впевнений, що ви насправді просите. Якщо ви хочете, щоб верхня межа H (X + Y) була з точки зору H (X) і H (Y), що застосовується до будь-яких двох незалежних дискретних випадкових величин X і Y, тоді H (X + Y) ≤H (X ) + H (Y) - явно найкраще, що можна отримати; розглянемо випадок, коли суми x + y всі виразні, коли х варіюється над підтримкою X, а y - діапазон, ніж підтримка Y. Якщо ви застосуєте цей загальний зв'язок до дуже особливого випадку, то, природно, ви отримаєте дуже нещільно пов'язана.
Цуйоші Іто

1
H(X+Y)H(X)+H(Y)n

1
H(X+Y)3H(XY)H(X)H(Y)

2
Це означає, що те, що ви шукаєте, не є верхньою межею H (X + Y) з точки зору H (X) і H (Y) . Будь ласка, відредагуйте питання.
Tsuyoshi Ito

1
Zin

Відповіді:


19

XA2H(X)YB2H(Y)

|A+B||A||B||A+B||A||B|H(X+Y)H(X)+H(Y)

|A+B||A||B|AB|A+B|(G,+)|A+B|=O(|A|+|B|)A,BG

A[a..b]B[0..c](1/2)lognc=1a=0b=kk=1,...,n1akkbk+k|A+B||A|+c


5

nZ1,Z2,...,ZnpZ1+Z2+...+Znnpnp12logn+O(logn)


0

Можливо, ви могли б використовувати рівняння:

H(Z1+Z2++Zn)=H(Z1)+H(Z2)++H(Zn)H(Z1|Z1+Z2++Zn)H(Z2|Z2+Z3++Zn)H(Zn1|Zn1+Zn)

Це могло б виглядати як термін, який ви згадували в коментарях, на жаль, я не знаю результатів щодо кардинальності негативних термінів або проникливих меж.

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.