Шукаю обмеження на ентропії суми двох незалежних дискретних випадкових величин X і Y . Природно, H ( X + Y ) ≤ H ( X ) + H ( Y ) ( ∗ ) Однак, застосований до суми n незалежних випадкових величин Бернуллі Z 1 , … , Z n , це дає
H ( Z 1 +Н( X+ Y)ХY
Н( X+ Y) ≤ H( X) + Н( Y) ( ∗ )
нZ1, … , Zн Іншими словами, пов'язана зростає лінійно з
n при багаторазовому застосуванні. Однак
Z 1 + ⋯ Z n підтримується на наборі розміру
n , тому його ентропія становить не більше
log n . Справді, по центральній граничній теоремі, я припускающо
Н ( Z 1 + ⋯ + Z п ) ≈ ( 1 / 2 ) журналН( Z1+ Z2+ ⋯ + Zн) ≤ n H( Z1)
нZ1+ ⋯ Zннжурналн оскільки він по суті підтримується на наборі розмірів
√Н( Z1+ ⋯ + Zн) ≈ ( 1 / 2 ) журналн .
n−−√
Коротше кажучи, зв'язане в цій ситуації зовсім трохи перестарається. Коли я читаю цю публікацію в блозі , я збираю всілякі межі на H ( X + Y ) ; чи існує межа, яка дає правильну асимптотику (або, принаймні, більш розумну асимптотику), коли її неодноразово застосовувати до суми випадкових змінних Бернуллі?(∗)H(X+Y)