Запитання з тегом «shannon-entropy»

Лема: якщо припустити, що у нас є ета-еквівалентність (\x -> ⊥) = ⊥ :: A -> B. Доведення: ⊥ = (\x -> ⊥ x)ета-еквівалентністю та (\x -> ⊥ x) = (\x -> ⊥)зменшенням під лямбда. Звіт Haskell 2010, розділ 6.2, визначає seqфункцію двома рівняннями: seq :: a -> b -> …

14 domain-theory  haskell  extensionality  cc.complexity-theory  counting-complexity  fl.formal-languages  automata-theory  cc.complexity-theory  arithmetic-circuits  it.information-theory  shannon-entropy  graph-theory  pr.probability  graph-theory  approximation-algorithms  approximation-hardness  multicommodity-flow  cc.complexity-theory  ds.algorithms  np-hardness  polynomial-time  dynamic-programming  lo.logic  terminology 

Шукаю обмеження на ентропії суми двох незалежних дискретних випадкових величин X і Y . Природно, H ( X + Y ) ≤ H ( X ) + H ( Y ) ( ∗ ) Однак, застосований до суми n незалежних випадкових величин Бернуллі Z 1 , … , Z n …

12 it.information-theory  shannon-entropy 

Зазвичай ентропія Шеннона використовується для доведення результатів кодування каналів. Навіть для результатів розділення вихідних каналів використовується ентропія Шеннона. Враховуючи еквівалентність між поняттями Шеннона (глобальна) та Колмогорова (локальні), чи було проведено дослідження щодо використання складності Колмогорова для цих результатів (або принаймні для заміни кодуючої частини джерела у результатах поділу каналу джерела)?

12 it.information-theory  kolmogorov-complexity  shannon-entropy 

Я знаю роботу Шеннона з ентропією, але останнім часом я працював над стислими структурами даних, в яких емпірична ентропія часто використовується як частина аналізу зберігання. Шеннон визначив ентропію інформації, яку виробляє дискретний джерело інформації, як −∑ki=1pilogpi−∑i=1kpilog⁡pi-\sum_{i=1}^k p_i \log{p_i}, де pipip_i - це ймовірність події iii виникають, наприклад, генерується конкретний символ, …

9 reference-request  shannon-entropy  succinct