Запитання з тегом «it.information-theory»

Які ваші улюблені приклади, коли теорія інформації використовується для доведення чіткого комбінаторного твердження простим способом? Деякі приклади , які я можу думати про те , пов'язані з нижніх меж для локально декодуємих кодів, наприклад, в цій статті: припустимо , що для зв'язки довічних рядків довжини n справедливо, що для кожного …

54 co.combinatorics  big-list  it.information-theory 

Неофіційно кажучи, складність Колмогорова рядка - це довжина найкоротшої програми, яка виводить . Ми можемо визначити поняття "випадкова рядок", використовуючи його ( є випадковим, якщо ) Неважко помітити, що більшість рядків є випадковими (не так багато коротких програм).x x K ( x ) ≥ 0,99 | х |ххxххxххxК( x ) …

44 cc.complexity-theory  big-list  co.combinatorics  it.information-theory 

Це питання було задано Жанетті Вінг після її презентації PCAST з інформатики. "З точки зору фізики, чи є у нас максимальний об'єм інформації?" (Приємне викликове питання для теоретичної спільноти інформатики, оскільки, на мою думку, це питання "Що таке інформація?") Поза межами "Що таке інформація?" слід також з'ясувати, що означає "об'єм" …

33 it.information-theory  physics 

Складність префікса Колмогорова (тобто - це розмір мінімальної саморозмежувальної програми, що виводить x ) має кілька приємних особливостей:К( х )K(x)K(x)хxx Це відповідає інтуїції, надаючи рядкам з малюнком або структурою меншу складність, ніж рядки без. Це дозволяє визначити умовну складність , або навіть краще До ( х | O ) для …

28 it.information-theory  kolmogorov-complexity  formal-modeling 

Я шукаю коди виправлення помилок такого типу: двійкові коди з постійною швидкістю, декодируемый з деякої постійної частки помилок, декодером, реалізованим як булева схема розміру , де - довжина кодування.NO(N)O(N)O(N)NNN Деякі відомості: Spielman в лінійно-часових кодах, що коригуються помилками , давав коди, які можна декодирувати за час в моделі оперативної пам'яті …

27 co.combinatorics  it.information-theory  coding-theory 

Код Хаффмана для розподілу ймовірностей - код префікса з мінімально зваженою середньою довжиною кодового слова , де - довжина го кодового слова. Загальновідома теорема, що середня довжина на символ коду Хаффмана становить між та , де - ентропія Шеннона розподілу ймовірностейppp∑piℓi∑piℓi\sum p_i \ell_iℓiℓi\ell_iiiiH(p)H(p)H(p)H(p)+1H(p)+1H(p)+1H(p)=−∑ipilog2piH(p)=−∑ipilog2⁡piH(p) = -\sum_i \, p_i \log_2 p_i Канонічний …

21 optimization  it.information-theory  coding-theory 

У квантовій теорії інформації відстань між двома квантовими каналами часто вимірюється за допомогою алмазної норми. Існує також ряд способів вимірювання відстані між двома квантовими станами, такі як відстань сліду, вірність тощо. Ізоморфізм Джаміолковського забезпечує подвійність між квантовими каналами та квантовими станами. Мені це цікаво, принаймні, тому, що алмазну норму, як …

19 quantum-computing  it.information-theory  quantum-information 

Інформаційна складність була дуже корисним інструментом у складності спілкування, в основному використовується для нижньої межі складності зв'язку розподілених проблем. Чи є аналог інформаційної складності для складності запиту? Існує багато паралелей між складністю запиту та складністю зв'язку; часто (але не завжди!) нижня межа в одній моделі переводиться на нижню межу в …

15 it.information-theory  communication-complexity  query-complexity 

Втілюючи фільтр Bloom, традиційний підхід вимагає декількох незалежних хеш-функцій. Кірш і Міценмахер показали, що вам потрібні лише два, а решта можуть генерувати їх як лінійні комбінації. Моє запитання: чим насправді різниця між двома хеш-функціями та однією з подвійною ентропією? Це відбувається з огляду на те, що ви насправді робите з …

15 ds.data-structures  it.information-theory  hash-function 

Більшість з нас знайомі - або принаймні чули про - ентропію Шеннона випадкової величини, H(X)=−E[logp(X)]H(X)=−E[log⁡p(X)]H(X) = -\mathbb{E} \bigl[ \log p(X)\bigr] , і всі відповідні інформаційно-теоретичні заходи, такі як відносна ентропія, взаємна інформація тощо. Існує кілька інших заходів ентропії, які зазвичай використовуються в теоретичній інформатиці та теорії інформації, такі як міні-ентропія …

14 it.information-theory  quantum-information 

Лема: якщо припустити, що у нас є ета-еквівалентність (\x -> ⊥) = ⊥ :: A -> B. Доведення: ⊥ = (\x -> ⊥ x)ета-еквівалентністю та (\x -> ⊥ x) = (\x -> ⊥)зменшенням під лямбда. Звіт Haskell 2010, розділ 6.2, визначає seqфункцію двома рівняннями: seq :: a -> b -> …

14 domain-theory  haskell  extensionality  cc.complexity-theory  counting-complexity  fl.formal-languages  automata-theory  cc.complexity-theory  arithmetic-circuits  it.information-theory  shannon-entropy  graph-theory  pr.probability  graph-theory  approximation-algorithms  approximation-hardness  multicommodity-flow  cc.complexity-theory  ds.algorithms  np-hardness  polynomial-time  dynamic-programming  lo.logic  terminology 

Останнім часом я маю справу з алгоритмами стиснення, і мені було цікаво, який найкращий коефіцієнт стиснення, який можна досягти за рахунок стиснення даних без втрат. Поки єдиним джерелом, яке я міг знайти на цю тему, була Вікіпедія: Компресія без втрат оцифрованих даних, таких як відео, оцифрована плівка та аудіо, зберігає …

14 it.information-theory  data-streams 

У популярному алгоритмі DEFLATE використовується кодування Хаффмана на вершині Lempel-Ziv. Загалом, якщо у нас є випадкове джерело даних (= 1 бітова ентропія / біт), жодне кодування, включаючи Хаффмана, швидше за все, не може стиснути його в середньому. Якби Лемпель-Зів був «ідеальним» (до якого він підходить для більшості класів джерел, оскільки …

13 ds.algorithms  it.information-theory  coding-theory  encoding 

Є дослідник, який показує, що стираючи біт повинен споживати енергію, а чи проводиться дослідження середнього споживання енергії алгоритму з обчислювальною складністю ? Напевно, обчислювальна складність F ( n ) співвідноситься із середнім споживанням енергії, сподіваюсь, що тут я можу отримати певну відповідь.Ж( n )F(n)F(n)Ж( n )F(n)F(n)

12 cc.complexity-theory  reference-request  it.information-theory  quantum-information  statistical-physics 

Шукаю обмеження на ентропії суми двох незалежних дискретних випадкових величин X і Y . Природно, H ( X + Y ) ≤ H ( X ) + H ( Y ) ( ∗ ) Однак, застосований до суми n незалежних випадкових величин Бернуллі Z 1 , … , Z n …

12 it.information-theory  shannon-entropy