Запитання з тегом «information-theory»

Чи всі рядки коду Морзе однозначно розшифровуються? Без пробілів, ......-...-..---.-----.-..-..-.. це може бути, Hello Worldале, можливо, перша літера є 5- адже це виглядає дуже малоймовірним, що довільна послідовність крапок і тире повинна мати унікальний переклад. Можливо, можна використовувати нерівність Крафта, але це стосується лише префіксальних кодів . Код Морзе з …

54 information-theory  coding-theory 

Ця ідея мені прийшла в голову як дитина, яка навчається програмувати і вперше зустрічається з PRNG. Я досі не знаю, наскільки це реально, але зараз є обмін стеками. Ось схема 14 років для дивовижного алгоритму стиснення: Візьміть ПРНГ і посіяйте його насінням s щоб отримати довгу послідовність псевдовипадкових байтів. Щоб …

38 information-theory  randomness  data-compression  pseudo-random-generators  entropy 

За даними Вікіпедії : Ентропія Шеннона вимірює інформацію, що міститься в повідомленні, на відміну від визначеної (або передбачуваної) частини повідомлення. Приклади останнього включають надмірність у мовній структурі або статистичні властивості, що стосуються частоти зустрічань літер або пар слів, триплетів тощо. Отже, ентропія - це міра кількості інформації, що міститься в …

35 information-theory  data-compression  entropy 

Скажіть, мені потрібно моделювати такий дискретний розподіл: P(X=k)={12N,1−12N,if k=1if k=0P(X=k)={12N,if k=11−12N,if k=0 P(X = k) = \begin{cases} \frac{1}{2^N}, & \text{if $k = 1$} \\ 1 - \frac{1}{2^N}, & \text{if $k = 0$} \end{cases} Найбільш очевидний спосіб - намалювати випадкових біт і перевірити, чи всі вони дорівнюють (або ). Однак теорія …

31 algorithms  information-theory  randomness  pseudo-random-generators  entropy 

У мене є файл, що містить упорядковані двійкові числа від до :0002n−12n−12^n - 1 0000000000 0000000001 0000000010 0000000011 0000000100 ... 1111111111 7z не стискав цей файл дуже ефективно (для n = 20, 22 Мб було стиснено до 300 кБ). Чи є алгоритми, які можуть розпізнати дуже просту структуру даних і …

27 information-theory  data-compression 

Я читаю книгу: " Код: прихована мова програмного забезпечення та програмного забезпечення комп'ютера " і в главі 2 автор говорить: Морзевський код, як кажуть, є двійковим (буквально означає два на два) кодом, оскільки компоненти коду складаються лише з двох речей - крапки та тире. Вікіпедія з іншого боку говорить: Строго …

27 information-theory  coding-theory  encoding-scheme 

Нещодавно я натрапив на наступну цікаву статтю, яка стверджує, що ефективно стискати випадкові набори даних завжди більше ніж на 50%, незалежно від типу та формату даних. В основному, він використовує прості числа, щоб унікально побудувати подання 4-байтових фрагментів даних, які легко розпакувати, враховуючи, що кожне число є унікальним продуктом простих …

22 information-theory  data-compression  primes 

Якщо порівнювати впорядковану пару (x, y) з не упорядкованою парою {x, y} (безліч), то теоретично інформація є різницею лише в одному біті, тому що, якщо x приходить першим, або y потрібен рівно один біт для представлення. Отже, якщо нам задають набір {x, y}, де x, y - це два різних …

20 information-theory  data-compression 

Щоб зашифрувати повідомлення за допомогою одноразової клавіші k , зробіть E n c ( m 1 , k ) = m 1 ⊕ k .m1m1m_1kkkEnc(m1,k)=m1⊕kEnc(m1,k)=m1⊕kEnc(m_1,k) = m_1 \oplus k Якщо ви використовуєте один і той же для шифрування іншого повідомлення m 2, ви отримаєте E n c ( m 2 …

20 cryptography  information-theory  encryption 

У вас є масив з яти різних елементів. У вас є доступ до компаратора (функція чорної скриньки, яка бере два елементи a і b і повертає справжній iff a < b ) і справді випадкове джерело бітів (функція чорної скриньки не бере аргументів і повертає незалежно рівномірно випадковий біт). Розглянемо …

18 algorithms  algorithm-analysis  information-theory  permutations  entropy 

Я читав про алгоритми стиснення даних та теоретичну межу стиснення даних. Нещодавно я зіткнувся з методом стиснення під назвою "Комбінаторне кодування ентропії", головна ідея цього методу - кодувати файл як символи, представлені у файлі, їх частоти та індекс перестановки цих символів, представлений файлом. Ці документи можуть допомогти пояснити цей метод: …

17 information-theory  data-compression 

За даними Вікіпедії : Неофіційно, з точки зору алгоритмічної теорії інформації, зміст інформації рядка еквівалентно довжині найкоротшого можливого автономного подання цієї рядка. Яке аналогічне неформальне суворе визначення "корисної інформації"? Чому «корисна інформація» не сприймається як більш природна чи більш фундаментальна концепція; Наївно це здається, що суто випадковий рядок за визначенням …

16 information-theory  terminology  kolmogorov-complexity 

Визначення будь-якої довільної сітки 9х9 вимагає надання позиції та значення кожного квадрата. Наївне кодування для цього може давати 81 (x, y, значення) триплети, що вимагає 4 біт для кожного x, y та значення (1-9 = 9 значення = 4 біта) на загальну суму 81x4x3 = 972 біт. Пронумерувавши кожен квадрат, …

16 combinatorics  modelling  information-theory  sudoku 

З огляду на рядок значень В С , Шенноном ентропійним в журналі базі 2 приходить до 0,922 . Як я розумію, у базі 2 закруглена ентропія Шеннона - це мінімальна кількість бітів у двійковій формі, щоб представити єдине одне із значень.AAAAAAAABCAAAAAAAABCAAAAAAAABC2220.9220.9220.922222 Зі вступу на цій сторінці вікіпедії: https://en.wikipedia.org/wiki/Entropy_%28information_theory%29 Отже, як …

14 information-theory  mathematical-foundations  entropy  binary 

В даний час я пишу код для створення двійкових даних. Мені спеціально потрібно генерувати 64-бітні числа з заданою кількістю встановлених бітів; точніше, процедура повинна приймати деяку і повертати псевдовипадкове 64-бітове число з точно яти бітами, встановленими на , а решта встановити на 0.n 10&lt;n&lt;640&lt;n&lt;640 < n < 64nnn111 Мій сучасний …

12 algorithms  information-theory  coding-theory  pseudo-random-generators