Запитання з тегом «entropy»

Ця ідея мені прийшла в голову як дитина, яка навчається програмувати і вперше зустрічається з PRNG. Я досі не знаю, наскільки це реально, але зараз є обмін стеками. Ось схема 14 років для дивовижного алгоритму стиснення: Візьміть ПРНГ і посіяйте його насінням s щоб отримати довгу послідовність псевдовипадкових байтів. Щоб …

38 information-theory  randomness  data-compression  pseudo-random-generators  entropy 

За даними Вікіпедії : Ентропія Шеннона вимірює інформацію, що міститься в повідомленні, на відміну від визначеної (або передбачуваної) частини повідомлення. Приклади останнього включають надмірність у мовній структурі або статистичні властивості, що стосуються частоти зустрічань літер або пар слів, триплетів тощо. Отже, ентропія - це міра кількості інформації, що міститься в …

35 information-theory  data-compression  entropy 

Скажіть, мені потрібно моделювати такий дискретний розподіл: P(X=k)={12N,1−12N,if k=1if k=0P(X=k)={12N,if k=11−12N,if k=0 P(X = k) = \begin{cases} \frac{1}{2^N}, & \text{if $k = 1$} \\ 1 - \frac{1}{2^N}, & \text{if $k = 0$} \end{cases} Найбільш очевидний спосіб - намалювати випадкових біт і перевірити, чи всі вони дорівнюють (або ). Однак теорія …

31 algorithms  information-theory  randomness  pseudo-random-generators  entropy 

Алан Тьюрінг запропонував модель машини (машина Тьюрінга, ТМ), яка обчислює (числа, функції тощо) і доводила теорему Холтінга . TM - це абстрактне поняття машини (або двигуна, якщо вам подобається). Теорема зупинки - результат неможливості. Carnot Engine (CE) - це абстрактне поняття теплового двигуна, і Карно довів теорему Карно , ще …

31 turing-machines  halting-problem  entropy 

Деякий хлопець сказав наступне: Кожен, хто намагається генерувати випадкові числа детермінованими засобами, звичайно, живе в стані гріха. Це завжди означає, що ви не можете генерувати справжні випадкові числа лише за допомогою комп'ютера. І він сказав, що коли комп'ютери були еквівалентними розмірами одного мікропроцесора Intel 8080 (~ 6000 клапанів). Комп'ютери стали …

25 randomness  data-compression  entropy  random-number-generator 

У Linux файли /dev/randomта/dev/urandom файли є блокуючими та неблокуючими (відповідно) джерелами псевдовипадкових байтів. Їх можна читати як звичайні файли: $ hexdump /dev/random 0000000 28eb d9e7 44bb 1ac9 d06f b943 f904 8ffa 0000010 5652 1f08 ccb8 9ee2 d85c 7c6b ddb2 bcbe 0000020 f841 bd90 9e7c 5be2 eecc e395 5971 ab7f 0000030 …

19 operating-systems  cryptography  randomness  security  entropy 

У вас є масив з яти різних елементів. У вас є доступ до компаратора (функція чорної скриньки, яка бере два елементи a і b і повертає справжній iff a < b ) і справді випадкове джерело бітів (функція чорної скриньки не бере аргументів і повертає незалежно рівномірно випадковий біт). Розглянемо …

18 algorithms  algorithm-analysis  information-theory  permutations  entropy 

З огляду на рядок значень В С , Шенноном ентропійним в журналі базі 2 приходить до 0,922 . Як я розумію, у базі 2 закруглена ентропія Шеннона - це мінімальна кількість бітів у двійковій формі, щоб представити єдине одне із значень.AAAAAAAABCAAAAAAAABCAAAAAAAABC2220.9220.9220.922222 Зі вступу на цій сторінці вікіпедії: https://en.wikipedia.org/wiki/Entropy_%28information_theory%29 Отже, як …

14 information-theory  mathematical-foundations  entropy  binary 

На роботі мені було доручено виводити інформацію про тип динамічної мови. Я переписую послідовності висловлювань у вкладені letвирази, як-от так: return x; Z => x var x; Z => let x = undefined in Z x = y; Z => let x = y in Z if x then T …

11 programming-languages  logic  type-theory  type-inference  machine-learning  data-mining  clustering  order-theory  reference-request  information-theory  entropy  algorithms  algorithm-analysis  space-complexity  lower-bounds  formal-languages  computability  formal-grammars  context-free  parsing  complexity-theory  time-complexity  terminology  turing-machines  nondeterminism  programming-languages  semantics  operational-semantics  complexity-theory  time-complexity  complexity-theory  reference-request  turing-machines  machine-models  simulation  graphs  probability-theory  data-structures  terminology  distributed-systems  hash-tables  history  terminology  programming-languages  meta-programming  terminology  formal-grammars  compilers  algorithms  search-algorithms  formal-languages  regular-languages  complexity-theory  satisfiability  sat-solvers  factoring  algorithms  randomized-algorithms  streaming-algorithm  in-place  algorithms  numerical-analysis  regular-languages  automata  finite-automata  regular-expressions  algorithms  data-structures  efficiency  coding-theory  algorithms  graph-theory  reference-request  education  books  formal-languages  context-free  proof-techniques  algorithms  graph-theory  greedy-algorithms  matroids  complexity-theory  graph-theory  np-complete  intuition  complexity-theory  np-complete  traveling-salesman  algorithms  graphs  probabilistic-algorithms  weighted-graphs  data-structures  time-complexity  priority-queues  computability  turing-machines  automata  pushdown-automata  algorithms  graphs  binary-trees  algorithms  algorithm-analysis  spanning-trees  terminology  asymptotics  landau-notation  algorithms  graph-theory  network-flow  terminology  computability  undecidability  rice-theorem  algorithms  data-structures  computational-geometry 

Намагаючись зрозуміти зв’язки між кодуванням Хаффмана, арифметичним кодуванням і кодуванням діапазону, я почав думати про недоліки кодування Хаффмана, пов'язані з проблемою дробового розфасування бітів . Тобто, припустимо, що у вас є 240 можливих значень для символу, і потрібно, щоб кодувати це в біти, ви застрягли б з 8 бітами на …

11 information-theory  data-compression  coding-theory  entropy  huffman-coding 

У мене є обмежена проблема оптимізації в ентропії матриці (Шеннона) . Матриця може бути записана як сума матриць 1 рангу виду де - заданий нормалізований вектор. Коефіцієнти матриць першої позиції - це невідомі, в яких ми оптимізуємо, і вони повинні бути більшими за нуль і дорівнювати 1. A [ v …

10 optimization  entropy 

Зараз я намагаюсь оцінити багато непотрібної (фактичної) інформації, яку містить мій файл. Деякі називають це кількістю ентропії. Звичайно, є стандартний p (x) log {p (x)}, але я думаю, що Шеннон розглядав це лише з точки зору передачі, хоча каналу. Отже, формула вимагає розміру блоку (скажімо, у бітах, 8 зазвичай). Для …

9 entropy