Запитання з тегом «data-compression»

Давно я прочитав статтю в газеті, де якийсь професор сказав, що в майбутньому ми зможемо стиснути дані лише на два біти (або щось подібне). Це, звичайно, не вірно (і могло бути, що моя пам’ять про те, що він саме заявив, не відповідає). Зрозуміло, що не було б практичним стиснути будь-який …

38 data-compression 

Ця ідея мені прийшла в голову як дитина, яка навчається програмувати і вперше зустрічається з PRNG. Я досі не знаю, наскільки це реально, але зараз є обмін стеками. Ось схема 14 років для дивовижного алгоритму стиснення: Візьміть ПРНГ і посіяйте його насінням s щоб отримати довгу послідовність псевдовипадкових байтів. Щоб …

38 information-theory  randomness  data-compression  pseudo-random-generators  entropy 

За даними Вікіпедії : Ентропія Шеннона вимірює інформацію, що міститься в повідомленні, на відміну від визначеної (або передбачуваної) частини повідомлення. Приклади останнього включають надмірність у мовній структурі або статистичні властивості, що стосуються частоти зустрічань літер або пар слів, триплетів тощо. Отже, ентропія - це міра кількості інформації, що міститься в …

35 information-theory  data-compression  entropy 

Я хотів би перерахувати всі непрямі графіки розміром , але мені потрібен лише один примірник кожного класу ізоморфізму . Іншими словами, я хочу перерахувати всі неізоморфні (непрямі) графіки на n вершинах. Як я можу це зробити?nnnnnn Точніше, я хочу алгоритм, який генерує послідовність непрямих графіків із таким властивістю: для кожного …

30 algorithms  graphs  data-compression  graph-isomorphism 

У мене є файл, що містить упорядковані двійкові числа від до :0002n−12n−12^n - 1 0000000000 0000000001 0000000010 0000000011 0000000100 ... 1111111111 7z не стискав цей файл дуже ефективно (для n = 20, 22 Мб було стиснено до 300 кБ). Чи є алгоритми, які можуть розпізнати дуже просту структуру даних і …

27 information-theory  data-compression 

Деякий хлопець сказав наступне: Кожен, хто намагається генерувати випадкові числа детермінованими засобами, звичайно, живе в стані гріха. Це завжди означає, що ви не можете генерувати справжні випадкові числа лише за допомогою комп'ютера. І він сказав, що коли комп'ютери були еквівалентними розмірами одного мікропроцесора Intel 8080 (~ 6000 клапанів). Комп'ютери стали …

25 randomness  data-compression  entropy  random-number-generator 

Нещодавно я натрапив на наступну цікаву статтю, яка стверджує, що ефективно стискати випадкові набори даних завжди більше ніж на 50%, незалежно від типу та формату даних. В основному, він використовує прості числа, щоб унікально побудувати подання 4-байтових фрагментів даних, які легко розпакувати, враховуючи, що кожне число є унікальним продуктом простих …

22 information-theory  data-compression  primes 

Я вивчив щось про складність Колмогорова , прочитав деякі статті та книги Вітанія та Лі і використав концепцію нормованої дистанції стиснення, щоб перевірити стилометрію авторів (визначте, як кожен автор пише деякі текстові та групові документи за їх подібністю). У цьому випадку компресори даних використовувались для наближення складності Колмогорова, оскільки компресор …

22 computability  approximation  data-compression  kolmogorov-complexity 

Щойно я натрапив на таке: я помістив декілька однакових копій PNG зображення у папку, а потім спробував стиснути цю папку такими методами: tar czf folder.tar.gz folder/ tar cf folder.tar folder/ && xz --stdout folder.tar > folder.tar.xz (це добре працює для однакових зображень, однак для подібних зображень коефіцієнт посилення дорівнює нулю) …

21 data-compression 

Мені цікаво, як можна дуже компактно стиснути домен довільного імені хоста IDN (як визначено RFC5890 ) і підозрювати, що це може стати цікавою проблемою. Ім'я хоста або доменного імені Unicode (U-label) складається з рядка символів Unicode, як правило, обмежених однією мовою залежно від домену верхнього рівня (наприклад, грецькі літери під …

21 algorithms  strings  natural-language-processing  data-compression 

Якщо порівнювати впорядковану пару (x, y) з не упорядкованою парою {x, y} (безліч), то теоретично інформація є різницею лише в одному біті, тому що, якщо x приходить першим, або y потрібен рівно один біт для представлення. Отже, якщо нам задають набір {x, y}, де x, y - це два різних …

20 information-theory  data-compression 

У мене є реальні дані, які я використовую для імітаційної карткової гри. Мене цікавлять лише ранги карт, а не костюми. Однак це стандартна колода з 525252 картками, тому в колоді можливі лише 444 з кожного рангу. Колода добре перемішується для кожної руки, і тоді я виводжу всю колоду у файл. …

19 data-compression 

Я читав про алгоритми стиснення даних та теоретичну межу стиснення даних. Нещодавно я зіткнувся з методом стиснення під назвою "Комбінаторне кодування ентропії", головна ідея цього методу - кодувати файл як символи, представлені у файлі, їх частоти та індекс перестановки цих символів, представлений файлом. Ці документи можуть допомогти пояснити цей метод: …

17 information-theory  data-compression 

library(ggplot2) compress <- function(str) { length(memCompress(paste(rep("a", str), collapse=""), type="bzip2")) / nchar(paste(rep("a", str), collapse="")) } cr <- data.frame(i = 1:10000, r = sapply(1:10000, compress)) ggplot(cr[cr$i>=5000 & cr$i<=10000,], aes(x=i, y=r)) + geom_line() Коефіцієнт стиснення починається з 37 для "a" і досягає беззбитковості при 39 "a" s (коефіцієнт стиснення = 1). Діаграма починається …

15 data-compression 

Ми знаємо, що π нескінченний, і цілком ймовірно, що він містить усі можливі кінцеві рядки цифр ( диз'юнктивна послідовність ). Нещодавно я бачив деякий прототип πfs, який передбачає, що кожен файл, який ви створили (або хто-небудь інший), або ви створить, він вже є, тому його потрібно витягнути. Також є piFile, …

11 algorithms  data-compression  mathematical-programming