Найвища компресія для файлів (для веб-передачі)?

Я бачив кілька сильно стислих файлів навколо, таких як 700 Мб даних, стислих до приблизно 30-50 МБ.

Але як ви отримуєте такі стислі файли? Я намагався використовувати таке програмне забезпечення, як WinRAR і 7Zip, але ніколи не досягав такої високої компресії.

Які методи / програмне забезпечення дозволяють вам так добре стискати файли?

(PS Я використовую Windows XP)

Якщо час для стискання даних не викликає проблем, то ви можете оптимізувати стислий розмір, використовуючи разом декілька різних інструментів.

Стисніть дані кілька разів за допомогою різних інструментів, таких як 7zip, winrar (для zip) та bjwflate.

(Зверніть увагу, що це не означає стиснення zip-файлів знову і знову, а скоріше створити ряд альтернативних zip-файлів за допомогою різних інструментів)

Потім запустіть дефлопт для кожного архіву, щоб зменшити кожен архів трохи більше.

Нарешті, запустіть zipmix про колекцію архівів. Оскільки різні інструменти zip краще для різних файлів, zipmix вибирає найкращу стиснуту версію кожного файлу з кожного з архівів і видає вихід, менший за будь-який, який можна було отримати будь-який із інструментів zip окремо.

Однак ви повинні зауважити, що це не гарантує жодної магії на ваші файли. Деякі типи даних просто не дуже добре стискаються, як JPEG та MP3. Ці файли вже стиснуті внутрішньо.

Це повністю залежить від стиснення даних.

Текст стискає дуже добре, двійкові формати не так добре, а дані стиснуті (mp3, jpg, mpeg) зовсім.

Ось хороша таблиця порівняння стиснення з Вікіпедії.

Попередні відповіді неправильні на порядок!

Найкращий алгоритм стиснення, з яким я маю особистий досвід, - це paq8o10t (див. Сторінку zpaq та PDF ).

Підказка: команда для стиснення files_or_folders була б така:

paq8o10t -5 archive files_or_folders

Джерело: Утиліта резервного копіювання журналу та архіватор

Ви можете знайти дзеркало вихідного коду на GitHub .

Трохи кращий алгоритм стиснення та переможець Хаттер- премії - розпаювання8 (див. Посилання на сторінці призів). Однак не існує програми компресорів, якою можна реально користуватися.

Для дійсно великих файлів lrzip може досягти коефіцієнтів стиснення, які є просто комічними .

Приклад з README.benchmarks:

Візьмемо шість дерев ядра в одній версії, крім тарболу, linux-2.6.31 до linux-2.6.36. Вони покажуть багато зайвої інформації, але сотні мегабайт, окрім lrzip, буде дуже добре стискати. Для простоти буде порівняно лише 7z, оскільки це на сьогоднішній день найкращий компресор загального призначення:

Це орієнтири, виконані на двоядерному процесорі Intel Core2 2,53 ГГц з 4 Гб оперативної пам’яті за допомогою lrzip v0.5.1. Зауважте, що він працює з 32-бітовим простором користувачів, тому можливе лише 2 Гб адресація. Однак тест запускався з параметром -U, що дозволяє розглядати весь файл як одне велике вікно стиснення.

Тарбол з 6 дерев підряд ядер.

Compression    Size                 Percentage      Compress    Decompress
None           2373713920           100             [n/a]       [n/a]
7z             344088002            14.5            17m26s      1m22s
lrzip          104874109            4.4             11m37s      56s
lrzip -l       223130711            9.4             05m21s      1m01s
lrzip -U       73356070             3.1             08m53s      43s
lrzip -Ul      158851141            6.7             04m31s      35s
lrzip -Uz      62614573             2.6             24m42s      25m30s

Squeezechart.com містить порівняння різних швидкостей стиснення. Хоча, як зазначається у відповіді Ніфля, ви навряд чи отримаєте такі високі показники стиснення для бінарних форматів.

Просто перевірте підсумок тестів з декількома тестами на стиснення файлів, який має найкращий список стиснення, який складається з повного показника стиснення.

Топ-30

Кращі виконавці (на основі стиснення) у цьому тесті - PAQ8 та WinRK (PWCM). Вони здатні стиснути тестовий набір 300+ Мб до 62 Мб (зменшення розміру на 80%), але для тестування знадобиться мінімум 8,5 годин. Програмі номер один (PAQ8P) потрібно майже 12 годин, а номер чотири (PAQAR) навіть 17 годин, щоб пройти тест. WinRK, програма з другою кращою компресією (79,7%) займає близько 8,5 годин. Не дивно, що всі згадані програми використовують для стиснення двигун PAQ (-подобний). Якщо у вас є файли із вбудованими зображеннями (наприклад, файли Word DOC), використовуйте PAQ8, він розпізнає їх та окремо стискає їх, значно збільшуючи стиснення. Всі згадані програми (крім WinRK) безкоштовні.

Більшість інструментів стиснення мають налаштування, що дозволяють досягти більш високої швидкості стиснення при компромісі уповільнення часу стиснення / декомпресії та більшого використання оперативної пам’яті.

Для 7-Zip шукайте "Додати до діалогового вікна архіву" у вбудованій довідці для отримання більш детальної інформації.

Ви можете спробувати 7zip з такими ультра-налаштуваннями:

7z a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on big_file.mysql.7z big_file.mysql

Ваша найкраща ставка тут, схоже, спроба та помилка. Спробуйте всі наявні методи стиснення на кожному файлі та виберіть найкраще розмістити на своєму веб-сайті. На щастя комп'ютери роблять подібні речі досить швидко і не нудьгують. Ви можете написати простий сценарій для автоматизації процесу, щоб він був "відносно безболісним".

Просто не чекайте чудес - від 700 до 30 мбіт просто не трапляється так часто. Файли журналів, як згадувалося вище - так. "Ваш середній файл" - ніяк.

Nanozip, схоже, має найбільшу компресію разом із FreeArc. Але це ще не в остаточній версії. Існує як хороша компресія Nanozip . Він має дуже високу компресію, і це не займає занадто багато часу, перевірте підсумок тестів з декількома тестами стиснення файлів , але FreeArc швидше.