Стиснення даних з плаваючою комою

Чи є інструменти, спеціально розроблені для стиснення наукових даних з плаваючою точкою?

Якщо функція гладка, очевидно, що між числами, що представляють цю функцію, існує велика кореляція, тому дані повинні добре стискатися. Зіпсування / gzipping бінарні дані з плаваючою точкою не дуже добре стискають його. Мені цікаво, чи є метод, спеціально розроблений для стиснення даних з плаваючою точкою.

Вимоги:

• Чи стиснення без втрат, так і можливість задати мінімальну кількість цифр, яку потрібно зберегти (для деяких додатків doubleможе бути більше, ніж нам потрібно, але floatможе мати недостатню точність).

• Добре перевірений робочий інструмент (тобто не просто документ, що описує теоретичний метод).

• Підходить для стиснення 1D числових даних (таких як часовий ряд)

• Крос-платформа (повинна працювати в Windows)

• Він повинен бути швидким --- бажано не набагато повільніше, ніж gzip. Я виявив, що якщо у мене числа зберігаються як ASCII, gzipping файлу може прискорити читання та обробку його (оскільки операція може бути пов'язана з введенням / виводом).

Особливо хотілося б почути від людей, які насправді використовували такий інструмент.

Спробуйте Blosc . Це в багатьох випадках швидше, ніж мемопія . Подумайте про це на секунду. . . злий.

Це супер стійкий, висококваліфікований, кросплатформенний і виконує функцію чемпіона.

Я отримав хороші результати, використовуючи HDF5 та його фільтр GZIP.

HDF5 також забезпечує фільтр SZIP, який досягає кращих результатів для деяких наборів даних scientifica.

На мій досвід, вибір компресій сильно залежить від виду даних, а порівняльний аналіз, мабуть, єдиний спосіб зробити хороший вибір.

BTW, сторонні фільтри для HDF5 включають BLOSC, BZIP2, LZO, LZF, MAFISC.

$[-1,1]$

Залежно від основної функції, ви, можливо, зможете без помилок пристосувати дані до функціональної форми, вимагаючи менше коефіцієнтів для опису функціональної форми, ніж у вас є точка даних (що призводить до стиснення). Результати помилок існують для деяких із цих методів, хоча я не знаю, чи який-небудь з них дасть вам апріорні (або апостеріорні ) межі або оцінки помилки.

Ви також можете переглянути методи, розроблені спеціально для стиснення чисел з плаваючою комою, як FPC та пов'язані з ними алгоритми. Дивіться документи тут , тут , тут , тут і тут , а також веб - сторінки , що містить старий вихідний код тут .

HDF5 може використовувати алгоритм "перетасування", де байти для N чисел з плаваючою точкою переставляються так, щоб перші байти з N чисел надходили першими, потім 2-ю тощо. Це призводить до кращих коефіцієнтів стиснення після застосування gzip, оскільки з більшою ймовірністю утворюються довші послідовності того ж значення. Дивіться тут деякі орієнтири .

SZ (розроблений Argonne в 2016 році) може бути хорошим вибором.

SZ: Швидкий компресор даних з плаваючою комою з обмеженою помилкою для наукових застосувань https://collab.cels.anl.gov/display/ESR/SZ

Можливі методи, які можна використовувати для стиснення з плаваючою комою:

• Транспоніруйте 4xN для поплавця та 8xN для подвійного + lz77
  Реалізація: Стиснення з плаваючою точкою в TurboTranspose
  див. Також компресію з втратою, обмежену помилками

• Прогноз (наприклад, метод кінцевого контексту) + кодування (напр., "Ціле стиснення").
  Реалізація: Стиснення з плаваючою комою в TurboPДля
  включення спеціального стиснення для часових рядів.

• коли можливо, перетворіть усі числа з плаваючою комою в цілі числа (наприклад, 1,63 -> 163), а потім використовуйте ціле стиснення

• Ви можете протестувати всі ці методи зі своїми даними, використовуючи інструмент icapp для Linux та Windows.

Ми використовували ZFP з HDF5 для даних медичних зображень. Він зроблений для стиснення з плаваючою комою з втратою.

Ми працюємо з ним буквально на всьому світі і зберігаємо (і використовуємо!) Понад 40 ТБ даних. Це досить швидко, щоб зберегти наші дані в режимі реального часу, і ми можемо вказати необхідну точність, тому, хоча формат втрачається, ми не бачимо різниці в наших кінцевих результатах.

Якщо функція гладка, очевидно, що між числами, що представляють цю функцію, існує велика кореляція, тому дані повинні добре стискатися.

Можливо, потрібний вам формат повинен зберігати лише компенсації від значення до сусіднього значення.

Крім того, можливо, ви могли б скористатися частотною областю, можливо навіть зберегти ці значення як аудіофайл без втрат, наприклад "flac lossless", оскільки для звуку вам потрібні ті самі властивості.

Однак я буду використовувати інший підхід до спроби відповісти на питання, яке, я сподіваюся, може допомогти. Як ви говорите, це також те, що мінімальна довжина опису для представлення цих даних менша, ніж надання всіх точок даних.

https://en.wikipedia.org/wiki/Minimum_description_length

Ефективно програма, комп'ютерний код, є хорошим прикладом. І якщо ви не заперечуєте, що щось таке, в першу чергу, дані, що працюють, виконуючи виконання, і так само кодоване, ви можете стиснути свої значення з плаваючою комою на щось, як функцію або формулу.

Робити це особливо добре автоматично і в реальній кількості обчислити, це важко. Однак мова Wolfram забезпечує певну функціональність для спроби цього:

https://reference.wolfram.com/language/ref/FindSequenceFunction.html https://reference.wolfram.com/language/ref/FindGeneratingFunction.html https://reference.wolfram.com/language/ref/FindFormula. html

https://reference.wolfram.com/language/ref/RSolve.html

Чому б просто не зберегти float32 / float16? У нуме,

A.astype( np.float32 )  # 100M: 200 msec imac
A.astype( np.float16 )  # 100M: 700 msec

Це не зробить, якщо ви моделюєте ефект Батерфляй в теорії хаосу, але вони зрозумілі, портативні, "не вимагаючи жодної роботи з мого боку". І стиснення 2: 1/4: 1 над float64 важко перемогти :)

Примітки:

"Float16 типу масиву не підтримується в np.linalg"; після читання в ньому вам доведеться розширити його до 32 або 64.

Щоб побачити, як відрізняються параметри з плаваючою комою,

import numpy as np
for f in [np.float64, np.float32, np.float16]:
    print np.finfo(f)

Сюжет тривіального тестового випадку, що порівнює float 64 32 та 16, дивіться тут .