Запитання з тегом «data-storage»

Чи є інструменти, спеціально розроблені для стиснення наукових даних з плаваючою точкою? Якщо функція гладка, очевидно, що між числами, що представляють цю функцію, існує велика кореляція, тому дані повинні добре стискатися. Зіпсування / gzipping бінарні дані з плаваючою точкою не дуже добре стискають його. Мені цікаво, чи є метод, спеціально …

26 data-storage 

Я використовую HDF5 протягом багатьох років, але в міру збільшення розміру набору даних я починаю відчувати ті ж самі проблеми, які перераховані тут http://cyrille.rossant.net/moving-away-hdf5/ Чи можете ви вказати мені такий формат, як HDF5, - Хороша підтримка паралельних записів - Підтримка чіткого доступу величезних матриць Типовим випадком використання є ціла матриця …

16 data-storage 

TL, DR Яка прийнята найкраща практика в наукових обчислювальних колах для зберігання великої кількості ієрархічно структурованих даних? Наприклад, SQL не чудово грає з великими розрідженими матрицями. Чи є хороший інструмент для структуризації, складування та аналізу такого роду даних? Що використовують хлопці в LHC? Використовуйте реквізити справи Я хочу зберігати дані …

13 data-management  data-storage  data-analysis 

Я не знайомий з файловим форматом, який використовується в HDF5, але мені цікаво, чи підходять файли HDF5 для контролю ревізії за допомогою git (або, наприклад, Mercurial або Subversion)? Я думаю, що я маю на увазі: чи файли HDF5 підходять для лінійного диффайнгу, або Git доведеться трактувати HDF5 як один великий …

13 data-management  data-storage