Вхідні та вихідні масиви numpy до h5py

У мене є код Python, вихід якого є матрицею розміру, записи якої мають усі типи float. Якщо я збережу його з розширенням, .datрозмір файлу має розмір близько 500 МБ. Я читав, що використання h5pyзначно зменшує розмір файлу. Отже, скажімо, у мене названий 2D масив numpy A. Як зберегти його у файлі h5py? Крім того, як я читаю один і той же файл і розміщую його як нумерований масив в іншому коді, як мені потрібно робити маніпуляції з масивом?

h5py надає модель наборів даних та груп . Перший - це в основному масиви, а останній можна розглядати як каталоги. Кожен названий. Слід переглянути документацію API та приклади:

http://docs.h5py.org/en/latest/quick.html

Простий приклад, коли ви створюєте всі дані заздалегідь і просто хочете зберегти їх у файлі hdf5, виглядає приблизно так:

In [1]: import numpy as np
In [2]: import h5py
In [3]: a = np.random.random(size=(100,20))
In [4]: h5f = h5py.File('data.h5', 'w')
In [5]: h5f.create_dataset('dataset_1', data=a)
Out[5]: <HDF5 dataset "dataset_1": shape (100, 20), type "<f8">

In [6]: h5f.close()

Потім ви можете завантажити ці дані за допомогою: '

In [10]: h5f = h5py.File('data.h5','r')
In [11]: b = h5f['dataset_1'][:]
In [12]: h5f.close()

In [13]: np.allclose(a,b)
Out[13]: True

Однозначно перевірте документи:

http://docs.h5py.org

Запис у файл hdf5 залежить від h5py або pytables (кожен має інший API python, який розташовується поверх специфікації файлу hdf5). Ви також повинні ознайомитись з іншими простими бінарними форматами, наданими нумером, наприклад np.save, np.savezтощо:

http://docs.scipy.org/doc/numpy/reference/routines.io.html

Більш чіткий спосіб роботи з відкриттям / закриттям файлів та уникнення витоків пам'яті:

Підготовка:

import numpy as np
import h5py

data_to_write = np.random.random(size=(100,20)) # or some such

Написати:

with h5py.File('name-of-file.h5', 'w') as hf:
    hf.create_dataset("name-of-dataset",  data=data_to_write)

Прочитайте:

with h5py.File('name-of-file.h5', 'r') as hf:
    data = hf['name-of-dataset'][:]