Як читати файли HDF5 у Python

Я намагаюся прочитати дані з файлу hdf5 на Python. Я можу прочитати файл hdf5 h5py, але не можу зрозуміти, як отримати доступ до даних у файлі.

Мій код

import h5py    
import numpy as np    
f1 = h5py.File(file_name,'r+')    

Це працює, і файл читається. Але як я можу отримати доступ до даних усередині файлового об'єкта f1?

Прочитайте HDF5

import h5py
filename = "file.hdf5"

with h5py.File(filename, "r") as f:
    # List all groups
    print("Keys: %s" % f.keys())
    a_group_key = list(f.keys())[0]

    # Get the data
    data = list(f[a_group_key])

Напишіть HDF5

import h5py

# Create random data
import numpy as np
data_matrix = np.random.uniform(-1, 1, size=(10, 3))

# Write data to HDF5
with h5py.File("file.hdf5", "w") as data_file:
    data_file.create_dataset("group_name", data=data_matrix)

Докладнішу інформацію див. У документації h5py .

Альтернативи

• JSON: приємно писати зручні для читання дані; ДУЖЕ часто вживаний ( читати та писати )
• CSV: надзвичайно простий формат ( читання та запис )
• соління: Формат серіалізації Python ( читання та запис )
• MessagePack ( пакет Python ): Більш компактне представлення ( читання та запис )
• HDF5 ( пакет Python ): Приємно для матриць ( читання та запис )
• XML: теж існує * зітхання * ( читання та запис )

Для вашої програми може бути важливим наступне:

• Підтримка іншими мовами програмування
• Виконання читання / письма
• Компактність (розмір файлу)

Див. Також: Порівняння форматів серіалізації даних

Якщо ви скоріше шукаєте спосіб створити конфігураційні файли, ви можете прочитати мою коротку статтю Конфігураційні файли на Python

Читання файлу

import h5py

f = h5py.File(file_name, mode)

Вивчення структури файлу шляхом друку наявних груп HDF5

for key in f.keys():
    print(key) #Names of the groups in HDF5 file.

Вилучення даних

#Get the HDF5 group
group = f[key]

#Checkout what keys are inside that group.
for key in group.keys():
    print(key)

data = group[some_key_inside_the_group].value
#Do whatever you want with data

#After you are done
f.close()

ви можете використовувати панди.

import pandas as pd
pd.read_hdf(filename,key)

Ось проста функція, яку я щойно написав, яка зчитує файл .hdf5, згенерований функцією save_weights у керах, і повертає dict з іменами шарів та вагами:

def read_hdf5(path):

    weights = {}

    keys = []
    with h5py.File(path, 'r') as f: # open file
        f.visit(keys.append) # append all keys to list
        for key in keys:
            if ':' in key: # contains data if ':' in key
                print(f[key].name)
                weights[f[key].name] = f[key].value
    return weights

https://gist.github.com/Attila94/fb917e03b04035f3737cc8860d9e9f9b .

Не перевірив його ретельно, але робить роботу за мене.

Щоб прочитати вміст файлу .hdf5 як масив, ви можете зробити щось наступне

> import numpy as np 
> myarray = np.fromfile('file.hdf5', dtype=float)
> print(myarray)

Використовуйте код нижче для зчитування та перетворення даних у масив numpy

import h5py
f1 = h5py.File('data_1.h5', 'r')
list(f1.keys())
X1 = f1['x']
y1=f1['y']
df1= np.array(X1.value)
dfy1= np.array(y1.value)
print (df1.shape)
print (dfy1.shape)

from keras.models import load_model 

h= load_model('FILE_NAME.h5')

Що вам потрібно зробити, це створити набір даних. Якщо ви подивитесь на посібник з швидкого запуску, він покаже вам, що вам потрібно використовувати об’єкт файлу, щоб створити набір даних. Отже, f.create_datasetі тоді ви можете прочитати дані. Це пояснюється в документах .

Використовуючи шматочки відповідей з цього питання та останнього документа , я зміг витягти свої числові масиви за допомогою

import h5py
with h5py.File(filename, 'r') as h5f:
    h5x = h5f[list(h5f.keys())[0]]['x'][()]

Де 'x'просто координата X у моєму випадку.

Якщо ви назвали набори даних у файлі hdf, ви можете використовувати наступний код для читання та перетворення цих наборів даних у масиви numpy:

import h5py
file = h5py.File('filename.h5', 'r')

xdata = file.get('xdata')
xdata= np.array(xdata)

Якщо ваш файл знаходиться в іншому каталозі, ви можете додати шлях перед ним 'filename.h5'.