Додавання метаінформації / метаданих до pandas DataFrame

Чи можна додати певну метаінформацію / метадані до pandas DataFrame?

Наприклад, назва приладу, що використовується для вимірювання даних, відповідальний прилад тощо.

Одним з обхідних шляхів було б створення стовпця з цією інформацією, але здається марним зберігати по одній інформації в кожному рядку!

Звичайно, як і більшість об’єктів Python, ви можете приєднати нові атрибути до pandas.DataFrame:

import pandas as pd
df = pd.DataFrame([])
df.instrument_name = 'Binky'

Однак слід зазначити, що в той час як ви можете прикріпити атрибути до DataFrame, операції , що виконуються на DataFrame (наприклад groupby, pivot, joinабо locназвати тільки деякі з них) може повернути новий DataFrame без метаданих додається. Pandas ще не має надійного методу поширення метаданих, приєднаних до DataFrames .

Збереження метаданих у файлі можливо. Приклад того, як зберігати метадані у файлі HDF5, можна знайти тут .

Просто сам натрапив на це питання. Починаючи з панд 0,13, DataFrames мають атрибут _metadata, який зберігається через функції, які повертають нові DataFrames. Також, здається, цілком виживає серіалізація (я пробував лише json, але, думаю, hdf також охоплений).

Не зовсім. Хоча ви можете додати атрибути, що містять метадані, до класу DataFrame, як згадує @unutbu, багато методів DataFrame повертають новий DataFrame, тому ваші метадані будуть втрачені. Якщо вам потрібно маніпулювати вашим фреймом даних, то найкращим варіантом буде перенесення метаданих та DataFrame в інший клас. Дивіться це обговорення на GitHub: https://github.com/pydata/pandas/issues/2485

В даний час існує відкритий запит на додавання об’єкта MetaDataFrame, який би краще підтримував метадані.

Станом на панд 1.0, можливо раніше, зараз є Dataframe.attrsвласність. Це експериментально, але це, мабуть, те, що вам потрібно в майбутньому. Наприклад:

import pandas as pd
df = pd.DataFrame([])
df.attrs['instrument_name'] = 'Binky'

Знайдіть його в документації тут .

Спробуйте це, to_parquetа потім from_parquet, здається, не зберігається, тому обов’язково перевірте це у своєму випадку використання.

Найкраща відповідь на приєднання довільних атрибутів до об'єкта DataFrame хороша, але якщо ви використовуєте словник, список або кортеж, це видасть помилку "Pandas не дозволяють створювати стовпці за допомогою нового імені атрибута". Наступне рішення працює для зберігання довільних атрибутів.

from types import SimpleNamespace
df = pd.DataFrame()
df.meta = SimpleNamespace()
df.meta.foo = [1,2,3]

Як згадувалося в інших відповідях та коментарях, _metadataвін не є частиною загальнодоступного API, тому точно не варто використовувати його у виробничому середовищі. Але ви все одно можете захотіти використовувати його в дослідницьких прототипах і замінити, якщо він перестане працювати. І зараз це працює з groupby/ apply, що корисно. Це приклад (якого я не міг знайти в інших відповідях):

df = pd.DataFrame([1, 2, 2, 3, 3], columns=['val']) 
df.my_attribute = "my_value"
df._metadata.append('my_attribute')
df.groupby('val').apply(lambda group: group.my_attribute)

Вихід:

val
1    my_value
2    my_value
3    my_value
dtype: object

Прийшовши до цього досить пізно, я подумав, що це може бути корисним, якщо вам потрібні метадані для збереження над I / O. Існує відносно новий пакет під назвою h5io, який я використовував для цього.

Це має дозволити вам швидко читати / писати з HDF5 для декількох поширених форматів, одним з яких є фрейм даних. Таким чином, ви можете, наприклад, помістити фрейм даних у словник і включити метадані як поля до словника. Наприклад:

save_dict = dict(data=my_df, name='chris', record_date='1/1/2016')
h5io.write_hdf5('path/to/file.hdf5', save_dict)
in_data = h5io.read_hdf5('path/to/file.hdf5')
df = in_data['data']
name = in_data['name']
etc...

Іншим варіантом було б розглянути такий проект, як xray , який є дещо складнішим, але я думаю, що він дозволяє використовувати метадані та досить легко перетворити на DataFrame.

Як згадував @choldgraf, я знайшов xarray як чудовий інструмент для приєднання метаданих при порівнянні даних та побудові результатів між кількома кадрами даних.

У своїй роботі ми часто порівнюємо результати кількох переглядів мікропрограми та різних сценаріїв тестування, додаючи цю інформацію так само просто:

df = pd.read_csv(meaningless_test)
metadata = {'fw': foo, 'test_name': bar, 'scenario': sc_01}
ds = xr.Dataset.from_dataframe(df)
ds.attrs = metadata

Я шукав рішення і виявив, що фрейм панд має властивість attrs

pd.DataFrame().attrs.update({'your_attribute' : 'value'})
frame.attrs['your_attribute']

Цей атрибут завжди буде прилипати до вашого кадру щоразу, коли ви його передасте!

У мене була та сама проблема, і я використав обхідний шлях для створення нового, меншого DF із словника з метаданими:

    meta = {"name": "Sample Dataframe", "Created": "19/07/2019"}
    dfMeta = pd.DataFrame.from_dict(meta, orient='index')

Потім цю dfMeta можна зберегти поряд із початковим DF у засолі тощо

Див. Розділ Збереження та завантаження декількох об’єктів у файлі засолу? (Відповідь Луца) для чудової відповіді щодо збереження та отримання декількох кадрів даних за допомогою засолу