Як оцінити, скільки пам'яті знадобиться DataFrame Pandas?

Мені було цікаво ... Якщо я читаю, скажімо, файл csv 400 Мб у кадр даних панди (використовуючи read_csv або read_table), чи є можливість підрахувати, скільки пам'яті знадобиться? Просто намагаюся краще відчути фрейми даних та пам'ять ...

df.memory_usage() поверне кількість кожного стовпця:

>>> df.memory_usage()

Row_ID            20906600
Household_ID      20906600
Vehicle           20906600
Calendar_Year     20906600
Model_Year        20906600
...

Щоб включити індекси, пройдіть index=True.

Отже, щоб отримати загальне споживання пам’яті:

>>> df.memory_usage(index=True).sum()
731731000

Крім того, проходження deep=Trueдозволить отримати більш точний звіт про використання пам'яті, який враховує повне використання об'єктів, що містяться.

Це пояснюється тим, що використання пам'яті не включає пам'ять, яку споживають елементи, які не є компонентами масиву, якщо deep=False(випадок за замовчуванням).

Ось порівняння різних методів - sys.getsizeof(df)найпростіше.

Для цього прикладу, dfє фрейм даних з 814 рядками, 11 стовпцями (2 входи, 9 об’єктів) - зчитується з формату 427 кб

sys.getsizeof (df)

>>> імпортувати sys
>>> sys.getsizeof (df)
(дає результати в байтах)
462456

df.memory_usage ()

>>> df.memory_usage ()
...
(перераховує кожен стовпець у 8 байт / рядок)

>>> df.memory_usage (). sum ()
71712
(приблизно рядки * cols * 8 байт)

>>> df.memory_usage (глибокий = True)
(перераховано повне використання пам'яті кожного стовпця)

>>> df.memory_usage (глибокий = True) .sum ()
(дає результати в байтах)
462432

df.info ()

Друкує інформацію про рамки даних для stdout. Технічно це кібібайти (KiB), а не кілобайти - як говориться в документі, "використання пам'яті показано в читаних людиною одиницях (представлення базових 2)". Отже, отримання байтів помножиться на 1024, наприклад 451,6 KiB = 462,438 байт.

>>> df.info ()
...
використання пам'яті: 70,0+ Кб

>>> df.info (memory_usage = 'глибокий')
...
використання пам'яті: 451,6 Кб

Я думав, що піднесу ще трохи даних до дискусії.

Я провів низку тестів з цього питання.

Використовуючи resourceпакет python, я отримав використання пам'яті свого процесу.

І записуючи csv у StringIOбуфер, я міг легко виміряти його розмір у байтах.

Я провів два експерименти, кожен з яких створив 20 кадрів даних із збільшенням розмірів між 10 000 рядками та 1 000 000 рядків. Обидва мають 10 стовпців.

У першому експерименті я використовував лише поплавці у своєму наборі даних.

Так збільшилася пам'ять порівняно з файлом csv як функція кількості рядків. (Розмір у мегабайти)

У другому експерименті у мене був такий самий підхід, але дані в наборі даних складалися лише з коротких рядків.

Здається, що співвідношення розміру csv та розміру фрейму даних може відрізнятися досить сильно, але розмір у пам'яті завжди буде більшим на 2-3 рази (для розмірів кадру в цьому експерименті)

Я хотів би доповнити цю відповідь ще кількома експериментами, будь ласка, коментуйте, якщо ви хочете, щоб я спробував щось особливе.

Ви повинні робити це в зворотному порядку.

In [4]: DataFrame(randn(1000000,20)).to_csv('test.csv')

In [5]: !ls -ltr test.csv
-rw-rw-r-- 1 users 399508276 Aug  6 16:55 test.csv

Технічно пам'ять про це (що включає в себе індекси)

In [16]: df.values.nbytes + df.index.nbytes + df.columns.nbytes
Out[16]: 168000160

Отже 168 Мб пам'яті з файлом 400 МБ, 1М рядків з 20 поплавкових стовпців

DataFrame(randn(1000000,20)).to_hdf('test.h5','df')

!ls -ltr test.h5
-rw-rw-r-- 1 users 168073944 Aug  6 16:57 test.h5

Набагато компактніше, коли записується як двійковий файл HDF5

In [12]: DataFrame(randn(1000000,20)).to_hdf('test.h5','df',complevel=9,complib='blosc')

In [13]: !ls -ltr test.h5
-rw-rw-r-- 1 users 154727012 Aug  6 16:58 test.h5

Дані були випадковими, тому стиснення не дуже допомагає

Якщо ви знаєте dtypes свого масиву, то ви можете безпосередньо обчислити кількість байтів, які знадобляться для зберігання ваших даних + деякі для самих об’єктів Python. Корисний атрибут numpyмасивів - це nbytes. Ви можете отримати кількість байтів з масивів у пандах DataFrame, виконавши це

nbytes = sum(block.values.nbytes for block in df.blocks.values())

objectdtype масиви зберігають 8 байтів на об'єкт (об’єктний масив dtype зберігає вказівник на непрозорий PyObject), тому якщо у вас є рядки у своєму csv, вам потрібно врахувати, що read_csvперетворить їх у objectмасиви dtype і відповідно скоригуйте свої обчислення.

Редагувати:

Див. numpyСторінку скалярних типів для отримання більш детальної інформації на сторінці object dtype. Оскільки зберігається лише посилання, потрібно також враховувати розмір об'єкта в масиві. Як зазначено на цій сторінці, масиви об'єктів дещо схожі на listоб’єкти Python .

Так, є. Панди зберігатимуть ваші дані у двовимірних нумерованих ndarrayструктурах, групуючи їх за типами. ndarrayце в основному необроблений масив даних C з невеликим заголовком. Таким чином, ви можете оцінити його розмір, просто помноживши розмір вміщеного на dtypeнього розмірів масиву.

Наприклад: якщо у вас 1000 рядків з 2 np.int32та 5 np.float64стовпцями, ваш DataFrame матиме один np.int32масив 2x1000 та один np.float64масив 5x1000, який є:

4 байти * 2 * 1000 + 8 байт * 5 * 1000 = 48000 байт

Це я вважаю, що це дає розмір в пам'яті будь-якого об’єкта в python. Внутрішню внутрішню частину потрібно перевірити щодо панди та нумеру

>>> import sys
#assuming the dataframe to be df 
>>> sys.getsizeof(df) 
59542497