Для всіх, хто хоче застосувати tqdm до власного коду паралельних панд - застосувати.
(Я намагався деякі бібліотеки проводити паралелізацію протягом багатьох років, але я ніколи не знаходив 100% -ного рішення паралелізації, головним чином для функції застосування, і мені завжди доводилося повертатися за своїм "ручним" кодом.)
df_multi_core - це той, кого ви телефонуєте. Він приймає:
- Ваш об'єкт df
- Назва функції, яку ви хочете зателефонувати
- Підмножина стовпців, над якими може виконуватися функція (сприяє скороченню часу / пам'яті)
- Кількість завдань, які потрібно виконати паралельно (-1 або опустіть для всіх ядер)
- Будь-які інші kwargs функції df приймає (наприклад, "вісь")
_df_split - це внутрішня допоміжна функція, яка повинна бути розміщена глобально на працюючому модулі (Pool.map - "залежно від місця розташування"), інакше я б знаходив її всередині.
ось код з моєї суті (я додам ще тестів на функцію панди):
import pandas as pd
import numpy as np
import multiprocessing
from functools import partial
def _df_split(tup_arg, **kwargs):
split_ind, df_split, df_f_name = tup_arg
return (split_ind, getattr(df_split, df_f_name)(**kwargs))
def df_multi_core(df, df_f_name, subset=None, njobs=-1, **kwargs):
if njobs == -1:
njobs = multiprocessing.cpu_count()
pool = multiprocessing.Pool(processes=njobs)
try:
splits = np.array_split(df[subset], njobs)
except ValueError:
splits = np.array_split(df, njobs)
pool_data = [(split_ind, df_split, df_f_name) for split_ind, df_split in enumerate(splits)]
results = pool.map(partial(_df_split, **kwargs), pool_data)
pool.close()
pool.join()
results = sorted(results, key=lambda x:x[0])
results = pd.concat([split[1] for split in results])
return results
Нижче наведено тестовий код для паралельного застосування з tqdm "progress_apply".
from time import time
from tqdm import tqdm
tqdm.pandas()
if __name__ == '__main__':
sep = '-' * 50
# tqdm progress_apply test
def apply_f(row):
return row['c1'] + 0.1
N = 1000000
np.random.seed(0)
df = pd.DataFrame({'c1': np.arange(N), 'c2': np.arange(N)})
print('testing pandas apply on {}\n{}'.format(df.shape, sep))
t1 = time()
res = df.progress_apply(apply_f, axis=1)
t2 = time()
print('result random sample\n{}'.format(res.sample(n=3, random_state=0)))
print('time for native implementation {}\n{}'.format(round(t2 - t1, 2), sep))
t3 = time()
# res = df_multi_core(df=df, df_f_name='apply', subset=['c1'], njobs=-1, func=apply_f, axis=1)
res = df_multi_core(df=df, df_f_name='progress_apply', subset=['c1'], njobs=-1, func=apply_f, axis=1)
t4 = time()
print('result random sample\n{}'.format(res.sample(n=3, random_state=0)))
print('time for multi core implementation {}\n{}'.format(round(t4 - t3, 2), sep))
На виході ви можете побачити 1 рядок прогресу для запуску без паралелізації, а також основні смуги прогресу при запуску з паралелізацією. Є невеликий хик, і іноді решта ядер з’являються відразу, але навіть тоді я думаю, що це корисно, оскільки ви отримуєте статистику прогресу на ядро (це / сек та загальна кількість записів, наприклад)
Дякую @abcdaa за цю чудову бібліотеку!