Запитання з тегом «dask»

Починаючи з серпня 2017 року, Pandas DataFame.apply () , на жаль, все ще обмежений роботою з одним ядром, що означає, що багатоядерна машина витратить більшу частину свого обчислювального часу під час роботи df.apply(myfunc, axis=1). Як ви можете використовувати всі свої ядра для паралельного запуску застосування у фреймі даних?

105 pandas  dask 

Закрито . Це питання ґрунтується на думках . Наразі відповіді не приймаються. Хочете покращити це питання? Оновіть питання, щоб на нього можна було відповісти фактами та цитатами, відредагувавши цю публікацію . Закрито 4 роки тому . Удосконалюйте це питання В даний час я використовую Pandas та Spark для аналізу даних. …

81 python  pandas  apache-spark  dask 

Я маю справу з досить великим Pandas DataFrame - мій набір даних нагадує таку dfнастройку: import pandas as pd import numpy as np #--------------------------------------------- SIZING PARAMETERS : R1 = 20 # .repeat( repeats = R1 ) R2 = 10 # .repeat( repeats = R2 ) R3 = 541680 # .repeat( …

9 python  pandas  apache-spark  parallel-processing  dask