Запитання з тегом «shared-memory»

Припустимо, у мене є великий масив масивної пам'яті, у мене є функція, funcяка приймає цей гігантський масив як вхідний (разом з деякими іншими параметрами). funcз різними параметрами можна запускати паралельно. Наприклад: def func(arr, param): # do stuff to arr, param # build array arr pool = Pool(processes = 6) results …

123 python  numpy  parallel-processing  multiprocessing  shared-memory 

У мене є проблема з одним із моїх проектів. Я намагався знайти добре задокументований приклад використання спільної пам’яті, fork()але не мав успіху. В основному сценарій полягає в тому, що коли користувач запускає програму, мені потрібно зберігати два значення в спільній пам'яті: current_path, який є char *, і ім'я файлу, яке …

117 c  linux  fork  shared-memory 

Мені часто потрібно застосовувати функцію до груп дуже великих DataFrame(змішаних типів даних), і я хотів би скористатися перевагами декількох ядер. Я можу створити ітератор з груп і використовувати багатопроцесорний модуль, але це не ефективно, оскільки кожна група та результати функції повинні бути замариновані для обміну повідомленнями між процесами. Чи є …

89 python  pandas  multiprocessing  shared-memory 

У мене є 60 Гб масиву SciPy (матриця), я повинен ділитися між 5+ multiprocessing Processоб’єктами. Я бачив numpy-sharedmem і читав цю дискусію в списку SciPy. Здається, існує два підходи - numpy-sharedmemі використання a multiprocessing.RawArray()та відображення NumPy dtypes у ctypes. Зараз, numpy-sharedmemздається, це шлях, але я ще не бачив хорошого довідкового …

88 python  numpy  multiprocessing  shared-memory