Запитання з тегом «multiprocessing»

Чи є в багатопроцесорній бібліотеці Python чи існує варіант pool.map, який підтримує кілька аргументів? text = "test" def harvester(text, case): X = case[0] text+ str(X) if __name__ == '__main__': pool = multiprocessing.Pool(processes=6) case = RAW_DATASET pool.map(harvester(text,case),case, 1) pool.close() pool.join()

534 python  multiprocessing 

Я не бачив чітких прикладів із випадками використання для Pool.apply , Pool.apply_async та Pool.map . Я в основному використовую Pool.map; які переваги інших?

290 python  multithreading  concurrency  multiprocessing 

Мені шкода, що я не можу відтворити помилку більш простим прикладом, і мій код занадто складний для публікації. Якщо я запускаю програму в оболонці IPython замість звичайного Python, все виходить добре. Я переглянув кілька попередніх записок щодо цієї проблеми. Всі вони були викликані використанням пулу для виклику функції, визначеної у …

243 python  multiprocessing  pickle  python-multiprocessing 

Зараз у мене є центральний модуль в рамках, який породжує декілька процесів за допомогою multiprocessingмодуля Python 2.6 . Тому що воно використовує multiprocessing, є модуль рівня многопроцессорная-Aware журнал, LOG = multiprocessing.get_logger(). Згідно з документами , цей реєстратор має блокування, що ділиться процесами, так що ви не можете збирати речі sys.stderr(або …

239 python  logging  multiprocessing 

Я намагаюся використовувати функцію multiprocessing's, Pool.map()щоб розділити роботу одночасно. Коли я використовую такий код, він працює добре: import multiprocessing def f(x): return x*x def go(): pool = multiprocessing.Pool(processes=4) print pool.map(f, range(10)) if __name__== '__main__' : go() Однак, коли я використовую його в більш об'єктно-орієнтованому підході, він не працює. Повідомлення про …

218 python  multithreading  multiprocessing  pickle  pool 

Я намагаюся навчитися використовувати multiprocessingпакет Python , але я не розумію різниці між map_asyncі imap. Я помітив, що обидва map_asyncі imapвиконуються асинхронно. Отже, коли я повинен використовувати один над іншим? І як мені отримати результат, повернутий map_async? Чи варто використовувати щось подібне? def test(): result = pool.map_async() pool.close() pool.join() return …

184 python  multiprocessing  python-multiprocessing 

Коли я запускаю щось на кшталт: from multiprocessing import Pool p = Pool(5) def f(x): return x*x p.map(f, [1,2,3]) це чудово працює. Однак, ставлячи це як функцію класу: class calculate(object): def run(self): def f(x): return x*x p = Pool() return p.map(f, [1,2,3]) cl = calculate() print cl.run() Надає мені таку …

179 python  multiprocessing  pickle 

Які принципові відмінності між чергами та трубами в багатопроцесорному пакеті Python ? У яких сценаріях слід обирати один за іншим? Коли вигідно використовувати Pipe()? Коли вигідно використовувати Queue()?

151 python  performance  queue  multiprocessing  pipe 

Python 3.2 представив паралельні ф'ючерси , які, здається, є деякою вдосконаленою комбінацією старих модулів різьблення та багатообробки . Які переваги та недоліки використання цього для завдань, пов'язаних з процесором, у порівнянні зі старим багатопроцесорним модулем? Ця стаття говорить про те, що з ними набагато простіше працювати - це так?

148 python  python-3.x  multiprocessing 

Я вчуся використовувати параметри threadingта multiprocessingмодулі в Python для виконання певних операцій паралельно та прискорення коду. Мені це важко (можливо, тому, що я не маю жодної теоретичної основи щодо цього), щоб зрозуміти, в чому різниця між threading.Thread()об'єктом та предметом multiprocessing.Process(). Крім того, мені не зовсім зрозуміло, як встановити чергу чергових …

141 python  multithreading  parallel-processing  process  multiprocessing 

Як я можу обробляти події KeyboardInterrupt за допомогою багатопроцесорних пулів python? Ось простий приклад: from multiprocessing import Pool from time import sleep from sys import exit def slowly_square(i): sleep(1) return i*i def go(): pool = Pool(8) try: results = pool.map(slowly_square, range(40)) except KeyboardInterrupt: # **** THIS PART NEVER EXECUTES. **** …

136 python  multiprocessing  pool  keyboardinterrupt 

Я не впевнений, чи сприймається це більше як проблема ОС, але я подумав, що запитую тут у випадку, якщо хтось матиме деяке розуміння з кінця речей Python. Я намагався паралелізувати forциклічний цикл, використовуючи joblib, але я вважаю, що замість того, щоб кожен робочий процес був призначений іншому ядру, я закінчував, …

127 python  linux  numpy  multiprocessing  blas 

Припустимо, у мене є великий масив масивної пам'яті, у мене є функція, funcяка приймає цей гігантський масив як вхідний (разом з деякими іншими параметрами). funcз різними параметрами можна запускати паралельно. Наприклад: def func(arr, param): # do stuff to arr, param # build array arr pool = Pool(processes = 6) results …

123 python  numpy  parallel-processing  multiprocessing  shared-memory 

Я пробую свою першу офіційну програму python, використовуючи Threading та Multiprocessing на машині Windows. Я не можу запустити процеси, хоча python надає наступне повідомлення. Справа в тому, що я не запускаю свої потоки в основний модуль. Нитки обробляються в окремому модулі всередині класу. EDIT : До речі, цей код відмінно …

123 python  windows  multiprocessing 

Програма, яка створює декілька процесів, які працюють на черзі, що поєднується Q, і може врешті-решт маніпулювати глобальним словником Dдля зберігання результатів. (тому кожен дочірній процес може використовуватись Dдля збереження результатів, а також для того, щоб побачити, які результати дають інші дочірні процеси) Якщо я друкую словник D у дочірньому процесі, …

113 python  multiprocessing