Запитання з тегом «parallel-processing»

На даний момент я маю поточний сценарій. #!/bin/bash # script.sh for i in {0..99}; do script-to-run.sh input/ output/ $i done Я хочу запустити його паралельно, використовуючи xargs. я намагався script.sh | xargs -P8 Але виконання вищезазначеного виконується лише один раз за раз. Не пощастило і з -n8. Додавання & в …

85 bash  parallel-processing  xargs 

Які фактори визначають оптимальний chunksizeаргумент до таких методів multiprocessing.Pool.map()? .map()Метод представляється використовувати довільну евристику для його по замовчуванням chunksize (описано нижче); що мотивує цей вибір і чи існує більш продуманий підхід, заснований на певній ситуації / установці? Приклад - скажіть, що я: Перехід iterableдо, .map()який має ~ 15 мільйонів елементів; …

84 python  python-3.x  parallel-processing  multiprocessing  python-multiprocessing 

Я намагаюся запустити кілька функцій, які підключаються до віддаленого сайту (за мережею) і повертають загальний список. Але я хочу запускати їх одночасно. Наприклад: public static List<SearchResult> Search(string title) { //Initialize a new temp list to hold all search results List<SearchResult> results = new List<SearchResult>(); //Loop all providers simultaneously Parallel.ForEach(Providers, currentProvider …

80 c#  list  locking  parallel-processing 

Наскільки великий пул потоків Scala для ф’ючерсів? Мій додаток Scala робить багато мільйонів future {}с, і мені цікаво, чи можу я щось зробити для їх оптимізації, налаштувавши пул потоків. Дякую.

80 multithreading  scala  parallel-processing  threadpool  future 

Модель програмування node.js, керована подіями, робить дещо складніше координувати потік програми. Просте послідовне виконання перетворюється на вкладені зворотні виклики, що досить легко (хоча трохи заплутано для запису). Але як щодо паралельного виконання? Скажімо, у вас є три завдання A, B, C, які можуть виконуватися паралельно, і коли вони будуть виконані, …

79 javascript  concurrency  node.js  parallel-processing  fork-join 

Якщо я не помиляюсь, я можу змусити std::transformвиконати на місці , використовуючи той самий діапазон, що ітератор вводу та виводу. Припустимо, у мене є якийсь std::vectorпредмет vec, тоді я б писав std::transform(vec.cbegin(),vec.cend(),vec.begin(),unary_op) використовуючи відповідну одинарну операцію unary_op. Використовуючи стандарт C ++ 17, я хотів би виконати перетворення паралельно, вставивши std::execution::parтуди …

11 c++  parallel-processing  stl  c++17 

Я маю справу з досить великим Pandas DataFrame - мій набір даних нагадує таку dfнастройку: import pandas as pd import numpy as np #--------------------------------------------- SIZING PARAMETERS : R1 = 20 # .repeat( repeats = R1 ) R2 = 10 # .repeat( repeats = R2 ) R3 = 541680 # .repeat( …

9 python  pandas  apache-spark  parallel-processing  dask 

Шаблон, на який я стикався вже не раз, - це той, де список значень потрібно перевірити, зіставивши якийсь тест над ним і побачивши, чи пройшли якісь або всі елементи. Типове рішення - просто використовувати зручні вбудовані allта any. Проблема полягає в тому, що вони оцінюються послідовно. У багатьох випадках було …

9 haskell  testing  concurrency  parallel-processing  any