Запитання з тегом «parallel-processing»

Багато платформ просувають асинхронність і паралелізм як засоби для підвищення чуйності. Я розумію різницю загалом, але часто мені важко сформулювати свою думку, як і для інших. Я програміст у робочий день і досить часто використовую асинхронізацію та зворотній зв'язок. Паралелізм відчуває екзотику. Але я відчуваю, що їх легко зв'язати, особливо …

139 multithreading  asynchronous  parallel-processing 

У разі, якщо я не дбаю про порядок виконання завдань і просто потрібно, щоб вони все виконали, чи потрібно все-таки використовувати await Task.WhenAllзамість кількох await? наприклад, DoWork2нижче кращого способу DoWork1(і чому?): using System; using System.Threading.Tasks; namespace ConsoleApp { class Program { static async Task<string> DoTaskAsync(string name, int timeout) { var …

127 c#  .net  parallel-processing  task-parallel-library  async-await 

У мене є скрипт повноважень, щоб зробити деяку пакетну обробку на купі зображень, і я хотів би зробити паралельну обробку. У Powershell, здається, є деякі варіанти фонової обробки, такі як старт-робота, робота-очікування тощо, але єдиний хороший ресурс, який я знайшов для виконання паралельних робіт, - це написання тексту сценарію та …

125 multithreading  powershell  parallel-processing 

Припустимо, у мене є великий масив масивної пам'яті, у мене є функція, funcяка приймає цей гігантський масив як вхідний (разом з деякими іншими параметрами). funcз різними параметрами можна запускати паралельно. Наприклад: def func(arr, param): # do stuff to arr, param # build array arr pool = Pool(processes = 6) results …

123 python  numpy  parallel-processing  multiprocessing  shared-memory 

Я намагаюся паралелізувати промінь-прослідковувач. Це означає, що у мене дуже довгий список невеликих обчислень. Програма ванілі працює на конкретній сцені за 67,98 секунд і 13 Мб загального використання пам'яті та 99,2% продуктивності. У своїй першій спробі я застосував паралельну стратегію parBufferз розміром буфера 50. Я вибрав, parBufferтому що він проходить …

114 haskell  parallel-processing  raytracing 

Як вийти з паралелі.для циклу? У мене є досить складна заява, яка виглядає наступним чином: Parallel.ForEach<ColorIndexHolder>(ColorIndex.AsEnumerable(), new Action<ColorIndexHolder>((ColorIndexHolder Element) => { if (Element.StartIndex <= I && Element.StartIndex + Element.Length >= I) { Found = true; break; } })); Використовуючи паралельний клас, я можу далеко оптимізувати цей процес. Однак; Я не …

111 c#  multithreading  parallel-processing  parallel.foreach 

Я експериментував із багатопотоковою та паралельною обробкою, і мені знадобився лічильник, щоб зробити базовий підрахунок та статистичний аналіз швидкості обробки. Щоб уникнути проблем із одночасним використанням мого класу, я використав оператор блокування приватної змінної у своєму класі: private object mutex = new object(); public void Count(int amount) { lock(mutex) { …

111 c#  .net  multithreading  locking  parallel-processing 

Одним з головних прикладів, який використовується при демонстрації сили MapReduce, є тестовий показник Terasort . У мене виникають проблеми з розумінням основ алгоритму сортування, що використовується в середовищі MapReduce. Для мене сортування просто включає визначення відносного положення елемента по відношенню до всіх інших елементів. Тож сортування передбачає порівняння "всього" з …

110 algorithm  sorting  parallel-processing  hadoop  mapreduce 

Я хотів би паралелізувати свою програму Python, щоб вона могла використовувати декілька процесорів на машині, на якій вона працює. Моя паралелізація дуже проста, тим, що всі паралельні "потоки" програми є незалежними і записують свій вихід у окремі файли. Мені не потрібні потоки для обміну інформацією, але важливо, щоб я знав, …

110 python  multithreading  parallel-processing 

Який спосіб просто дочекатися завершення всіх потокових процесів? Наприклад, скажімо, у мене є: public class DoSomethingInAThread implements Runnable{ public static void main(String[] args) { for (int n=0; n<1000; n++) { Thread t = new Thread(new DoSomethingInAThread()); t.start(); } // wait for all threads' run() methods to complete before continuing } …

109 java  multithreading  parallel-processing  wait 

Враховуючи цей код: var arrayStrings = new string[1000]; Parallel.ForEach<string>(arrayStrings, someString => { DoSomething(someString); }); Чи будуть всі 1000 ниток нереститися майже одночасно?

107 c#  .net  c#-4.0  parallel-processing 

Я намагаюся зрозуміти, в чому різниця між SLURM srunі sbatchкомандами. Я буду радий загальним поясненням, а не конкретним відповідям на наступні запитання, але тут є деякі конкретні моменти плутанини, які можуть стати відправною точкою та дати уявлення про те, що я шукаю. Згідно з документацією , srunце для подання робочих …

95 parallel-processing  scheduler  jobs  slurm  sbatch 

Документація до multiprocessingмодуля показує, як передати чергу в процес, з якого розпочато multiprocessing.Process. Але як я можу поділитися чергою з запущеними асинхронними робочими процесами apply_async? Мені не потрібне динамічне приєднання або щось інше, просто спосіб для робітників (неодноразово) повідомляти свої результати до бази. import multiprocessing def worker(name, que): que.put("%d is …

92 python  parallel-processing  queue  multiprocessing  python-multiprocessing 

Чи є спосіб створити потоки для запуску декількох методів одночасно? Таким чином, якщо який-небудь метод не вдасться між усіма іншими потоками, слід вбити.

91 multithreading  node.js  asynchronous  parallel-processing 

У своїй нещодавній роботі з Gibbs sampling, я широко використовував той, RVarякий, на мій погляд, забезпечує майже ідеальний інтерфейс для генерації випадкових чисел. На жаль, я не зміг використати Repa через неможливість використовувати монадичні дії на картах. Хоча однозначно монадичні карти неможливо розпаралелювати загалом, мені здається, що це RVarможе бути …

90 arrays  haskell  parallel-processing  repa