Чи є відомі проблеми / алгоритми в наукових обчисленнях, які неможливо прискорити паралелізацією

Чи є відомі проблеми / алгоритми в наукових обчисленнях, які не можна прискорити паралелізацією? Мені здається, що читаючи книги про CUDA, це може бути більшість речей.

Центральне питання довжина критичного шляху по відношенню до загальної кількості обчислень Т . Якщо C пропорційний T , то паралелізм пропонує в кращому випадку постійну швидкість. Якщо C асимптотично менший, ніж T , виникає можливість для більшого паралелізму, оскільки розмір проблеми збільшується. Для алгоритмів, у яких T є поліном на вхідному розмірі N , найкращий випадок - C ∼ log T, оскільки дуже мало корисних величин можна обчислити за менший, ніж логарифмічний час.$C$$T$$C$$T$$C$$T$$T$$N$$C \sim \log T$

Приклади

• для тридіагонального рішення з використанням стандартного алгоритму. Кожна операція залежить від завершення попередньої операції, тому немає можливості для паралелізму. Тридіагональні задачі можуть бути вирішені в логарифмічному часі на паралельному комп'ютері за допомогою вкладеного прямого розбиття, розкладання багаторівневого домену або мультисередовища з базовими функціями, побудованими за допомогою гармонічного розширення (ці три алгоритми відрізняються за кількома розмірами, але можуть точно збігатися в 1D).$C = T$
• Щільне нижньо-трикутне рішення з матрицею має T = N = O ( m 2 ) , але критичний шлях лише C = m = $m\times m$$T = N = \mathcal O(m^2)$ , тому деякий паралелізм може бути корисним.$C = m = \sqrt T$
• Многосеточние і ФММИ обидва мають , з критичним довжиною шляхом C = увійти T .$T = N$$C = \log T$
• Явне поширення хвилі за час на звичайній сітці домену ( 0 , 1 ) d вимагає k = τ / Δ t ∼ τ N 1 / d часові кроки (для стабільності), тому критичний шлях становить щонайменше C = k . Загальний обсяг роботи T = k N = τ N ( d + 1 ) / d . Максимальна корисна кількість процесорів - P = $\tau$$(0,1)^d$$k = \tau / \Delta t \sim \tau N^{1/d}$$C = k$$T = k N = \tau N^{(d+1)/d}$ , решта коефіцієнта N 1 / d не може бути відновлена ​​шляхом збільшення паралелізму.$P = T/C = N$$N^{1/d}$

Формальна складність

Клас складності NC характеризує ті проблеми, які можна ефективно вирішити паралельно (тобто в полілогіармічний час). Невідомо, чи , але широко вважається хибним. Якщо це дійсно так, то P-завершення характеризує ті проблеми, які "є за своєю суттю послідовними" і не можуть бути суттєво усунені паралелізмом.$NC = P$

$NC$$O(log^c n)$$O(n^k)$$P=NC$$P$$P$$P$$P$$NC$$P$$NC$$P=NC$

$P$$P$

Почніть з обрізання закону Амдаля . В основному все, що має велику кількість серійних кроків, виграє від паралелізму незначно. Кілька прикладів включають розбір, регулярне вираження та стиснення більшості.

Крім цього, ключовим питанням часто є вузьке місце в пропускній здатності пам'яті. Зокрема, для більшості GPU ваші теоретичні флопи значно перевищують кількість цифр з плаваючою комою, які ви можете дістати до своїх ALU, оскільки такі алгоритми з низькою арифметичною інтенсивністю (flops / cache-miss) витратять величезну частину часу на очікування оперативної пам'яті.

Нарешті, будь-який час, коли фрагмент коду вимагає розгалуження, навряд чи отримає хорошу ефективність, оскільки типово логіка ALU зазвичай перевершує.

На закінчення, дійсно простий приклад того, що важко отримати приріст швидкості від GPU - це просто підрахунок кількості нулів у масиві цілих чисел, як, можливо, вам доведеться часто розгалужувати, щонайбільше виконувати 1 операцію (приріст на один) у випадку, якщо ви знайдете нуль, і зробіть принаймні один збір пам’яті за операцію.

Приклад без проблеми розгалуження - обчислити вектор, який є сукупною сумою іншого вектора. ([1,2,1] -> [1,3,4])

Я не знаю, чи вважаються вони "відомими", але, безумовно, існує велика кількість проблем, з якими паралельні обчислення вам не допоможуть.

(Відомий) швидкий маршируючий метод для розв’язання рівняння Ейконана не можна прискорити паралелізацією. Існують і інші методи (наприклад, швидкі розгортки) для вирішення рівняння Ейконала, які піддаються паралелізації, але навіть тут потенціал для (паралельного) прискорення обмежений.

Проблема рівняння Ейконала полягає в тому, що потік інформації залежить від самого рішення. Вкрай кажучи, інформація протікає за характеристиками (тобто світловими променями в оптиці), але характеристики залежать від самого рішення. А потік інформації для розрізненого рівняння Ейконала ще гірший, вимагає додаткових наближень (як неявно присутні в методах швидкого розгортання), якщо бажане паралельне прискорення.

Щоб побачити труднощі паралелізації, уявіть собі приємний лабіринт, як у деяких прикладах на веб-сторінці Сетьяна . Кількість комірок на найкоротшому шляху через лабіринт (ймовірно) є нижньою межею для мінімальної кількості кроків / ітерацій будь-якого (паралельного) алгоритму, що вирішує відповідну задачу.

(Я пишу "(ймовірно) є", тому що нижчі межі, як відомо, важко довести, і часто вимагають певних розумних припущень щодо операцій, які використовуються алгоритмом.)

Іншим класом проблем, які важко паралелізувати на практиці, є проблеми, чутливі до помилок округлення, де числова стійкість досягається серіалізацією.

Розглянемо для прикладу процес Грама - Шмідта та його послідовну модифікацію. Алгоритм працює з векторами, тому ви можете використовувати паралельні векторні операції, але це не дуже масштабує. Якщо кількість векторів велика, а розмір вектора невеликий, використовуючи паралельну класичну Грам-Шмідта, реортогоналізація може бути стабільною та швидшою, ніж одномодифікований Грам-Шмідт, хоча це передбачає виконання в кілька разів більше роботи.