Як масштабувати результати паралельної складності до багатьох ядер?

У мене виникли проблеми з прийняттям теоретичного уявлення про складність «ефективного рішення паралельного алгоритму», яке задається класом NC :

NC є класом проблем , які можуть бути вирішені з допомогою паралельного алгоритму під час $O(\log^cn)$ на $p(n) \in O(n^k)$ процесори з $c,k \in \mathbb{N}$ .

Ми можемо припустити ПРАМ .

Моя проблема полягає в тому, що це, здається, не дуже говорить про "справжні" машини, тобто машини з обмеженою кількістю процесорів. Тепер мені кажуть , що «відомо» , що ми можемо «ефективно» імітувати $O(n^k)$ алгоритм процесора на $p \in \mathbb{N}$ процесорів.

Що тут означає «ефективно»? Це фольклор чи існує сувора теорема, яка кількісно визначає накладні витрати, зумовлені імітацією?

Боюся, що це трапляється, це те, що у мене є проблема, яка має послідовний алгоритм $O(n^k)$ , а також "ефективний" паралельний алгоритм, який під час імітації на $p$ процесорах також займає час $O(n^k)$ (що все що можна очікувати на цьому рівні деталізації аналізу, якщо послідовний алгоритм є асимптотично оптимальним). У цьому випадку немає швидкого прискорення, наскільки ми бачимо; насправді модельований паралельний алгоритм може бути повільніше, ніж послідовний алгоритм. Тобто я дійсно шукаю твердження, точніші за обмеження $O$ (або заяву про відсутність таких результатів).

Якщо ви припускаєте, що кількість процесорів обмежена постійною, то ви маєте рацію, що проблема, що знаходиться в NC, на практиці не означає багато. Оскільки будь-який алгоритм на PRAM з k- процесорами і t паралельним часом може бути змодельований однопроцесорною ОЗУ в О ( kt ) час, паралельний час і послідовний час можуть відрізнятися лише постійним коефіцієнтом, якщо k є постійною.

Однак якщо ви припускаєте, що ви можете підготувати комп’ютер з більшою кількістю процесорів у міру збільшення розміру входу, то проблема, що знаходиться в NC, означає, що поки ви зможете підготувати більше процесорів, час роботи буде "дуже коротким" або, точніше, полілогіармічний у вхідному розмірі. Якщо ви вважаєте, що це припущення є нереальним, порівняйте його з припущенням про необмежену пам'ять: фактичні комп’ютери мають лише обмежену кількість простору, але при вивченні алгоритмів та складності ми майже завжди припускаємо, що обчислювальний пристрій не має постійної верхньої частини пов'язані з простором. На практиці це означає, що ми можемо підготувати комп’ютер з більшою кількістю пам'яті у міру збільшення розміру вводу, саме так ми зазвичай використовуємо комп’ютери в реальному світі. NC моделює аналогічну ситуацію при паралельних обчисленнях.

Я згоден з вами, що $NC$ - це не найкращий спосіб характеризувати ефективні паралельні алгоритми.

Дійсно, за визначенням НК також включає безліч проблем, які не є ефективно паралельними. Поширений приклад - паралельний бінарний пошук. Проблема виникає через те, що паралельний двійковий пошук має складну полілогіармічну часову складність навіть для . Будь-який послідовний алгоритм, що вимагає в найбільш логарифмічний час у гіршому випадку, знаходиться в N $p = 1$$NC$ незалежно від його паралельної можливості.

Але зачекай, є більше.

Алгоритми N C передбачають паралельні машини з поліноміальним числом процесорів для вирішення в полілогіармічний час задач середнього розміру. Однак на практиці ми використовуємо машини середнього розміру (з точки зору процесорів) для вирішеннявеликихпроблем. Кількість процесорів, як правило, субліномальна, навіть підлінійна.$NC$

Нарешті, існують проблеми в з паралельним сублінеен часу O ( п е ) , 0 < ε < 1 .Therefore, ці проблеми не належать до N C . Тепер підлінійні функції можуть мати відповідну асимптотичну поведінку лише для непрактично великих значень n , а можуть бути набагато менш прогресивними для практичних значень n . Як приклад,$P$$O(n^\epsilon), 0 < \epsilon < 1$$NC$$n$$n$дляn≤0,5×109. Звідси випливає, що алгоритми підлінійного паралельного часуможуть$\sqrt n < \lg^3 n$$n \leq 0.5 \times 10^9$ працювати швидше, ніж алгоритми $NC$

В одній з відповідей було зауважено, що "На практиці це означає, що ми можемо підготувати комп'ютер із більшою кількістю пам'яті у міру збільшення розміру вводу, саме так ми зазвичай використовуємо комп'ютери в реальному світі. NC моделює аналогічну ситуацію в паралельні обчислення ".

Я частково згоден з цією точкою зору. Ми купуємо новий паралельний комп'ютер з більшою кількістю пам'яті, коли старший суперкомп'ютер виводиться з експлуатації ще й тому, що мікросхеми DRAM за часом дешевші і дещо збалансувати паралельний комп'ютер щодо його основних компонентів (процесори, пам'ять, взаємозв'язок тощо).

$p$$n$$p$ , то в певний момент це значення досягне ємності пам'яті системи. Ефективність не може бути збережена, коли кількість процесорів збільшується за цією точкою.

Тому все важливіше розробляти паралельні алгоритми масштабування пам'яті, оскільки вони практичні для великих проблем.

$n^3$$n$