Чи існують алгоритми експонації паралельної матриці, які ефективніші, ніж послідовне множення?

Потрібно знайти потужність (натуральне число) матриці дійсних чисел. Є багато ефективних алгоритмів множення матриць (наприклад, деякі паралельні алгоритми - це Кеннон, DNS ), але чи є алгоритми, призначені саме для пошуку потужності матриці і які ефективніші, ніж послідовне виконання множення матриці? Мене особливо цікавлять паралельні алгоритми.

— TomR
джерело

Що ви пробували? Де ти застряг? Які дослідження ви провели? Окрім назви, де питання? На варіант рішення вашої проблеми (з назви) відповідь "так", але ви це вже знаєте, правда?

— Зло

@TomR Це питання, напевно, вас цікавить

— adrianN

Може щось подібне ? Або шукаєте щось інше? Які розміри та потужність у вашій програмі?

— Зло

Ви можете обчислити n-й потужність із меншим множенням n-1, коли n ≥ 4. Для великих матриць зазвичай варто знайти найменшу можливу кількість множень (наприклад, існує простий метод обчислити n ^ 15 з 6 множення, але це можна зробити з 5). Потім можна застосувати той самий принцип, щоб знайти найменшу кількість послідовних множень, що буде складніше.

— gnasher729

Ви також повинні врахувати кількість доступного вам паралелізму. "Паралелізм" - це використання ресурсів, які в іншому випадку були б не використані. Якщо реалізація матричного множення вже може ефективно використовувати всі наявні ресурси, то для обчислення потужностей матриць немає нічого іншого.

— gnasher729

Відповіді:

Якщо у вас є кілька процесорів, які можуть працювати паралельно, ви можете обчислити будь-яку потужність до потужності (2 ^ k) у k кроках. Наприклад: Щоб обчислити , ви обчислите: $M^{15}$

Етап 1: Обчисліть $M^2$

Етап 2: Обчисліть і $M^3 = M^2 * M$ $M^4 = M^2 * M^2$

Етап 3: Обчисліть і $M^7 = M^4 * M^3$ $M^8 = M^4 * M^4$

Етап 4: Обчисліть $M^{15} = M^8 * M^7$

Це на одне множення більше, ніж обчислення у трьох множеннях і підняття до третьої потужності в інших двох множеннях, але має бути швидше, якщо у вас є два процесори. Для довільно високих потужностей вам знадобиться більше процесорів. $M^5$ $M^5$

Якщо ви використовуєте алгоритм грубої сили для множення, множуючи рядок на стовпчик, ви можете заощадити деякий час, обчисливши один рядок продукту, а потім негайно використовуючи цей рядок для наступного продукту. Це допоможе в обчисленні коли ми можемо почати обчислювати як тільки буде обчислений перший рядок ; це не було б корисно для оскільки нам потрібні і рядки, і стовпці . Для великих потужностей ви, можливо, могли б домовитись, які повноваження обчислити. $M^3$ $M^3$ $M^2$ $M^4$ $M^2$

І після публікації цього стає очевидним , що ви можете використовувати кілька процесори дуже легко: Ви починаєте шляхом обчислення першого рядка . Коли у вас є цей рядок, у вас є вся інформація, необхідна для обчислення першого рядка , тому ви обчислюєте другий ряд і перший ряд паралельно. Потім можна обчислити третій ряд , другий ряд і перший ряд паралельно тощо. $M^2 = M * M$ $M^3 = M^2 * M$ $M^2$ $M^3$ $M^2$ $M^3$ $M^4$

Це зробить набагато більше операцій, ніж потрібно (наприклад, 14 матричних множень на замість мінімальних 5 або 6 чотиристадійного методу). Якщо потужність не велика порівняно з кількістю процесорів, це все одно буде швидше. Але обчислення допомогою чотирьох процесорів за допомогою цього методу буде неефективним; це зробити оптимально, було б цікавою проблемою. $M^{15}$ $M^{1000}$

Комбінування підходів: використовуючи, наприклад, чотири процесори, ви можете обчислити AB, ABC, ABCD та ABCDE майже паралельно, обчислюючи кожен продукт по одному рядку. Це дозволяє обчислити всі чотири до використовуючи чотири процесори приблизно за той самий час, як один продукт з одним процесором. $M^2$ $M^5$

З огляду на ці чотири результати та оригінальний M, ви можете обчислити чотири матриці до за один і той же час за умови, що матриці мають щонайбільше п’ять потужностей один від одного. Таким чином, кожна потужність до може бути обчислена приблизно в два рази більше часу одного матричного продукту процесора. $M^6$ $M^{25}$ $M^{25}$

З урахуванням цих матриць усі матриці до і деякі більше до можна обчислити в три рази більше часу одного матричного продукту, якщо є чотири процесори. Для процесорів k це повинно бути щонайменше потужністю . $M^{108}$ $M^{125}$ $k (k+1)^2$

— gnasher729
джерело

Ви можете проаналізувати паралельні прискорення з матричною експоненцією: рівень "макро-алгоритмічний", який вирішує, які матриці множити, і "мікро-алгоритмічний" рівень, коли ви можете прискорити самі множення за допомогою паралелізму.

Для останнього Вікіпедія припускає, що для множення на матрицю теоретично можна досягти складності з необмеженою кількістю процесорів, або з більш реалістичним паралельним алгоритмом. $n$ $n$ $O(\log^2(n))$ $O(n)$

(Примітка: сторінка вікіпедії призначена для обчислення загальних матриць. Я не впевнений, чи можна це ще більше паралелізувати, використовуючи інформацію, яку ми проводимо на матрицю.)

Для першого питання перетворюється на те, скільки кругів матричного множення потрібно для обчислення для деякої матриці ? (Я кажу круги, тому що всі множення в даному раунді можуть бути виконані паралельно). $A^m$ $A$

Послідовний алгоритм побиття, як зазначається в інших відповідях, - це Експоненціація шляхом квадратування . Це дозволяє обчислити $A^k$ множення в . $O(\log(k))$

Питання: чи можемо ми перемогти це паралелізмом? Я стверджую, що відповідь - ні.

Проста причина полягає в тому, що експоненція шляхом квадратування по суті є алгоритмом динамічного програмування; це дозволяє пропустити всю роботу шляхом повторного використання підрезультатів, але це, в свою чергу, створює залежність даних, що вимикає паралелізм. Якщо ми позбуємось залежності від даних, але також значно збільшимо обсяг роботи, яку ми повинні виконати.

Щоб краще проілюструвати це, давайте подивимось, як би ви паралелізували множення матриць, якби ми не робили експоненцію. Припустимо, ви шукали паралельне множення окремих квадратних матриць: $k$

А_{1} А_{2} А_{3} А_{4} А_{5} . . . А_{к}

$A_1 A_2 A_3 A_4 A_5 ... A_k$

Природний спосіб паралелізації цього очевидний, ви повинні зловживати асоціативністю для виконання множення у першому раунді: $\frac{k}{2}$

(А_{1} А_{2}) (А_{3} А_{4}) (А_{5} А_{6}) . . . (А_{к - 1} А_{к})

$(A_1 A_2)(A_3 A_4)(A_5 A_6) ... (A_{k-1}A_k)$

Звідси ми можемо чітко помножити наші матриці на круглі множення оскільки ми зменшуємо розмір проблеми на половину кожного раунду. $k$ $O(\log(k))$

Однак якби ми виконували експоненцію таким чином, це виглядало б так:

(А А) (А А) (А А) . . . (А А)

$(A A)(A A)(A A)...(A A)$

$A^2$

$A^k$ $n$ $n$ $A$ $O(\log^2(n)\log(k))$ $O(n\log(k))$

— Курт Мюллер
джерело

Якщо під послідовним ви маєте на увазі множення $m$ разів $\log m$ рішення спочатку лише обчислення відповідних повноважень $2$ (він же Експонентація шляхом квадратування ) очевидно краще для великих $m$ .

Поліпшення цього може бути специфічним для певних типів матриць. Наприклад, якщо ваша матриця діагоналізується,

А = S Λ S^{- 1} \to А^{м} = S Λ^{м} S^{- 1}

$A = S \Lambda S^{-1} \rightarrow A^m = S \Lambda^m S^{-1}$ Таким чином, обчислення

m

$m$ го потужність

O (1)

$O(1)$ в

m

$m$ .

— nbubis
джерело