Вимога пам'яті для швидкого множення матриці

12

Припустимо, ми хочемо помножити матриць. Алгоритм множення повільної матриці працює в часі і використовує пам'ять. Найшвидше матричне множення працює за часом , де - лінійна константа алгебри, але що відомо про її складність пам'яті? $n \times n$ $O(n^3)$ $O(n^2)$ $n^{\omega + o(1)}$ $\omega$

Здається, що апріорі можливо, що швидке множення матриць споживає пам'яті. Чи є гарантія, що це можна зробити в пам'яті ? Чи буває так, що відомі в даний час алгоритми множення матриць використовують пам'ять ? $n^{\omega}$ $O(n^2)$ $O(n^2)$

(Мене фактично цікавить множення прямокутної матриці, але я припускаю, що відповідь була б такою ж, як і для квадратного випадку, і квадратний випадок краще вивчений.)

ds.algorithms linear-algebra

— Девід Харріс
джерело

16

Використання простору становить щонайбільше для всіх алгоритмів, подібних Страссену (тобто таких, що ґрунтуються на верхньому обмеженні рангу множення матриці алгебраїчно). Див. Просторову складність алгоритму Копперсміта — Винограда $O(n^2)$

Однак у своїй попередній відповіді я зрозумів, що не пояснював, чому використання простору дорівнює ... тому тут іде щось ручно-хвилясте. Поміркуйте, що робить алгоритм, схожий на Страссена. Він починається з фіксованого алгоритму множення матриць на який використовує множення для деякої постійної . Зокрема, цей алгоритм (який би він не був) може бути записаний WLOG так, що: $O(n^2)$ $K \times K$ $K^c$ $c < 3$

Він обчислює різних матриць які множать записи першої матриці на різні скалярні та матриці з другої матриці аналогічної форми, $K^c$ $L_1,\ldots,L_{K^c}$ $A$ $K^c$ $R_1,\ldots,R_{K^c}$ $B$
Він примножує ті лінійні комбінації , потім $L_i \cdot R_i$
Примножує елементи матриці різними скалярів, а потім додає всі ці матриці вгору entrywise отримати . $L_i \cdot R_i$ $A \cdot B$

(Це так званий "білінеарний" алгоритм, але виявляється, що кожен алгоритм множення "алгебраїчної" матриці можна записати таким чином. Для кожного , цей алгоритм повинен зберігати лише поточний добуток та поточне значення (спочатку встановлене на всі нулі) в пам'яті в будь-якій заданій точці, тому використання місця становить . $i=1,\ldots,K^c$ $L_i \cdot R_i$ $A \cdot B$ $O(K^2)$

Враховуючи цей кінцевий алгоритм, він розширюється на довільні матриці , розбиваючи великі матриці на блоки розмірами , застосовуючи кінцевий алгоритм до блоку матриць і рекурсивно викликати алгоритм, коли потрібно множити два блоки. На кожному рівні рекурсії нам потрібно зберігати в пам'яті лише елементи (зберігання $K^{\ell} \times K^{\ell}$ $K \times K$ $K^{\ell-1}\times K^{\ell-1}$ $K \times K$ $O(K^{2\ell})$ $O(1)$ різні матриці ). Якщо припустити використання простору для матричного множення є , використання простору цього рекурсивного алгоритму становить , що для $K^{\ell} \times K^{\ell}$ $K^{\ell-1}\times K^{\ell-1}$ $S(\ell-1)$ $S(\ell) \leq S(\ell-1) + O(K^{2\ell})$ $S(1) = 2K^2$ вирішує на . $S(\ell) \leq O(K^{2\ell})$

— Райан Вільямс
джерело

n^{ω}

$n^\omega$

ω

$\omega$

n^{ω}

$n^\omega$

ω (n^{2})

$\omega(n^2)$

1

O (n^{ω + δ})

$O(n^{\omega + \delta})$

O (n^{2})

$O(n^2)$

δ > 0

$\delta > 0$

f (i) * n^{2}

$f(i) * n^2$

i = 0, . . ., k

$i = 0, ..., k$

n^{ω + o (1)}

$n^{\omega+o(1)}$

n^{2 + o (1)}

$n^{2+o(1)}$

k

$k$

f

$f$

k

$k$

f^{- 1}

$f^{-1}$

f

$f$

k

$k$

k

$k$

n^{2 + o (1)}

$n^{2+o(1)}$

n

$n$

k

$k$

k

$k$

n

$n$

f (k (n)) = n^{o (1)}

$f(k(n)) = n^{o(1)}$

k (n) \to \infty

$k(n) \rightarrow \infty$

n

$n$

n^{ω + o (1)}

$n^{\omega+o(1)}$

4

$p$ $O(n^2/p)$

— Олександр Тискін
джерело