Які швидкі алгоритми існують для обчислення усіченого SVD?

Можливо, тут немає теми, але вже є декілька ( один , два ) пов'язаних із цим питань.

Оглянувшись літературою (або пошуком Google за усіченими алгоритмами SVD), виходить багато паперів, які різними способами використовують усічені SVD, і стверджують ( страшно , часто, без цитування), що існують швидкі алгоритми її обчислення, але ніхто схоже, вказує на те, що це алгоритми.

Єдине, що я можу знайти - це єдиний рандомізований алгоритм , який використовується в бібліотеці redSVD .

Що я хотів би бачити, це набір точних і неточних алгоритмів, що підходить для розуміння того, як працюють системи (але не обов'язково для їх реальної реалізації, звичайно!).

Хтось має хороші посилання на подібні речі?

Дуже широко кажучи, існує два підходи до обчислення власних значень чи сингулярних розкладів значення. Один із підходів - діагоналізація матриці, і це, по суті, дає одночасно ціле розкладання власного значення / сингулярного значення (весь спектр власного значення).Альтернативою є використання ітеративного алгоритму, який дає один (або кілька) власних векторів одночасно. Ітерації можна зупинити після обчислення потрібної кількості власних векторів.

Я не думаю, що є ітеративні алгоритми, спеціально для SVD. Це тому, що можна обчислити SVD матриці B , виконавши ейгендекомпозицію квадратної симетричної ( n + m ) × ( n + m ) матриці A = ( 0 B B ⊤ 0 )$n\times m$$\mathbf B$$(n+m)\times(n+m)$

Найпростіший ітеративний алгоритм називається ітерацією потужності і насправді дуже простий:

1. $\mathbf x$
2. Оновлення $\mathbf x \gets \mathbf A\mathbf x$
3. Нормалізувати $\mathbf x \gets \mathbf x / \|\mathbf x\|$
4. Перейдіть до кроку №2, якщо не зійдеться.

Всі більш складні алгоритми в кінцевому рахунку засновані на ідеї ітерації потужності, але отримують досить складний характер. Необхідну математику задає підпростори Крилова . Алгоритми - це ітерація Арнольді (для квадратних несиметричних матриць), ітерація Ланцоса (для квадратних симетричних матриць) та їх варіанти, такі як, наприклад, "неявно перезапущений метод Ланцоса" та ін.

Це можна знайти, наприклад, у наступних підручниках:

1. Голуб і Ван Позика, Матричні обчислення
2. Trefethen & Bau, Числова лінійна алгебра
3. Деммель, Прикладна числова лінійна алгебра
4. Саад, Числові методи для великих задач про власне значення

Усі розумні мови програмування та пакети статистики (Matlab, R, Python numpy, ви їх називаєте) використовують одні і ті ж бібліотеки Fortran для декомпозиції власних / сингулярних значень. Це LAPACK і ARPACK . ARPACK означає ARnoldi PACKage, і все стосується ітерацій Арнольді / Ланцоса. Наприклад, у Matlab є дві функції для SVD:svd здійснює повне розкладання за допомогою LAPACK і svdsобчислює задану кількість сингулярних векторів через ARPACK, і це насправді просто обгортка для eigsвиклику на матриці "квадрат-іed".

Оновлення

$\mathbf B$$\mathbf A$$\mathbf A$$\mathbf B$$\mathbf A$ і тим самим економити простір та час.

Для цих методів також існує бібліотека Fortran, вона називається PROPACK :

Програмний пакет PROPACK містить набір функцій для обчислення сингулярного розкладання великої великої та розрідженої або структурованої матриць. Процедури SVD засновані на алгоритмі бідіагоналізації Ланцоса з частковою реортогоналізацією (BPRO).

Однак здається, що PROPACK набагато менш стандартний, ніж ARPACK, і не підтримується в стандартних мовах програмування. Він написаний Расмусом Ларсеном, який має велику 90-сторінкову газету " Ланцос бідіагоналізація" з частковою реортогоналізацією, що здається хорошим оглядом. Завдяки @MichaelGrant через цю тему Computational Science SE .

Серед останніх робіт найбільш популярними видаються «Baglama & Reichel», 2005, « Augmented» неявно перезапущено методи бідіагоналізації Lanczos , що, мабуть, є у сучасному рівні. Дякуємо @Dougal за те, що дав це посилання у коментарях.

Оновлення 2

Насправді існує зовсім інший підхід, детально описаний у оглядовій роботі, яку ви цитували самі: Halko et al. 2009, Пошук структури з випадковістю: Імовірнісні алгоритми побудови наближених матричних декомпозицій . Я недостатньо знаю про це, щоб коментувати.

Я просто натрапив на нитку через гуглі швидкі SVD, тому я намагаюся сам з'ясувати речі, але, можливо, вам варто заглянути в адаптивне перехресне наближення (ACA).

$M$$M=\sum_{i=0}^k U_i\cdot V^T_i$$N\times N$$O(N)$ ). Так це дійсно швидко; на жаль, багато людей з легкістю використовують слово "швидкий".

Знову ж, це залежить від вашої проблеми, якщо це спрацює. У багатьох випадках, з якими я особисто стикаюся, ACA є дуже корисним числовим інструментом.

Примітка: я хотів написати це як коментар, але оскільки я просто створив цей обліковий запис, у мене недостатньо репутації для коментарів ... Але публікація працює.

Ось методика, яку я раніше успішно використовував для обчислення усіченого SVD (на наборі даних Netflix). Це взято з цієї статті . У налаштуваннях спільної фільтрації я маю зазначити, що більшість значень відсутні, і справа в тому, щоб передбачити їх , тому для вирішення такої проблеми використовуйте усічений SVD, ви повинні використовувати техніку, яка працює в цій умові. Короткий опис:

1. Перш ніж робити що-небудь, підберіть просту модель (наприклад, середнє значення + значення постійних стовпців та рядків), і лише після того, як ви це зробите, слід перейти до використання усіченого SVD для підключення залишків.
2. Ініціалізуйте випадковий вектор довжиною k (де це ранг, до якого ви підкоряєтеся) до кожного рядка та стовпця (до кожного фільму та користувача у випадку Netflix).
3. Тримайте вектори рядків фіксованими та оновлюйте вектори стовпців, щоб мінімізувати помилки wrt відомих записів у матриці. Процедура наведена в коді matlab у статті.
4. Тримайте вектори стовпців фіксованими та оновлюйте вектори рядків аналогічно.
5. Повторюйте 3 і 4, поки ви не зблизитесь або не отримаєте достатньо хороших результатів.