SVD для пошуку найбільшого власного значення матриці розміром 50x50 - я витрачаю значну кількість часу?

У мене є програма, яка обчислює найбільше власне значення багатьох реальних симетричних матриць розміром 50x50, виконуючи розклади сингулярних значень на всіх них. SVD - це вузьке місце в програмі.

Чи є алгоритми, які набагато швидше знаходять найбільше власне значення, чи оптимізація цієї частини не дасть великої віддачі від інвестицій?

linear-algebra eigensystem

— Анна
джерело

Чи можете ви дати трохи більше інформації про свої матриці, наприклад, якщо щось відомо про їх структуру, діапазон їх власних значень або схожість між собою?

— Педро

Це матриця коваріації (

). Тестування показує, що всі, крім 5 або більше найбільших власних значень, близькі до нуля, і що найбільше власне значення має принаймні на 20% більше, ніж друге за величиною. Оскільки існує велика кількість власних значень, близьких до нуля, я вважаю, що діапазон не важливий? Її можна змінити до будь-якого діапазону. Шкала, яку я зараз використовую, дає мені діапазон від 150 до 200.

X X^{T}

$XX^T$

— Анна

Також матриця не є дуже тісною, тому проблема SVD добре обумовлена.

— Анна

Оскільки

є симетричним і позитивним (напів) визначеним, ви можете використовувати факторизацію Холеського замість SVD. Для факторизації Чолеського потрібно обчислити набагато менше флопів, ніж SVD, але, будучи точним методом, все-таки використовується

флопів.

X X^{T}

$XX^T$

O (n^{3})

$O(n^3)$

— Кен

@Anna: Ви випробували будь-який із запропонованих тут багатьох підходів? Мені було б дуже цікаво дізнатися, що найкраще працювало для вас ...

— Педро,

Відповіді:

Залежно від точності, яка вам потрібна для найбільшого власного значення, ви можете спробувати використовувати Ітерацію потужності .

Для вашого конкретного прикладу я б пішов так далеко, щоб я не явно , але обчислював у кожній ітерації. Обчислення вимагало б операцій тоді як для матричного векторного добутку потрібен лише . $A=XX^\mathsf{T}$ $x \leftarrow X(X^\mathsf{T}x)$ $A$ $\mathcal O(n^3)$ $\mathcal O(n^2)$

Коефіцієнт конвергенції залежить від поділу між найбільшими двома власними значеннями, тому це може бути не гарним рішенням у всіх випадках,

— Педро
джерело

Якщо найбільше власне значення на 20% більше, ніж наступне, ітерація потужності повинна зближуватися досить швидко (всі інші власні значення зменшуються в 5% в кожній ітерації, тому ви отримуєте одну цифру за кожні 13 ітерацій.

— Вольфганг Бангерт

Методи підпростору Крилова суворо кращі, ніж силові методи, оскільки містять вектор ітерації потужності з однаковою кількістю ітерацій.

— Джек Поульсон

@JackPoulson: Так, але обчислити кожну ітерацію дорожче ... Чи справді це варто для такої невеликої проблеми?

— Педро

@ Педро: звичайно, для matvecs потрібна квадратична робота, а коефіцієнт власного вирішення Релея та подальше розширення є тривіальними в порівнянні.

— Джек Поульсон

Код витрат? Оскільки @JackPoulson порушив цю проблему, B. Parlett et al (1982) ("Про оцінку найбільшого власного значення за алгоритмом Ланцоса") порівнюють метод потужності, метод потужності + прискорення Ейткена та застосування Ланцо, орієнтованого на найбільше власне значення реального симетрична (або ермітична) поз. деф. матриця. Вони роблять висновок, що метод Ланцоса є більш ефективним, якщо потрібна навіть скромна точність (першого власного значення щодо другої), і краще уникнути невідповідності.

— хардмат

Якщо лише 5 власних значень є дуже значущими, алгоритм Ланчсоса з як множення матричного вектора повинен давати швидку лінійну конвергенцію після 5 початкових кроків, отже, досить точне найбільше власне значення з малою кількістю ітерацій. $X(X^Tx)$

— Арнольд Ноймаєр
джерело

Ти (@ArnoldNeumaier) думаєш про щось подібне , відповідно спрощене (

)? Цікаво, що він дає інше наближення від Ланцоса, якщо зберігається третій вектор, над тим же Крипровим підпростором.

B = T = I

$B = T = I$

— хардмат

Ні; Я мав на увазі стандартний алгоритм Ланчсоса, але поспіхом написав CG. Тепер виправлено.

— Арнольд Ноймаєр

Для позитивної напіввизначеної матриці, такої як можливо, варто докласти зусиль для прискорення конвергенції зі зсувом спектра . Тобто, відповідна скалярная вибирається і спосіб подачі живлення на замість . $A = XX^T$ $\mu$ $A - \mu I$ $A$

Кілька ітерацій основного методу живлення повинні дати вам приблизну оцінку найбільшого власного значення . Якщо припустити домінуюче власне значення має кратність 1, а всі інші знаходяться в $||Ax||/||x||$ $\lambda_1$ , тоді $[0,\frac{5}{6} \lambda_1]$ мав би найбільше власне значення $A - \frac{5}{12} \lambda_1 I$ а решта в $\frac{7}{12} \lambda_1$ . $[\frac{-5}{12} \lambda_1, \frac{5}{12} \lambda_1]$

Іншими словами, ви б збільшили домінування найбільшого власного значення з 20% над наступним найбільшим до 40% над наступним найбільшим (абсолютним значенням) власного значення. Геометрична конвергенція методу потужності відповідно прискорилась. Після того, як найбільше власне значення знайдеться з достатньою точністю, оцінюється шляхом додавання назад зрушення зміщення . $A - \mu I$ $\lambda_1$ $\mu$

Зауважте, що вам не потрібно явно формувати оскільки все ще можна обчислити з зусиллям . $A - \mu I$ $(A - \mu I)x = X(X^Tx) - \mu x$ $O(n^2)$

— тверда математика
джерело

Здається, це потребує гарного уявлення про те, якою є величина другого за величиною власного значення. Як би ви наблизили це в такому випадку?

— Педро

λ_{1}

$\lambda_1$

| λ_{2} | / | λ_{1} |

$|\lambda_2|/|\lambda_1|$

| λ_{2} | / | λ_{1} |

$|\lambda_2|/|\lambda_1|$

λ_{2}

$\lambda_2$

λ_{1}

$\lambda_1$ за бажанням Я пропонував, яку вигоду ви побачите у справі, про яку Анна описує у коментарях під Запитанням.

— хардмат