Кількість умов формулювання A'A та AA '

Показано (Юсеф Саад, Ітеративні методи для розріджених лінійних систем , стор. 260)$cond(A'A) \approx cond(A)^2$

Це правда для $AA'$ так само?

У випадку, якщо дорівнює з , я спостерігаю, що$A$$N\times M$$N \ll M$$cond(A'A) \gg cond(AA')$

Чи є в цьому випадку середня формулювання в перерахунку на кращим?$AA'$

Якщо $A\in\mathbb{R}^{N\times M}$ з $N<M$, тоді

Відповідно номер умови є $\kappa_2(A^TA)=\infty$. Завдяки арифметиці з обмеженою точністю, якщо обчислити cond(A'A)в matlab, ви отримаєте велику кількість, не Inf.

Що ж, давайте розберемося, чому $A^TA$ має приблизно квадратний номер умови $A$. Використання SVD-розкладу$A=USV^T$, с $U \in \mathbb{R}^{N \times N}$, $S \in \mathbb{R}^{N \times M}$, $V \in \mathbb{R}^{M \times M}$, можемо висловити $A^T A$ як

$A^T A=(USV^T)^T USV^T=VS^T U^T U S V^T=V S^T S V^T$

До чого ми приходимо, помічаючи це $U$ є ортонормальним, таким, що $U^T U=I$. Далі зазначимо, що$S$ є діагональною матрицею, такою, що остаточне розкладання $A^TA$ можна виразити як $V S^2 V^T$, с $S^2$ значення $S^T S$, отримуючи діагональну матрицю з першими N сингулярними значеннями з $S$квадрат у діагоналі. Це означає, що оскільки число умови є співвідношенням першого і останнього особливого значення,$cond(A)=\frac{s_1}{s_N}$ для $A \in \mathbb{R}^{N \times M}$,

$cond(A^T A)=\frac{s_1^2}{s_M^2}=(\frac{s_1}{s_M})^2=cond(A)^2$

Тепер ми можемо виконати ту саму вправу $AA^T$:

$AA^T=USV^T (USV^T)^T=USV^T V S^T U^T=U S^2 U^T$

Що означає, що ми отримуємо результат $cond(AA^T)=\frac{s_1^2}{s_N^2}$, оскільки $S^2$ тут означає $SS^T$, тонка відмінність від позначень вище.

Але зауважте, що тонка різниця! Для$A^TA$, число умови має в знаменнику значення М'-ї однини, а $AA^T$має N-е особливе значення. Це пояснює, чому ви бачите значні відмінності в кількості умови -$AA^T$ дійсно буде "кращою умовою", ніж $A^TA$.

І все-таки Девід Кетчесон був правильним - ви порівнюєте числа умов між двома абсолютно різними матрицями. Зокрема, що ви можете досягти$A^TA$ не буде тим самим, що ви можете досягти $AA^T$.

Твердження, що $\DeclareMathOperator{\cond}{cond} \cond A^2 \approx \cond A^T A$(для квадратних матриць) у запитанні та [Редагувати: я неправильно прочитав] у відповіді Артана - це нісенітниця. Контрприклад

для чого ви можете це легко перевірити $\cond A^T A = \bigO(\epsilon^{-4})$ поки $\cond A^2 = \bigO(\epsilon^{-2})$.

У точній арифметичній умові (A ^ 2) = cond (A'A) = cond (AA '), див. Голуб і Ван Позика, 3-е видання, с70. Це не вірно в арифметиці з плаваючою комою, якщо A майже не вистачає рангу. Найкраще порадити дотримуватися наведених вище рецептів книг при вирішенні найменших квадратних завдань, найбезпечнішим підходом SVD, p257. Замість цього використовуйте \ varepsilon-rank при обчисленні SVD, де \ varepsilon - роздільна здатність ваших матричних даних.