Чому я не можу отримати дійсний SVD X через розкладання власних значень XX 'та X'X?

Я намагаюся зробити SVD вручну:

m<-matrix(c(1,0,1,2,1,1,1,0,0),byrow=TRUE,nrow=3)

U=eigen(m%*%t(m))$vector
V=eigen(t(m)%*%m)$vector
D=sqrt(diag(eigen(m%*%t(m))$values))

U1=svd(m)$u
V1=svd(m)$v
D1=diag(svd(m)$d)

U1%*%D1%*%t(V1)
U%*%D%*%t(V)

Але останній рядок не повертається mназад. Чому? Здається, це має щось спільне з ознаками цих власних векторів ... Або я неправильно зрозумів процедуру?

Аналіз проблеми

SVD матриці ніколи не є унікальним. Нехай матриця має розміри і її SVD буде$A$$n\times k$

$$A = U D V^\prime$$

для матриці з ортонормальними стовпцями, діагональної матриці з негативними записами та матриці з ортонормальними стовпцями.$n\times p$$U$$p\times p$$D$$k\times p$$V$

Тепер вибрати, довільно , будь діагоналі матриця , що має s по діагоналі, так що є тотожність . Тоді$p\times p$$S$$\pm 1$$S^2 = I$$p\times p$$I_p$

$$A = U D V^\prime = U I D I V^\prime = U (S^2) D (S^2) V^\prime = (US) (SDS) (VS)^\prime$$

також СВД з тому , що демонструє має ортонормированном стовпці і подібний розрахунок демонструє, що має ортонормальні стовпці. Більше того, оскільки і є діагональними, вони рухаються, тому показує, що все ще має негативні записи.$A$

$$(US)^\prime(US) = S^\prime U^\prime U S = S^\prime I_p S = S^\prime S = S^2 = I_p$$ $US$$VS$$S$$D$ $$S D S = DS^2 = D$$ $D$

Метод, реалізований в коді для пошуку SVD, знаходить , діагоналізує і, аналогічно, який діагоналізує Він переходить до обчислення за власними значеннями, знайденими в . Проблема полягає в наступному не гарантує послідовне узгодження стовпців за допомогою стовпців .$U$

$$AA^\prime = (UDV^\prime)(UDV^\prime)^\prime = UDV^\prime V D^\prime U^\prime = UD^2 U^\prime$$ $V$ $$A^\prime A = VD^2V^\prime.$$ $D$$D^2$$U$$V$

Вирішення

Натомість, знайшовши такий та такий , використовуйте їх для обчислення$U$$V$

$$U^\prime A V = U^\prime (U D V^\prime) V = (U^\prime U) D (V^\prime V) = D$$

безпосередньо та ефективно. Діагональні значення цього необов'язково позитивні. $D$ (Це тому, що немає нічого про процес діагоналізації або або що гарантуватиме це, оскільки ці два процеси здійснювались окремо.) Зробіть їх позитивними, вибравши записи по діагоналі дорівнювати знакам записів , так що має всі позитивні значення. Компенсуйте це, помноживши право на на :$A^\prime A$$AA^\prime$$S$$D$$SD$$U$$S$

$$A = U D V^\prime = (US) (SD) V^\prime.$$

Це SVD.

Приклад

Нехай при . SVD є$n=p=k=1$$A=(-2)$

$$(-2) = (1)(2)(-1)$$

з , і .$U=(1)$$D=(2)$$V=(-1)$

Якщо ви діагоналізуєте то, природно, виберете і . Аналогічно, якщо ви діагоналізуєте ви вибрали б . На жаль, Натомість обчисліть Оскільки це негативно, встановіть . Це налаштовує до і до . Ви отримали який є одним з двох можливих SVD (але не такий, як оригінал!).$A^\prime A = (4)$$U=(1)$$D=(\sqrt{4})=(2)$$AA^\prime=(4)$$V=(1)$

$$UDV^\prime = (1)(2)(1) = (2) \ne A.$$ $$D=U^\prime A V = (1)^\prime (-2) (1) = (-2).$$ $S=(-1)$$U$$US = (1)(-1)=(-1)$$D$$SD = (-1)(-2)=(2)$ $$A = (-1)(2)(1),$$

Код

Тут модифікований код. Його результат підтверджує

1. Метод відтворює mправильно.
2. $U$ і дійсно все ще є ортонормальними.$V$
3. Але результат не той самий SVD, який повернув svd. (Обидва однаково дійсні.)

m <- matrix(c(1,0,1,2,1,1,1,0,0),byrow=TRUE,nrow=3)

U <- eigen(tcrossprod(m))$vector
V <- eigen(crossprod(m))$vector
D <- diag(zapsmall(diag(t(U) %*% m %*% V)))
s <- diag(sign(diag(D)))  # Find the signs of the eigenvalues
U <- U %*% s              # Adjust the columns of U
D <- s %*% D              # Fix up D.  (D <- abs(D) would be more efficient.)

U1=svd(m)$u
V1=svd(m)$v
D1=diag(svd(m)$d,n,n)

zapsmall(U1 %*% D1 %*% t(V1)) # SVD
zapsmall(U %*% D %*% t(V))    # Hand-rolled SVD
zapsmall(crossprod(U))        # Check that U is orthonormal
zapsmall(tcrossprod(V))       # Check that V' is orthonormal

Як я зазначив у коментарі до відповіді @ whuber, цей метод для обчислення SVD працює не для кожної матриці . Питання не обмежується ознаками.

Проблема полягає в тому, що можуть бути повторні власні значення, і в цьому випадку ейгендекомпозиція і не є унікальною, і не всі варіанти і можуть бути використані для отримання діагонального коефіцієнта SVD. Наприклад, якщо взяти будь-яку недіагональну ортогональну матрицю (скажімо, ), тоді . Серед усіх можливих варіантів вибору для власних векторів матриці , поверне , таким чином , в цьому випадку НЕ по діагоналі.$A'A$$AA'$$U$$V$$A=\begin{bmatrix}3/5&4/5\\-4/5&3/5\end{bmatrix}$$AA'=A'A=I$$I$eigen$U=V=I$$U'AV=A$

Інтуїтивно це ще один прояв тієї ж проблеми, що @whuber окреслює, що між стовпцями і має бути "відповідність" , а обчислення двох ейгендекомпозицій окремо не забезпечує цього.$U$$V$

Якщо всі одиничні значення виразні, то ейгендекомпозиція є унікальною (аж до масштабування / ознак), і метод працює. Зауваження: все- таки не дуже гарно використовувати його у виробничому коді на комп'ютері з арифметикою з плаваючою комою, тому що при формуванні продуктів та обчислений результат може бути кількістю на порядок , де - машинна точність. Якщо величини сингулярних значень сильно відрізняються (більше , приблизно), це шкодить чисельній точності найменших.$A$$A'A$$AA'$$\|A\|^2u$$u \approx 2\times 10^{-16}$$10^{-8}$

Обчислення SVD з двох ейгендекомпозицій є чудовим прикладом навчання, але в реальному житті програми завжди використовують svdфункцію R для обчислення розкладання сингулярного значення.