Neden XX 've X'X'in özdeğer ayrışması yoluyla geçerli bir X SVD elde edemiyorum?

Elle SVD yapmaya çalışıyorum:

m<-matrix(c(1,0,1,2,1,1,1,0,0),byrow=TRUE,nrow=3)

U=eigen(m%*%t(m))$vector
V=eigen(t(m)%*%m)$vector
D=sqrt(diag(eigen(m%*%t(m))$values))

U1=svd(m)$u
V1=svd(m)$v
D1=diag(svd(m)$d)

U1%*%D1%*%t(V1)
U%*%D%*%t(V)

Ancak son satır geri mdönmez. Neden? Bu özvektörlerin işaretleri ile ilgisi var gibi görünüyor ... Yoksa prosedürü yanlış mı anladım?

Sorunun Analizi

Bir matrisin SVD'si asla benzersiz değildir. matrisinin boyutlarına sahip olmasına ve SVD'sinin$A$$n\times k$

$$A = U D V^\prime$$

ortonormal sütunları olan bir matrisi , negatif olmayan girişleri olan bir çapraz matrisi ve ortonormal sütunları olan bir matrisi için.$n\times p$$U$$p\times p$$D$$k\times p$$V$

Şimdi, keyfi olarak , diyagonal üzerinde s olan herhangi bir çapraz matrisi , böylece , kimliği . Sonra$p\times p$$S$$\pm 1$$S^2 = I$$p\times p$$I_p$

$$A = U D V^\prime = U I D I V^\prime = U (S^2) D (S^2) V^\prime = (US) (SDS) (VS)^\prime$$

aynı zamanda , bir SVD için gösterir ortonormal sütun var ve benzer bir hesaplama gösteriyor ortonormal sütun var. Dahası, ve diyagonal olduğundan, işe giderler, bu nedenle , hala negatif olmayan girişleri olduğunu gösterir.$A$

$$(US)^\prime(US) = S^\prime U^\prime U S = S^\prime I_p S = S^\prime S = S^2 = I_p$$ $US$$VS$$S$$D$ $$S D S = DS^2 = D$$ $D$

SVD bulmak için kodda uygulanan yöntem köşegenleştiren bir bulur ve benzer şekilde köşegenleştiren bir bulunan özdeğerler açısından hesaplamasına devam eder . Sorun, bu sütunlarının sütunlarıyla tutarlı bir şekilde eşleşmesini sağlamaz .$U$

$$AA^\prime = (UDV^\prime)(UDV^\prime)^\prime = UDV^\prime V D^\prime U^\prime = UD^2 U^\prime$$ $V$ $$A^\prime A = VD^2V^\prime.$$ $D$$D^2$$U$$V$

Bir çözüm

Bunun yerine, böyle bir ve böyle bir bulduktan sonra , bunları hesaplamak için kullanın.$U$$V$

$$U^\prime A V = U^\prime (U D V^\prime) V = (U^\prime U) D (V^\prime V) = D$$

doğrudan ve verimli. Bu nin diyagonal değerleri mutlaka pozitif değildir. $D$ (Bunun nedeni, veya köşegenleştirme işlemi hakkında, bu iki işlem ayrı olarak gerçekleştirildiğinden, bunu garanti edecek hiçbir şey olmamasıdır .) girdilerinin işaretleri eşit böylece, tüm olumlu değerleri vardır. Bunu ile çarparak telafi edin :$A^\prime A$$AA^\prime$$S$$D$$SD$$U$$S$

$$A = U D V^\prime = (US) (SD) V^\prime.$$

Bu bir SVD.

Misal

Let olan . SVD$n=p=k=1$$A=(-2)$

$$(-2) = (1)(2)(-1)$$

ile , ve .$U=(1)$$D=(2)$$V=(-1)$

köşegenize ederseniz, doğal olarak ve seçersiniz . Aynı şekilde köşegenize ederseniz seçersiniz . Ne yazık ki, Bunun yerine, Bu negatif olduğu için . Bu ayarlar için ve için . Eğer elde edilmiştir iki olası SVDs biri (ancak özgün olarak aynı değildir!).$A^\prime A = (4)$$U=(1)$$D=(\sqrt{4})=(2)$$AA^\prime=(4)$$V=(1)$

$$UDV^\prime = (1)(2)(1) = (2) \ne A.$$ $$D=U^\prime A V = (1)^\prime (-2) (1) = (-2).$$ $S=(-1)$$U$$US = (1)(-1)=(-1)$$D$$SD = (-1)(-2)=(2)$ $$A = (-1)(2)(1),$$

kod

İşte değiştirilmiş kod. Çıktıları

1. Yöntem mdoğru şekilde yeniden oluşturulur .
2. $U$ ve gerçekten hala birimdik.$V$
3. Ancak sonuç, geri gönderilen SVD ile aynı değildir svd. (Her ikisi de eşit derecede geçerlidir.)

m <- matrix(c(1,0,1,2,1,1,1,0,0),byrow=TRUE,nrow=3)

U <- eigen(tcrossprod(m))$vector
V <- eigen(crossprod(m))$vector
D <- diag(zapsmall(diag(t(U) %*% m %*% V)))
s <- diag(sign(diag(D)))  # Find the signs of the eigenvalues
U <- U %*% s              # Adjust the columns of U
D <- s %*% D              # Fix up D.  (D <- abs(D) would be more efficient.)

U1=svd(m)$u
V1=svd(m)$v
D1=diag(svd(m)$d,n,n)

zapsmall(U1 %*% D1 %*% t(V1)) # SVD
zapsmall(U %*% D %*% t(V))    # Hand-rolled SVD
zapsmall(crossprod(U))        # Check that U is orthonormal
zapsmall(tcrossprod(V))       # Check that V' is orthonormal

@ Whuber'ın cevabına yaptığı bir açıklamada belirttiğim gibi, SVD'yi hesaplamak için bu yöntem her matris için işe yaramaz . Sorun sadece işaretlerle sınırlı değil.

Sorun öz değerlerini orada tekrarlanabilir olması ve bu durumda bir eigendecomposition ve benzersiz değil ve her seçim değildir ve SVD diyagonal faktörünü almak için kullanılabilir. Örneğin, herhangi bir çapraz olmayan dikey matris alırsanız (örneğin, ), o zaman . Özvektörü matrisi tüm olası seçenekleri arasında , döner bu durumda bu nedenle, çapraz değildir.$A'A$$AA'$$U$$V$$A=\begin{bmatrix}3/5&4/5\\-4/5&3/5\end{bmatrix}$$AA'=A'A=I$$I$eigen$U=V=I$$U'AV=A$

Sezgisel olarak, bu, @whuber'ın belirttiği aynı problemin başka bir tezahürüdür, ve sütunları arasında bir "eşleşme" olması ve iki öz kompozisyonun ayrı ayrı hesaplanması bunu sağlamaz.$U$$V$

tüm tekil değerleri farklıysa, özdeğişim benzersizdir (ölçeklendirme / işaretlere kadar) ve yöntem çalışır. Açıklama: öyle hala kullanmak iyi bir fikir değil sen ürünler oluştururlar zaman çünkü, kayan nokta aritmetik bir bilgisayarda üretim kodunda ve bilgisayarlı sonuç sırasına bir miktar ile tedirgin olabilir , burada makine hassasiyetidir. Tekil değerlerin büyüklükleri büyük ölçüde farklılık gösteriyorsa ( kabaca den fazla ), bu en küçük değerlerin sayısal doğruluğuna zarar verir.$A$$A'A$$AA'$$\|A\|^2u$$u \approx 2\times 10^{-16}$$10^{-8}$

SVD'yi iki öz bileşimden hesaplamak harika bir öğrenme örneğidir, ancak gerçek hayatta uygulamalar her zaman R'nin svdfonksiyonunu tekil değer ayrışmasını hesaplamak için kullanır.