PCA ile elde edilen düşük dereceli yaklaşım matrisi ile rekonstrüksiyon hatasının hangi normları minimize edilmiştir?

Matris bir PCA (veya SVD) yaklaşımı göz önüne alındığında ile bir matris , bunu biliyoruz en düşük rütbe tahmindir . $X$ $\hat X$ $\hat X$ $X$

Bu indüklenen normuna $\parallel \cdot \parallel_2$ (yani en büyük özdeğer normu) veya Frobenius normuna göre mi? $\parallel \cdot \parallel_F$

pca svd matrix-decomposition

— Donbeo
kaynak

Tek kelime cevabı: Her ikisi de.

Normları tanımlamakla başlayalım. matrisi için , operatör normali ve Frobenius normu burada tekil değerler , köşegen elemanları yani tekil değer ayrışımı olarak . $X$ $2$

‖ X ‖_{2} = s u p \frac{‖ X v ‖_{2}}{‖ v ‖_{2}} = m bir x (s_{ben})

$\|X\|_2 = \mathrm{sup}\frac{\|Xv\|_2}{\|v\|_2} = \mathrm{max}(s_i)$

‖ X ‖_{F} = \sqrt{\underset{ben j}{Σ} X_{ben j}^{2}} = t r (X^{⊤} X) = \sqrt{Σ s_{ben}^{2}},

$\|X\|_F = \sqrt {\sum_{ij} X_{ij}^2} = \mathrm{tr}(X^\top X) = \sqrt{\sum s_i^2},$

s_{i}

$s_i$

X

$X$

S

$S$

X = U S V^{⊤}

$X = USV^\top$

PCA, veriler merkezlendiğinde aynı tekil değer ayrışımı ile verilir. $US$ ana bileşenlerdir, $V$ ana eksenlerdir, yani kovaryans matrisinin özvektörleridir ve $X$ sadece en büyük tekil değerlere karşılık gelen $k$ ana bileşenlerle rekonstrüksiyonu . $k$ $X_k = U_k S_k V_k^\top$

Teoremi Eckart-Young söylüyor rekonstrüksiyon hatasının normunu minimize matristirTüm matrisler arasında dereceli . Bu hem Frobenius normu hem de operatör normu için geçerlidir. Yorumlarda @ cardinal'in işaret ettiği gibi, ilk önce 1907'de Frobenius davası için Schmidt (Gram-Schmidt ününden) Schmidt tarafından ispatlandı. Daha sonra 1936'da Eckart ve Young tarafından yeniden keşfedildi ve şimdi çoğunlukla isimleriyle ilişkilendiriliyor. Mirsky, 1958'deki teoremi üniter dönüşümler altında değişmeyen tüm normlara yaydı ve bu, operatör 2 normunu da içeriyor. $X_k$ $\|X-A\|$ $A$ $k$ $2$

Bu teoremi bazen Eckart-Young-Mirsky teoremi olarak adlandırır. Stewart (1993), Schmidt yaklaşım teoremi olarak adlandırıyor. Schmidt-Eckart-Young-Mirsky teoremi adını bile gördüm.

Eckart ve Young, 1936, Bir matrisin düşük rütbeli bir başkası ile yaklaşımı
Mirsky, 1958, Simetrik gösterge fonksiyonları ve sıradışı değişmeyen normlar
Stewart, 1993, Tekil değer ayrışmasının erken tarihinde

Operatör kanıt $2$

Let tam rütbe olması . As rank taşımaktadır , onun boş alanı vardır boyutları. En büyük tekil değerlere tekabül eden sağ tekil vektörlerinin kapsadığı alan boyutlarına sahiptir. Bu yüzden bu iki alan kesişmeli. Let kesiştiği bir birim vektör. Ardından anladık: QED. $X$ $n$ $A$ $k$ $n-k$ $k+1$ $X$ $k+1$ $w$

‖ X - bir ‖_{2}^{2} \geq ‖ (X - bir) w ‖_{2}^{2} = ‖ X w ‖_{2}^{2} = Σ_{ben = 1}^{k + 1} s_{ben}^{2} (v_{ben}^{⊤} w)^{2} \geq s_{k + 1}^{2} = ‖ X - X_{k} ‖_{2}^{2},

$\|X-A\|^2_2 \ge \|(X-A)w\|^2_2 = \|Xw\|^2_2 = \sum_{i=1}^{k+1}s_i^2(v_i^\top w)^2 \ge s_{k+1}^2 = \|X-X_k\|_2^2,$

Frobenius normunun kanıtı

en aza indiren dereceli matrisini bulmak istiyoruz . Biz çarpanlara edebilir nerede, sahiptir ortonormal sütunları. Sabit için simge durumuna çözümünde bir gerileme sorunudur . Taktığımızda, şimdi burada , kovaryans matrisidir , yani $A$ $k$ $\|X-A\|^2_F$ $A=BW^\top$ $W$ $k$ $\|X-BW^\top\|^2$ $W$ $B=XW$

‖ X - X W W^{⊤} ‖^{2} = ‖ X ‖^{2} - ‖ X W W^{⊤} ‖^{2} = c O n s t - t r (W W^{⊤} X^{⊤} X W W^{⊤}) = c O n s t - c O n s t \cdot t r (W^{⊤} Σ W),

$\|X-XWW^\top\|^2=\|X\|^2-\|XWW^\top\|^2=\mathrm{const}-\mathrm{tr}(WW^\top X^\top XWW^\top)\\=\mathrm{const}-\mathrm{const}\cdot\mathrm{tr}(W^\top\Sigma W),$

Σ

$\Sigma$

X

$X$

Σ = X^{⊤} X / (n - 1)

$\Sigma=X^\top X/(n-1)$ . Bu , projeksiyonun toplam varyansını maksimize eden bazı ortonormal vektörlerin sütunları olarak alarak rekonstrüksiyon hatasının en aza indirildiği anlamına gelir .

W

$W$

k

$k$

Bu ilk olduğu iyi bilinmektedir kovaryans matrisinin öz vektörleri. Gerçekten de, eğer , o zaman . Yazma da ortonormal sütun, bundan elde bulunur en fazla olduğunda elde . Teorem daha sonra hemen takip eder. $k$ $X=USV^\top$ $\Sigma=VS^2V^\top/(n-1)=V\Lambda V^\top$ $R=V^\top W$

t r (W^{⊤} Σ W) = t r ({R,}^{⊤} Λ R,) = \underset{ben}{Σ} λ_{ben} \underset{j}{Σ} {R,}_{ben j}^{2} \leq Σ_{ben = 1}^{k} λ_{k},

$\mathrm{tr}(W^\top\Sigma W)=\mathrm{tr}(R^\top\Lambda R)=\sum_i \lambda_i \sum_j R_{ij}^2 \le \sum_{i=1}^k \lambda_k,$

W = V_{k}

$W=V_k$

Aşağıdaki üç ilgili konuya bakın:

Frobenius normu için daha önce kanıtlanmış bir girişim

Bu kanıtı çevrimiçi bir yerde buldum ama yorumlarda @ cardinal tarafından açıklandığı gibi yanlış (bir boşluk içeriyor).

Frobenius normu üniter dönüşümler altında değişmez çünkü tekil değerleri değiştirmezler. Öyleyse anladık: burada . Devam: tüm köşegen dışı unsurları sıfır olduğunda ve tüm köşegen terimleri en büyük tekil değerlerini [burada boşluğu: açık değil] , yani ve dolayısıyla .

‖ X - bir ‖_{F} = ‖ U S V^{⊤} - bir ‖ = ‖ S - U^{⊤} bir V ‖ = ‖ S - B ‖,

$\|X-A\|_F=\|USV^\top - A\| = \|S - U^\top A V\| = \|S-B\|,$

B = U^{⊤} A V

$B=U^\top A V$

‖ X - bir ‖_{F} = \underset{ben j}{Σ} (S_{ben j} - B_{ben j})^{2} = \underset{ben}{Σ} (s_{ben} - B_{ben ben})^{2} + \underset{ben \neq j}{Σ} B_{ben j}^{2} .

$\|X-A\|_F = \sum_{ij}(S_{ij}-B_{ij})^2 = \sum_i (s_i-B_{ii})^2 + \sum_{i\ne j}B_{ij}^2.$

B

$B$

k

$k$

k

$k$

s_{i}

$s_i$

B_{o p t i m a l} = S_{k}

$B_\mathrm{optimal}=S_k$

A_{o p t i m a l} = U_{k} S_{k} V_{k}^{⊤}

$A_\mathrm{optimal} = U_k S_k V_k^\top$

— amip Reinstate Monica diyor
kaynak

Frobeniius normunda ispat doğru değildir (ya da en azından tamamlanmıştır), çünkü buradaki argüman aynı değere sahip bir matrisin diğer küçük terimlerin bir kısmını "küçük" kapalıyken iptal edebilir diyagonallar. Boşluğu daha net görmek için, köşegenlerin sabit tutulması ve köşegenlerin dışı sıfırlanmasının "söz konusu matrisin rütbesini artırabileceğine dikkat edin!"

— kardinal

Ayrıca SVD'nin Beltrami (en azından oldukça genel, özel bir vaka olsa da) ve Ürdün'ün 1874 gibi erken bir tarihte biliniyor olduğuna dikkat edin.

— Kardinal

@ cardinal: Hmmmm, boşluğu gördüğümden emin değilim. Eğer bazı diğer diyagonal koşullar ortadan kaldıran yerine , en büyük ve sıfırdan farklı olan çapraz-dışı şartlar yerine, daha sonra her iki toplamları, ve , artacak. Bu yüzden sadece yeniden yapılanma hatası artacaktır. Yok hayır? Yine de, literatürde Frobenius normu için başka bir kanıt bulmaya çalıştım ve bir şekilde operatör norm durumundan kolayca takip etmesi gerektiğini okudum. Ama şimdiye kadar nasıl olması gerektiğini görmüyorum ...

B

$B$

S

$S$

k

$k$

\sum_{i} (s_{i} - B_{i i})^{2}

$\sum_{i}(s_i-B_{ii})^2$

\sum_{i \neq j} B_{i j}^{2}

$\sum_{i\ne j}B_{ij}^2$

— amip diyor Reinstate Monica

Ben bunu tekil değer ayrışımı, erken tarihinin günü, GW Stewart (1993) gibi SIAM Review , vol. 35, hayır. 4, 551-566 ve tarihsel meselelere önceden gösterdiğiniz ilgiye bakıldığında, sizlerin de olacağını düşünüyorum. Ne yazık ki, Stewart’ın Schmidt'in 1907 kanıtının zarafetini istemeden aşırı reddettiğini düşünüyorum. İçinde saklı olan, Stewart'ın göz ardı ettiği ve gerçekten oldukça güzel olan bir regresyon yorumu. Aldığınız ilk köşegenleştirme yaklaşımını izleyen, ancak boşluğu doldurmak için fazladan çalışma gerektiren başka bir kanıt var. (devam)

— kardinal

@ cardinal: Evet, haklısın, şimdi ben de farkı görüyorum. Stewart gazetesi için çok teşekkürler, bu çok ilginç bir okuma oldu. Stewart'ın Schmidt'in ve Weyl'in kanıtlarını sunduğunu görüyorum, ancak ikisi de burada kopyalamak istediğimden daha karmaşık görünüyor (ve şimdiye kadar onları dikkatle incelemek için zamanım olmadı). Şaşırdım: Bunun çok basit bir sonuç olmasını beklerdim, ancak düşündüğümden daha az önemsiz görünüyor. Özellikle, Frobenius davasının operatör normundan çok daha karmaşık olması beklenmezdi. Yayını şimdi düzenleyeceğim. Yeni Yılınız mutlu olsun!

— amip diyor Reinstate Monica

PCA ile elde edilen düşük dereceli yaklaşım matrisi ile rekonstrüksiyon hatasının hangi normları minimize edilmiştir?

Tek kelime cevabı: Her ikisi de.

Operatör kanıt222

Frobenius normunun kanıtı

Frobenius normu için daha önce kanıtlanmış bir girişim

Operatör kanıt $2$