PCA'ya göre SVD'nin herhangi bir avantajı var mı?

PCA ve SVD'nin matematiksel olarak nasıl hesaplanacağını biliyorum ve her ikisinin de Doğrusal En Küçük Kareler regresyonuna uygulanabileceğini biliyorum.

SVD'nin matematiksel olarak ana avantajı, kare olmayan matrislere uygulanabileceği gibi görünüyor.

Her ikisi de matrisinin ayrışmasına odaklanır . Bahsedilen SVD'nin avantajı dışında, PCD'ye göre SVD kullanılarak sağlanan ek avantajlar veya öngörüler var mı? $X^\top X$

Gerçekten matematiksel farklardan çok sezgi arıyorum.

pca least-squares svd

— Baz
kaynak

Soru belirsiz. İlk önce OLS regresyonundan bahsediyorsunuz. Sonra yok olur. Ardından, advantage... SVD over PCA- svd ve PCA matematiksel işlem ve veri analitik yöntemi olarak karşılaştırılamaz. Sorunuz PCA yapmanın yolları hakkında bir şey olabilir mi? Veya ne soruyorsun?

— ttnphns

Belirsiz olduğum için üzgünüm. Biri PCA, diğeri SVD kullanılarak türetilen sırt tipi tahmincilere sahibim. Modellerin oluşturulma şekli farklıdır, yani kullandıkları önceki bilgilerle ilgilidir. Ancak aynı yazar tarafından yazılmıştır. Aralarındaki farkları anlamaya çalışıyorum ve neden analiz için temel olarak PCA vs SVD kullanacağını anlamaya çalışıyordum. Belki de keyfiydi, ama artıları ve eksileri anlayabilirsem yardımcı olur. Şimdiye kadar SVD, sayısal olarak daha kararlı olma eğiliminde olan PCA yapmanın bir yolu gibi görünüyor.

— Baz

Bu iyi ama SVD kullanmanın problem üzerinde ek ekonometrik anlayışlar / sezgi üretip üretmediğini merak ettim.

— Baz

Ekonometriye özellikle odaklanmak istiyorsanız, bunu soruda belirtmeniz ve nedenini açıklamanız gerektiğini düşünüyorum. Zaten oldukça farklı hayvan türleri olan SVD ve PCA tartışmasının ekonometri için diğer istatistik bilim dallarından farklı olduğunu göremiyorum.

— Nick Cox

@Baz: "Şimdiye kadar SVD, sayısal olarak daha kararlı olma eğiliminde olan PCA yapmanın bir yolu gibi görünüyor" - [bu bağlamda] kesinlikle doğru, evet.

— amip diyor Reinstate Monica

Yanıtlar:

@Ttnphns ve @ nick-cox'un dediği gibi, SVD sayısal bir yöntemdir ve PCA bir analiz yaklaşımıdır (en küçük kareler gibi). SVA kullanarak PCA yapabilir veya (veya ) öz-ayrışma yaparak PCA yapabilir veya bir düzine farklı algoritma ile en küçük kareleri çözebileceğiniz gibi diğer birçok yöntemi kullanarak PCA yapabilirsiniz Newton yöntemi veya gradyan inişi veya SVD gibi. $X^T X$ $X X^T$

Bu yüzden PCA üzerinden SVD'ye bir "avantaj" yoktur, çünkü Newton'un yönteminin en küçük karelerden daha iyi olup olmadığını sormak gibidir: ikisi karşılaştırılamaz.

— purple51
kaynak

Kısa ve öz bir cevabın hala bir sorunun özüne nasıl ulaşabileceğinin güzel bir örneği.

— Nick Cox

Vay, bu cevap için 8, orijinal soru için 0. Bu pek mantıklı değil. Cevabı onaylarsanız, soruyu da oylamayı düşünün!

— amip, Reinstate Monica'yı

@amoeba Bana soru karıştı. Cevap karışıklığın ne olduğunu açıkça ortaya koyuyor. Bence bu oylardaki farklılıklar için iyi bir açıklama.

— Nick Cox

Aslında daha bilgiç olmak gerekirse, SVD kendi başına sayısal bir yöntem değildir, Hanehalkı dönüşümleri gibi şeyleri içeren belirli sayısal yöntemler kullanılarak uygulanabilen doğrusal bir cebir işlemidir ...

— purple51

Yine de SVD'nin (Ana Bileşenleri türetirken) avantajı sayısaldır: daha fazla hassasiyet. Bkz. Örneğin Jolliffe (2002). Belki

— Nikos Alexandris

Soru gerçekten SVD'yi uygulamadan önce sütunların Z skoru normalleştirmesi gerekip gerekmediğini soruyor. Bunun nedeni, PCA'nın yukarıdaki dönüşüm ve ardından SVD olmasıdır. Bazen normalleştirmeyi yapmak oldukça zararlıdır. Verileriniz örneğin (dönüştürülmüş) pozitif olan kelime sayımları ise ortalamanın çıkarılması kesinlikle zararlıdır. Bunun nedeni, bir belgede bir sözcüğün yokluğunu temsil eden sıfırların yüksek büyüklükteki negatif sayılara eşlenmesidir. Doğrusal problemlerde, özelliklerinizin en hassas olduğu aralığı temsil etmek için daha yüksek büyüklük kullanılmalıdır. Ayrıca standart sapmaya göre bölünmek bu tür veriler için zararlıdır.

— Stefan Savev
kaynak

Bu ilginç bir örnek, ama bunun yerine başka bir iş parçacığına ait olması gerektiğine inanıyorum. PCA kesinlikle z skorlaması olmadan yapılabilir, bu yüzden ilk cümlenize katılmıyorum: bu sorunun "gerçekten sorduğu şey" bu değil.

— amip diyor Reinstate Monica

PCA ve SVD, araçları çıkarmayı görmezden gelirseniz aynıdır (bu, bahsettiğim Z puanlamasıdır, bazen insanlar PCA'yı stdev tarafından bölünerek verir). Bu yüzden, araçları çıkarmadan PCA yapabileceğinize katılmıyorum. PCA'yı kare olmayan matrislerde de yapabilirsiniz.

— Stefan Savev