Neden sadece orada

PCA'da, sayısı sayısı numune sayısından büyük (hatta eşit) olduğunda , neden en fazla sıfır olmayan özvektörlere sahip olacaksınız ? Başka bir deyişle, kovaryans matrisinin boyutları arasındaki sırası . $d$ $N$ $N-1$ $d\ge N$ $N-1$

Örnek: Örnekleriniz boyutunda vectorized resimlerdir , ancak yalnızca . $d = 640\times480 = 307\,200$ $N=10$

pca dimensionality-reduction eigenvalues

— GrokingPCA
kaynak

puanın 2B veya 3B olduğunu hayal edin . Bu noktaların işgal ettiği manifoldun boyutu nedir? Cevap

: iki nokta daima bir çizgide uzanır (ve bir çizgi 1 boyutludur). Alanın tam boyutsallığı önemli değildir (

büyük olduğu sürece ), puanlarınız yalnızca 1 boyutlu alt alanı kaplar. Dolayısıyla, varyans sadece bu alt alanda, yani 1 boyut boyunca “yayılır”. Bu herhangi bir

için de geçerlidir .

N = 2

$N=2$

N - 1 = 1

$N-1=1$

N

$N$

N

$N$

— amip diyor Reinstate Monica

@ Amoeba'nın yorumuna sadece ek bir hassasiyet eklerdim. Menşe noktası da önemlidir. Bu nedenle, N = 2 + kaynağınız varsa, boyut sayısı en fazla 2'dir (1 değil). Bununla birlikte, PCA'da genellikle verileri merkezleriz, bu da kökenini veri bulutunun alanı içine koyduğumuz anlamına gelir - o zaman bir boyut tüketilir ve cevap, amip tarafından gösterildiği gibi "N-1" olur.

— ttnphns 9:14

Beni şaşırtan şey bu. Boyutu yok eden merkezleme değil, değil mi? Tam olarak N numuneleriniz ve N boyutlarınız varsa, merkezden sonra bile hala N özvektörleriniz var ..?

— GrokingPCA

Niye ya? Tek bir boyutu yok eden merkezlemedir. Merkezleme (aritmetik ortalamaya göre) "orijini" veriyi "dışar" dan "yayılmış" uzaya taşır. N = 2 örneği ile. 2 puan + bazı kökenler genellikle düzlemi kaplar. Bu verileri ortaladığınızda, orijini 2 nokta arasındaki yarıya kadar düz bir çizgiye koyun. Bu nedenle, veriler artık yalnızca çizgiyi kapsıyor.

— ttnphns

Euclid bunu 2300 yıl önce zaten biliyordu: iki nokta bir çizgi belirler, üç nokta bir uçak belirler. Genelleme,

noktaları bir

boyutlu Öklid uzayını belirler .

N

$N$

N - 1

$N-1$

— whuber

PCA'nın ne yaptığını düşünün. Basitçe söylemek gerekirse, PCA (en yaygın şekilde çalışan), aşağıdakileri yaparak yeni bir koordinat sistemi oluşturur:

menşeini verilerinizin merkezine kaydırmak,
eksenleri sıkmak ve / veya uzunlukları eşit yapmak için germek, ve
eksenlerinizi yeni bir yöne döndürür.

(Daha fazla ayrıntı için, bu mükemmel CV iş parçacığına bakın: Temel bileşen analizi, özvektörler ve özdeğerler anlamında .) Ancak, yalnızca eksenlerinizi eski bir şekilde döndürmez. Yeni (ilk ana bileşen) verilerinizin maksimum varyasyon yönüne yönlendirilmiştir. İkinci ana bileşen, birinci ana bileşene ortogonal olan bir sonraki en büyük varyasyon miktarı yönünde yönlendirilir . Kalan ana bileşenler de aynı şekilde oluşturulur. $X_1$

Bunu akılda tutarak, hadi @ amoeba'nın örneğini inceleyelim . İşte üç boyutlu uzayda iki noktalı bir veri matrisi:
Şimdi bu noktaları (sözde) üç boyutlu bir dağılım grafiğinde inceleyelim:

X = [\begin{array}{ccc} 1 & 1 & 1 \\ 2 & 2 & 2 \end{array}]

$X = \bigg[ \begin{array}{ccc} 1 &1 &1 \\ 2 &2 &2 \end{array} \bigg]$

görüntü tanımını buraya girin

$(1.5, 1.5, 1.5)$ $(0,0,0)$ $(3,3,3)$ $(0,0,3)$ $(3,3,0)$ $(0,3,0)$ $(3,0,3)$

$N=2$ $N-1 = 1$

— gung - Eski Monica
kaynak