Çok değişkenli Gauss verilerinin PCA bileşenleri istatistiksel olarak bağımsız mı?

Verilerimiz normalde çok değişkenli ise PCA bileşenleri (temel bileşen analizinde) istatistiksel olarak bağımsız mıdır? Eğer öyleyse, bu nasıl kanıtlanabilir / kanıtlanabilir?

Soruyorum çünkü en iyi cevabın belirttiği bu yayını gördüm :

PCA açık bir Gaussian varsayımı yapmaz. Verilerde açıklanan varyansı en üst düzeye çıkaran özvektörleri bulur. Temel bileşenlerin dikliği, verilerdeki mümkün olduğunca fazla varyasyonu açıklamak için en ilişkisiz bileşenleri bulduğu anlamına gelir. Çok değişkenli gauss dağılımları için, bileşenler arasındaki sıfır korelasyon, bağımsızlık anlamına gelir, bu da çoğu dağılım için doğru değildir.

Cevap bir kanıt olmadan ifade edilir ve verilerin çok değişkenli normal olması durumunda PCA'nın bağımsız bileşenler ürettiği anlamına gelir.

Özellikle, verilerimizin aşağıdakilerden örnekler olduğunu varsayalım:

x \sim N (μ, Σ)

$\mathbf{x} \sim \mathcal N(\mathbf{\mu}, \mathbf{\Sigma})$

koyduk $n$ örnekleri $\mathbf{x}$ Örneklerinde eden matris sıraları halinde , yani olduğu . SVD'sinin hesaplanması $\mathbf{X}$ $\mathbf{X}$ $n \times m$ $\mathbf{X}$ (merkezlemeden sonra) getirilerinin

X = {U S V}^{T}

$\mathbf{X} = \mathbf{USV}^{T}$

sütunlarının istatistiksel olarak bağımsız olduğunu, ayrıca satırlarının da olduğunu söyleyebilir miyiz ? Bu genel olarak, sadece için geçerli mi, yoksa hiç doğru değil mi? $\mathbf{U}$ $\mathbf{V}^T$ $\mathbf{x} \sim \mathcal N(\mathbf{\mu}, \mathbf{\Sigma})$

pca independence svd

— bill_e
kaynak

stats.stackexchange.com/q/110508/3277 benzer bir sorudur.

— ttnphns

PC'lerin birden fazla boyutta nasıl "istatistiksel olarak bağımsız" olarak değerlendirilebileceğini anlamıyorum. Sonuçta, tanımı gereği her biri diğerlerine diktir; bu fonksiyonel bağımlılık çok güçlü bir istatistiksel bağımlılık yaratır.

— whuber

@amoeba ben açıkça belirtildiği ve net olarak görüyorum sorusuna tutarlı berrak hem de sadık olmuştur umut: Veri çünkü

X

$X$ rasgele, yani tüm girişler vardır

U

$U$ . İstatistiksel bağımsızlık tanımını onlara uyguladım. Bu kadar. İşletme sorun görünüşte farkında olmadan iki farklı anlamda kelime "ilişkisiz" kullandığınız gibi görünmektedir: sütunları nasıl sayesinde

U

$U$ inşa edilir, bunlar geometrik olarak dik olarak vektörler $\mathbb{R}^n$ , ancak bunlar herhangi bir cinsindendir bağımsız rastgele vektörler anlamına gelir!

— whuber

@amoeba Haklısın - simülasyon oldukça ikna edici bir şekilde korelasyonun sıfırdan farklı olabileceğini gösteriyor. Ancak, "korelasyon" = "dik" anlamında "PCA bileşenlerinin ilişkisiz" olduğunu veya belirli bir ders kitabının yanlış olduğunu söylemiyorum. Benim endişem, düzgün bir şekilde anlaşılan böyle bir ifadenin, mevcut bağlamda yapabileceği (ve yaptığı) tümüyle geniş bir karışıklık yarattığı sorusuyla o kadar alakasız olduğudur.

— whuber

@whuber, cevabımın bir başka baskısını dört gözle beklediğinizden eminim! İşte burada. Ben açıkça bağımlılık hakkında puanlarınızı kabul ve sütunları bir açıklama yapmak

U

$U$ olan asimptotik benim ana noktası olarak, bağımsız. Burada "asimptotik olarak" gözlemlerin (satırların)

sayısını ifade eder

n

$n$ . Umarım bu konuda hemfikir oluruz! Ayrıca ,

gibi makul bir

n

$n$ , sütunlar arasındaki bağımlılığın "pratik olarak alakasız" olduğunu iddia ediyorum . Sanırım bu daha tartışmalı bir nokta, ama cevabımda makul bir şekilde kesin yapmaya çalışıyorum.

n = 100

$n=100$

— amip diyor Reinstate Monica

Sezgisel bir gösteri ile başlayacağım.

(A) kuvvetli bir Gauss dışı 2D dağılımından ve (b) 2D Gauss dağılımından gözlem oluşturdum . Her iki durumda da verileri ortaladım ve tekil değer ayrışması . Sonra her bir vaka için, ilk iki sütununun biri diğerine karşı olan bir dağılım grafiği yaptım . Not genellikle sütunları olduğu "ana bileşenleri" (PC) olarak adlandırılır; sütunları birim normuna sahip olarak ölçeklendirilmiş PClerdir; yine de, bu cevapta sütunlarına odaklanıyorum . İşte dağılım grafikleri: $n=100$ $\mathbf X=\mathbf{USV}^\top$ $\mathbf U$ $\mathbf{US}$ $\mathbf U$ $\mathbf U$

PCA of Gaussian and non-Gaussian data

"PCA bileşenleri ilişkisiz" veya "PCA bileşenleri bağımlı / bağımsız" gibi ifadelerin genellikle belirli bir örnek matris hakkında yapıldığını ve satırlar arasındaki korelasyonlara / bağımlılıklara atıfta bulunduğunu düşünüyorum (bkz. Örneğin @ ttnphns'ın cevabı ). PCA , satırların gözlem ve sütunların PC değişkenleri olduğu dönüştürülmüş bir veri matrisi verir . Yani örnek olarak görebiliriz ve PC değişkenleri arasındaki örnek korelasyonunun ne olduğunu sorabiliriz. Bu örnek korelasyon matrisi elbette $\mathbf X$ $\mathbf U$ $\mathbf U$ $\mathbf U^\top \mathbf U=\mathbf I$ yani PC değişkenleri arasındaki örnek korelasyonları sıfırdır. İnsanların "PCA kovaryans matrisini köşegenleştirdiğini" söylediklerinde kastedilen budur.

Sonuç 1: PCA koordinatlarında, verilerin sıfır korelasyonu vardır.

Bu, yukarıdaki her iki dağılım grafiği için de geçerlidir. Bununla birlikte, soldaki (Gauss olmayan) dağılım grafiğindeki iki PC değişkeni ve bağımsız değildir; sıfır korelasyona sahip olmalarına rağmen, büyük ölçüde bağımlıdırlar ve aslında bir ile ilişkilidirler . Ve aslında, ilişkisiz bağımsız anlamına gelmediği iyi bilinmektedir . $x$ $y$ $y\approx a(x-b)^2$

Aksine, sağ (Gauss) dağılım grafiğindeki iki PC değişkeni ve "oldukça bağımsız" görünmektedir. Aralarındaki karşılıklı bilgilerin hesaplanması (istatistiksel bağımlılığın bir ölçüsüdür: bağımsız değişkenlerin sıfır karşılıklı bilgisi vardır) herhangi bir standart algoritma tarafından sıfıra çok yakın bir değer verecektir. Tam olarak sıfır olmayacaktır, çünkü herhangi bir sonlu örnek boyutu için asla tam olarak sıfır değildir (ince ayar yapılmadıkça); ayrıca, iki örneğin karşılıklı bilgilerini hesaplamak için biraz farklı cevaplar veren çeşitli yöntemler vardır. Ancak herhangi bir yöntemin sıfıra çok yakın karşılıklı bilgi tahmini vermesini bekleyebiliriz. $x$ $y$

Sonuç 2: PCA koordinatlarında Gauss verileri "hemen hemen bağımsızdır", yani standart bağımlılık tahminleri sıfır civarında olacaktır.

Bununla birlikte, uzun yorum zincirinin gösterdiği gibi soru daha zordur. Gerçekten de @whuber haklı olarak PCA değişkenleri ve ( sütunları ) istatistiksel olarak bağımlı olması gerektiğine işaret eder: sütunlar birim uzunluğunda olmalı ve dik olmalıdır ve bu bir bağımlılık getirir. Örneğin, ilk sütundaki bir değer eşitse , ikinci sütundaki karşılık gelen değer olmalıdır . $x$ $y$ $\mathbf U$ $1$ $0$

Bu doğrudur, ancak pratik olarak örneğin gibi çok küçük için geçerlidir ( merkezlemeden sonra ile sadece bir PC vardır). Yukarıdaki şeklimde gösterilen gibi makul bir numune boyutu için, bağımlılığın etkisi önemsiz olacaktır; sütunları Gauss verilerinin (ölçeklendirilmiş) projeksiyonlarıdır, bu nedenle Gauss'tur, bu da bir değerin yakın olmasını neredeyse imkansız hale getirir (bu, diğer tüm öğelerinin yakın olmasını gerektirir ; bir Gauss dağılımı). $n$ $n=3$ $n=2$ $n=100$ $\mathbf U$ $1$ $n-1$ $0$

Sonuç 3: Kesin olarak, herhangi bir sonlu , PCA koordinatlarındaki Gauss verileri bağımlıdır; bununla birlikte, bu bağımlılık herhangi bir için pratik olarak önemsizdir . $n$ $n\gg 1$

Bunu sınırında neler olduğunu düşünerek kesinleştirebiliriz . Sonsuz numune boyutu sınırı, örnek kovaryans matrisi nüfus kovaryans matrisi eşittir . Veri vektör Yani eğer örneklenmiş olan , daha sonra PC değişkenler ( ve $n \to \infty$ $\mathbf \Sigma$ $X$ $\vec X \sim \mathcal N(0,\boldsymbol \Sigma)$ $\vec Y = \Lambda^{-1/2}V^\top \vec X/(n-1)$ $\Lambda$ $V$ ) ve özdeğer ve özvektörleridir . Yani PC değişkenleri diyagonal kovaryansa sahip çok değişkenli bir Gauss'tan gelir. Ancak diyagonal kovaryans matrisi olan çok değişkenli Gausslar, tek değişkenli Gaussianların bir ürününe ayrışır ve bu, istatistiksel bağımsızlığın tanımıdır : $\boldsymbol \Sigma$ $\vec Y \sim \mathcal N(0, \mathbf I/(n-1))$

\begin{aligned} N (0, d i a g (σ_{i}^{2})) & = \frac{1}{(2 π)^{k / 2} det (d i a g (σ_{i}^{2}))^{1 / 2}} \exp [- x^{⊤} d i a g (σ_{i}^{2}) x / 2] \\ = \frac{1}{(2 π)^{k / 2} (\prod_{i = 1}^{k} σ_{i}^{2})^{1 / 2}} \exp [- \sum_{i = 1}^{k} σ_{i}^{2} x_{i}^{2} / 2] \\ = \prod \frac{1}{(2 π)^{1 / 2} σ_{i}} \exp [- σ_{i}^{2} x_{i}^{2} / 2] \\ = \prod N (0, σ_{i}^{2}) . \end{aligned}

$\begin{align} \mathcal N(\mathbf 0,\mathrm{diag}(\sigma^2_i)) &= \frac{1}{(2\pi)^{k/2} \det(\mathrm{diag}(\sigma^2_i))^{1/2}} \exp\left[-\mathbf x^\top \mathrm{diag}(\sigma^2_i) \mathbf x/2\right]\\&=\frac{1}{(2\pi)^{k/2} (\prod_{i=1}^k \sigma_i^2)^{1/2}} \exp\left[-\sum_{i=1}^k \sigma^2_i x_i^2/2\right] \\&=\prod\frac{1}{(2\pi)^{1/2}\sigma_i} \exp\left[-\sigma_i^2 x^2_i/2\right] \\&= \prod \mathcal N(0,\sigma^2_i). \end{align}$

Sonuç 4: Gauss verilerinin PC değişkenleri asimptotik olarak ( ) rastgele değişkenler olarak istatistiksel olarak bağımsızdır ve örnek karşılıklı bilgileri popülasyon değerini sıfır verecektir. $n \to \infty$

Ben farklı bu soruyu anlamaya (@whuber yorumlarına bakınız) mümkün olduğuna dikkat edilmelidir: Bütün matris dikkate (rastgele matris elde edilen rasgele değişken , belirli bir operasyon yoluyla) ve sorarsan herhangi iki özgü unsurlar ve , iki farklı kolonlardan çizer farklı boyunca istatistiksel olarak bağımsız . Bu soruyu ilerleyen bölümlerde inceledik . $\mathbf U$ $\mathbf X$ $U_{ij}$ $U_{kl}$ $\mathbf X$

Yukarıdan dört ara sonuç:

PCA koordinatlarında, herhangi bir veri sıfır korelasyona sahiptir.
PCA koordinatlarında Gauss verileri "hemen hemen bağımsızdır", yani standart bağımlılık tahminleri sıfır civarında olacaktır.
Kesin olarak, herhangi bir sonlu , PCA koordinatlarındaki Gauss verileri bağımlıdır; ancak, bu bağımlılık herhangi bir için pratik olarak önemsizdir. $n$ $n\gg 1$ .
Gauss verilerinin PC değişkenleri asimptotik olarak ( ) rastgele değişkenler olarak istatistiksel olarak bağımsızdır ve örnek karşılıklı bilgileri popülasyon değerini sıfır verecektir. $n \to \infty$

— amo diyor Reinstate Monica
kaynak

"Ancak, veriler çok değişkenli Gaussian ise, o zaman gerçekten bağımsızdır" yazarsınız. 'Onlar' ana bileşenler ve katsayıları mı? PCA ile ne demek kovaryans matrisini köşegenleştiriyor? Cevabınız için teşekkürler!

— bill_e

S

$S$

U

$U$

Oh, teşekkürler! Cevabınızın ve bu yorumun birleşimi benim için işleri netleştirmeye yardımcı oluyor. Cevabınızdaki yorumunuzu düzenleyebilir miyim?

— bill_e

Yorumu ekleyerek cevabı genişlettim; şimdi bundan memnun olup olmadığınıza bakın.

— amip, Reinstate Monica'yı

İlginç tartışma! Soruyu sorduğumda, istatistiksel bağımlılık düşüncem "PC1'i biliyorsanız, PC2'yi çıkarmak mümkün mü?" İdi. Şimdi karşılıklı bilgiye dayalı bağımsızlık testlerine bakacağım.

— bill_e