Kovaryans matrisinin tersi veriler hakkında ne diyor? (Sezgisel)

in doğası hakkında merak ediyorum . Herhangi biri sezgisel bir şey söyleyebilir: " veri hakkında ne diyor?" $\Sigma^{-1}$ $\Sigma^{-1}$

Düzenle:

Cevaplar için teşekkürler

Harika dersler aldıktan sonra bazı noktalar eklemek isterim:

Bilginin ölçüsüdür, yani, , yönü boyunca bilgi miktarıdır . $x^T\Sigma^{-1}x$ $x$
Duallik: yana pozitif tanımlı, böyledir onlar nokta ürün normlardır yüzden regularized en küçük kareler problemi için Fenchel İkili türetmek böylece, daha doğrusu birbirlerinin ikili normlar vardır, ve çift problem ile maksimizasyon yapmak. İklimlendirmelerine bağlı olarak ikisini de seçebiliriz. $\Sigma$ $\Sigma^{-1}$
Hilbert boşluğu: ve sütunları (ve satırları) aynı boşluğu kapsar. Bu nedenle, (bu matrislerden birinin şartsız olduğu durumlarda) veya ile temsil arasında bir avantaj yoktur. $\Sigma^{-1}$ $\Sigma$ $\Sigma^{-1}$ $\Sigma$
Bayes İstatistikleri: normu Bayes istatistiklerinde önemli bir rol oynar. Yani, önceden ne kadar bilgiye sahip olduğumuzu belirledi, örneğin, önceki yoğunluğun kovaryansı olduğunda, bilgi vermeyen (veya muhtemelen Jeffreys) $\Sigma^{-1}$ $\|\Sigma^{-1}\|\rightarrow 0$
Sıklık İstatistikleri: Cramér-Rao sınırını kullanarak, Fisher bilgisi ile yakından ilgilidir. Aslında, balıkçı bilgi matrisi (log-olabilirlik gradyanının dış ürünüdür) Cramér-Rao ile sınırlandırılmıştır, yani $\Sigma^{-1}\preceq \mathcal{F}$ (pozitif yarı-kesin koni, ewrt konsantrasyonu elipsoidler). Yani $\Sigma^{-1}=\mathcal{F}$ , maksimum olasılık tahmincisi etkindir, yani verilerde maksimum bilgi mevcuttur, bu yüzden sıkça uygulanan rejim optimaldir. Daha basit bir deyişle, bazı olabilirlik işlevleri için (olasılığın işlevsel biçiminin tamamen sözde veri üreten olasılık modeline, yani üretici modeline bağlı olduğunu unutmayın, yani üretici model), maksimum olasılık, bir patron gibi kurallardır. (overkilling için üzgünüm)

— Arya
kaynak

PCA'nın özvektörünü küçük özdeğerlerden ziyade büyük özdeğerlerle topladığını düşünüyorum.

— wdg

(3) Yanlıştır, çünkü in sütunlarını belirtmek çok önemlidir, çünkü sadece kimlik matrisi için doğru olan (izinli olana kadar) olanlarıdır .

Σ^{- 1}

$\Sigma^{-1}$

Σ

$\Sigma$

— whuber

Yanıtlar:

Sadece bir dağılım ölçüsü olduğu için bir hassasiyet ölçütüdür. $\Sigma$

Daha ayrıntılı olarak, , değişkenlerin ortalamanın (köşegen unsurlar) etrafına nasıl dağıldığının ve diğer değişkenlerle (köşegen dışı) elemanların birbiriyle nasıl değiştiğinin bir ölçüsüdür. Dağılım ne kadar uzak olursa, ortalamadan ne kadar uzaklaşır ve diğer değişkenlerle ne kadar fazla değişkenlik gösterirse (mutlak değerde) o kadar güçlü olurlar; kovaryans belirtisi). $\Sigma$

Benzer şekilde, , değişkenlerin ortalamanın (köşegen elemanlar) etrafında ne kadar sıkı kümelendiğinin ve diğer değişkenlerle (köşegen dışı elemanlar) ne kadar değişkenlik göstermediklerinin bir ölçüsüdür. Bu nedenle, diyagonal eleman ne kadar yüksekse, değişken o kadar sıkıdır. Diyagonal olmayan elemanların yorumlanması daha incedir ve sizi bu yorum için diğer cevaplara yönlendiriyorum. $\Sigma^{-1}$

— prop
kaynak

daki diyagonal olmayan elemanlar hakkındaki son ifadenize güçlü bir karşı örnek, iki boyutta en basit ve önemsiz örnek, Daha büyük köşegen dışı değerler , söylediklerinizin tam tersi olan korelasyon katsayısı daha aşırı değerlerine karşılık gelir .

Σ^{- 1}

$\Sigma^{-1}$

Σ^{- 1} = (\begin{array}{cc} \frac{1}{1 - ρ^{2}} & - \frac{ρ}{1 - ρ^{2}} \\ - \frac{ρ}{1 - ρ^{2}} & \frac{1}{1 - ρ^{2}} \end{array}) .

$\Sigma^{-1}=\left( \begin{array}{cc} \frac{1}{1-\rho ^2} & -\frac{\rho }{1-\rho ^2} \\ -\frac{\rho }{1-\rho ^2} & \frac{1}{1-\rho ^2} \\ \end{array} \right).$

ρ,

$\rho,$

— whuber

@whuber Doğru. Son cümlede 'mutlak' kelimesinden kurtulmalıyım. Thanks

— prop

Teşekkürler, ama bu hala sorunu çözmüyor: tersin köşegen olmayan unsurları ve eş varyasyonları arasında iddia ettiğiniz ilişki mevcut değil.

— whuber

@whuber Sanırım öyle. Örneğinizde, köşegen dışı elemanlar negatif. Dolayısıyla, arttıkça köşegen dışı elemanlar azalır. Bunu, aşağıdakilere dikkat ederek kontrol edebilirsiniz: , köşegen dışı eleman ; olarak yaklaşımlar çapraz kapatma elemanları yaklaşım ve köşegen dışı elemanın türevi ile ilgili negatiftir.

ρ

$\rho$

ρ = 0

$\rho = 0$

0

$0$

ρ

$\rho$

1

$1$

- \infty

$-\infty$

ρ

$\rho$

— prop

Diyagonal olmayan

ρ < 0.

$\rho\lt 0.$

— öğelerim

Tersinin elemanlarını belirtmek için üstbilgileri kullanmak, , değişkeninin , diğer değişkenleriyle ilişkilendirilmeyen değişkeninin ve , değişkenlerini kontrol eden, ve değişkenlerinin kısmi korelasyonudur . $1/\sigma^{ii}$ $i$ $p-1$ $-\sigma^{ij}/\sqrt{\sigma^{ii}\sigma^{jj}}$ $i$ $j$ $p-2$

— Ray Koopman
kaynak