Kovaryans matrisinin tersi veriler hakkında ne diyor? (Sezgisel)


46

in doğası hakkında merak ediyorum . Herhangi biri sezgisel bir şey söyleyebilir: " veri hakkında ne diyor?" Σ - 1Σ1Σ1

Düzenle:

Cevaplar için teşekkürler

Harika dersler aldıktan sonra bazı noktalar eklemek isterim:

  1. Bilginin ölçüsüdür, yani, , yönü boyunca bilgi miktarıdır .xxTΣ1xx
  2. Duallik: yana pozitif tanımlı, böyledir onlar nokta ürün normlardır yüzden regularized en küçük kareler problemi için Fenchel İkili türetmek böylece, daha doğrusu birbirlerinin ikili normlar vardır, ve çift problem ile maksimizasyon yapmak. İklimlendirmelerine bağlı olarak ikisini de seçebiliriz.Σ - 1ΣΣ1
  3. Hilbert boşluğu: ve sütunları (ve satırları) aynı boşluğu kapsar. Bu nedenle, (bu matrislerden birinin şartsız olduğu durumlarda) veya ile temsil arasında bir avantaj yoktur. Σ Σ - 1 ΣΣ1ΣΣ1Σ
  4. Bayes İstatistikleri: normu Bayes istatistiklerinde önemli bir rol oynar. Yani, önceden ne kadar bilgiye sahip olduğumuzu belirledi, örneğin, önceki yoğunluğun kovaryansı olduğunda, bilgi vermeyen (veya muhtemelen Jeffreys)Σ1Σ10
  5. Sıklık İstatistikleri: Cramér-Rao sınırını kullanarak, Fisher bilgisi ile yakından ilgilidir. Aslında, balıkçı bilgi matrisi (log-olabilirlik gradyanının dış ürünüdür) Cramér-Rao ile sınırlandırılmıştır, yani Σ1F (pozitif yarı-kesin koni, ewrt konsantrasyonu elipsoidler). Yani Σ1=F , maksimum olasılık tahmincisi etkindir, yani verilerde maksimum bilgi mevcuttur, bu yüzden sıkça uygulanan rejim optimaldir. Daha basit bir deyişle, bazı olabilirlik işlevleri için (olasılığın işlevsel biçiminin tamamen sözde veri üreten olasılık modeline, yani üretici modeline bağlı olduğunu unutmayın, yani üretici model), maksimum olasılık, bir patron gibi kurallardır. (overkilling için üzgünüm)

3
PCA'nın özvektörünü küçük özdeğerlerden ziyade büyük özdeğerlerle topladığını düşünüyorum.
wdg

2
(3) Yanlıştır, çünkü in sütunlarını belirtmek çok önemlidir, çünkü sadece kimlik matrisi için doğru olan (izinli olana kadar) olanlarıdır . Σ1Σ
whuber

Yanıtlar:


15

Sadece bir dağılım ölçüsü olduğu için bir hassasiyet ölçütüdür.Σ

Daha ayrıntılı olarak, , değişkenlerin ortalamanın (köşegen unsurlar) etrafına nasıl dağıldığının ve diğer değişkenlerle (köşegen dışı) elemanların birbiriyle nasıl değiştiğinin bir ölçüsüdür. Dağılım ne kadar uzak olursa, ortalamadan ne kadar uzaklaşır ve diğer değişkenlerle ne kadar fazla değişkenlik gösterirse (mutlak değerde) o kadar güçlü olurlar; kovaryans belirtisi).Σ

Benzer şekilde, , değişkenlerin ortalamanın (köşegen elemanlar) etrafında ne kadar sıkı kümelendiğinin ve diğer değişkenlerle (köşegen dışı elemanlar) ne kadar değişkenlik göstermediklerinin bir ölçüsüdür. Bu nedenle, diyagonal eleman ne kadar yüksekse, değişken o kadar sıkıdır. Diyagonal olmayan elemanların yorumlanması daha incedir ve sizi bu yorum için diğer cevaplara yönlendiriyorum.Σ1


3
daki diyagonal olmayan elemanlar hakkındaki son ifadenize güçlü bir karşı örnek, iki boyutta en basit ve önemsiz örnek, Daha büyük köşegen dışı değerler , söylediklerinizin tam tersi olan korelasyon katsayısı daha aşırı değerlerine karşılık gelir . Σ1Σ1=(11ρ2ρ1ρ2ρ1ρ211ρ2).ρ,
whuber

@whuber Doğru. Son cümlede 'mutlak' kelimesinden kurtulmalıyım. Thanks
prop

3
Teşekkürler, ama bu hala sorunu çözmüyor: tersin köşegen olmayan unsurları ve eş varyasyonları arasında iddia ettiğiniz ilişki mevcut değil.
whuber

@whuber Sanırım öyle. Örneğinizde, köşegen dışı elemanlar negatif. Dolayısıyla, arttıkça köşegen dışı elemanlar azalır. Bunu, aşağıdakilere dikkat ederek kontrol edebilirsiniz: , köşegen dışı eleman ; olarak yaklaşımlar çapraz kapatma elemanları yaklaşım ve köşegen dışı elemanın türevi ile ilgili negatiftir. ρρ=00ρ1ρ
prop

2
Diyagonal olmayan ρ<0.
öğelerim

17

Tersinin elemanlarını belirtmek için üstbilgileri kullanmak, , değişkeninin , diğer değişkenleriyle ilişkilendirilmeyen değişkeninin ve , değişkenlerini kontrol eden, ve değişkenlerinin kısmi korelasyonudur .1/σiiip1σij/σiiσjjijp2

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.