Her kovaryans matrisi pozitif midir?

Sanırım cevap evet olmalı, ama hala bir şeyin doğru olmadığını hissediyorum. Literatürde bazı genel sonuçlar olmalı, biri bana yardımcı olabilir mi?

— Jingjings
kaynak

Her kovaryans matrisi Pozitif yarı kesindir. Bu, her kovaryans matrisinin negatif olmayan öz değerlere sahip olması gerektiği anlamına gelir. Eğer öz değerlerin hiçbiri sıfır değilse, kovaryans matrisi ek olarak bir Pozitif tanımıdır.

— kaka

İlgili sorular: Neden korelasyon matrisinin yarı-kesin pozitif olması gerekir ve pozitif yarı-kesin olmanın anlamı nedir? ; Ayrıca her korelasyon matrisi pozitif yarı kesin midir? ve her kovaryans matrisi pozitif kesin

— midir

@Jingjings: Profilinizde, hiç cevap almadığınızı veya herhangi bir cevabı kabul etmediğinizi görebiliyorum; Bu, çok iyi cevapları olan çok iyi sorularınız olduğu için oldukça dikkat çekicidir. Sanırım nasıl çalıştığının farkında değilsin. Buradaki fikir, yararlı bulduğunuz herhangi bir cevabı yükseltmeniz ve sorununuzu çözdüğünü düşündüğünüz herhangi bir cevabı kabul etmeniz gerektiğidir. Görünüşe göre birçok cevabı yükseltebilir ve bazılarını kabul edebilirsiniz.

— amip diyor

Yanıtlar:

Hayır.

Üç değişken, göz önünde , ve . Kovaryans matrisleri , pozitif kesin değildir, çünkü pozitif olmayan bir vektör ( ) vardır . $X$ $Y$ $Z = X+Y$ $M$ $z$ $= (1, 1, -1)'$ $z'Mz$

Popülasyon kovaryansı matrisleri pozitif yarı kesindir.

( Burada özellik 2'ye bakınız .)

Aynısı genel olarak tam numunelerin kovaryans matrislerine de uygulanmalıdır (eksik değerler yok), çünkü bunlar ayrıca ayrı bir popülasyon kovaryansı olarak da görülebilirler.

Bununla birlikte, kayan nokta sayısal hesaplamalarının yetersizliğinden dolayı, cebirsel olarak pozitif olan belirli durumlar bile bazen pozitif yarı-kesin olmayacak şekilde hesaplanabilir; algoritmaların iyi bir seçim bu konuda yardımcı olabilir.

Daha genel olarak, örnek kovaryans matrisleri - bazı değişkenlerde eksik değerlerle nasıl başa çıktıklarına bağlı olarak - teoride bile pozitif yarı kesin olabilir veya olmayabilir. Örneğin ikili silme kullanılırsa, pozitif yarı-kesinlik garantisi yoktur. Dahası, biriken sayısal hata, yarı-kesin olarak kesin olmamak için pozitif pozitif olması gereken örnek kovaryans matrislerine neden olabilir.

Gibi:

 x <- rnorm(30)
 y <- rnorm(30) - x/10 # it doesn't matter for this if x and y are correlated or not
 z <- x+y
 M <- cov(data.frame(x=x,y=y,z=z))
 z <- rbind(1,1,-1)
 t(z)%*%M%*%z
              [,1]
[1,] -1.110223e-16

Bu, denediğim ilk örnekte oldu (muhtemelen bir tohum tedarik etmeliyim, ancak bir tane almadan önce pek çok örnek denemeniz gerekecek kadar nadir değil).

Sonuç cebirsel olarak sıfır olmasına rağmen negatif çıktı . Farklı bir sayı kümesi, pozitif bir sayı veya "kesin" bir sıfır verebilir.

İkili silme ile pozitif yarı-kesinliğin kaybına yol açan ılımlı eksiklik örneği:

z <- x + y + rnorm(30)/50  # same x and y as before.
xyz1 <- data.frame(x=x,y=y,z=z) # high correlation but definitely of full rank 

xyz1$x[sample(1:30,5)] <- NA   # make 5 x's missing  

xyz1$y[sample(1:30,5)] <- NA   # make 5 y's missing  

xyz1$z[sample(1:30,5)] <- NA   # make 5 z's missing  

cov(xyz1,use="pairwise")     # the individual pairwise covars are fine ...

           x          y        z
x  1.2107760 -0.2552947 1.255868
y -0.2552947  1.2728156 1.037446
z  1.2558683  1.0374456 2.367978

 chol(cov(xyz1,use="pairwise"))  # ... but leave the matrix not positive semi-definite

Error in chol.default(cov(xyz1, use = "pairwise")) : 
  the leading minor of order 3 is not positive definite

 chol(cov(xyz1,use="complete")) # but deleting even more rows leaves it PSD

          x          y          z
x 0.8760209 -0.2253484 0.64303448
y 0.0000000  1.1088741 1.11270078
z 0.0000000  0.0000000 0.01345364

— Glen_b
kaynak

+1: Fakat çoğunlukla sizin ifadeniz için bir yorum olarak: Bunu sunduğunuzda, PSD'nin genel durumda garanti edilmediği anlaşılıyor. Sjm.majewski'nin cevabında gösterildiği gibi, bir "patolojik" duruma (tam olmayan bir rütbe) ihtiyacınız var ve bu konuyla sonuçlanıyorsunuz. (Sayısal yorum ile tamamen aynı fikirdeyim) Sayısal hataları hesaba katsanız bile PSD'yi garanti edemeyeceğiniz biraz daha eksik değerler sorununu daha ayrıntılı olarak açıklayabilir misiniz? (Söyleyerek zaman vb ölçümlerin kıtlık ile ilgili değildir varsayalım)

— usεr11852 eski haline Monic diyor

Tabii ki bu sadece tam dereceli olmadığında gerçekleşir (veya buna çok yakın). PSD'nin tanımına bakın (ve @ sjm.majewski'nin varyans ilişkisinden bahsettiği gibi) ve bu çok açık. Ancak bunu patolojik olarak tanımlamak garip görünüyor, çünkü bu tam olmayan sıralama durumları pratikte her zaman gerçekleşiyor. Bu basit bir bilge değil - her gün gerçek veri setlerini etkiler ve sonuç olarak burada düzenli sorular oluşturur. Yukarıdaki eksiklik ve ikili silme hakkında konuşacağım çünkü burada buna yer yok.

— Glen_b

Bu cevaba, durumunda, örnek kovaryans matrisinin pozitif-kesin olamayacağının garanti edileceğine dair açık bir açıklama getirmenin harika olacağını düşünüyorum (düşük dereceli olacak, yani bazı sıfır özdeğerlere sahip olacak). Bu Q stats.stackexchange.com/questions/198488 ürününün bir kopyası olarak kapatılabileceği bir konu olup olmadığını araştırıyordum ve bunun iyi bir aday olacağını düşünüyorum ama durum.

n < p

$n<p$

n < p

$n<p$

— amip diyor Reinstate Monica

Peki, neden bir popülasyonun kovaryans matrisinin her zaman pozitif yarı-kesin olduğunu anlamak için şunu not edin: burada bazı gerçek sayılardır ve bazı gerçek değerli rastgele değişkenlerdir.

\sum_{i, j = 1}^{n} y_{i} \cdot y_{j} \cdot C o v (X_{i}, X_{j}) = V a r (\sum_{i = 1}^{n} y_{i} X_{i}) \geq 0

$\sum_{i,j =1}^{n} y_i \cdot y_j \cdot Cov(X_i, X_j) = Var(\sum_{i=1}^n y_iX_i) \geq 0$

y_{i}

$y_i$

X_{i}

$X_i$

Bu aynı zamanda Glen_b tarafından verilen örnekte kovaryans matrisinin neden pozitif olmadığını da açıklar. Biz , ve , yani ve Sabit olan rastgele bir değişkenin varyansı . $y_1 =1 , y_2 = 1, y_3 = -1$ $X_1 = X, X_2 = Y, X_3 = Z = X+Y$ $\sum_{i=1}^{3} y_iX_i = 0$ $0$

— sjm.majewski
kaynak

Güzel! Olumsuz;)

— Denizde yaşlı bir adam.

Bu kabul edilen cevap olmalı. Soru sadece örneklemden değil, rastgele değişkenlerin popülasyon kovaryans matrisinden bahseden "kovaryans matrisleri" hakkındadır.

— user3303

Cevabınızda kullandığınız formülün ne olduğunu sorabilir miyim?

— Aqqqq

Varyans ve kovaryans içeren formülü kastediyorsanız, bunu toplamın karesi için formülden türetebilirsiniz (toplamın karesi, tüm çiftlerin toplam ürün sayısına eşittir).

— sjm.majewski