Kovaryans matrisinin sırası neden en fazla ?

Belirtildiği gibi , bu sorunun, kovaryans matrisinin en sıralaması olan burada örnek boyutu ve bu yüzden kovaryans matrisi boyutu örnek büyüklüğü eşit ise, bu tekil olur. Neden kovaryans matrisinin maksimum rütbesinden çıkardığımızı anlayamıyorum . $n-1$ $n$ $1$ $n$

covariance-matrix linear-algebra

— user3070752
kaynak

Sezgiyi elde etmek için 3D'de

n = 2

$n=2$ puan düşünün . Bu noktaların içinde bulunduğu altuzayın boyutu nedir? Onları bir hatta (1D altuzay) sığdırabilir misiniz? Yoksa bir uçağa mı ihtiyacınız var (2D altuzay)?

— amip, Reinstate Monica'ya

Yani

n = 2

$n=2$ 1. sıra kovaryans matrisine yol açtığını anlıyor musunuz? Tamam,

n = 3

$n=3$ puan alalım . Onları her zaman bir 2B uçağa sığabileceğini görebiliyor musun?

— amip, Reinstate Monica'ya

@amoeba örneğiniz açıktı, ancak örneğinize hiper düzlem yerleştirme ile kovaryans matrisi arasındaki ilişkinin ne olduğunu anlayamıyorum?

— user3070752

Gecikme için özür dilerim;)

— user3070752

Yanıtlar:

Örnek olarak verilen kovaryans matrisinin tarafsız tahmin veri noktaları olan $n$ $\newcommand{\x}{\mathbf x}\x_i \in \mathbb R^d$ buradatüm noktaların ortalamasıdır. olarakgösterelim.

C = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤},

$\mathbf C = \frac{1}{n-1}\sum_{i=1}^n (\x_i - \bar \x)(\x_i - \bar \x)^\top,$

\bar{x} = \sum x_{i} / n

$\bar \x = \sum \x_i /n$

(x_{i} - \bar{x})

$(\x_i-\bar \x)$

z_{i}

$\newcommand{\z}{\mathbf z}\z_i$

faktörü sıralamayı değiştirmez ve toplamdaki her bir terimin (tanımı gereği) sıralaması

, bu nedenle sorunun özü aşağıdaki gibidir:

\frac{1}{n - 1}

$\frac{1}{n-1}$

1

$1$

Neden gelmez var rank ve rütbe değil biz toplayarak çünkü o, göründüğü gibi rank- matrisler? $\sum \z_i\z_i^\top$ $n-1$ $n$ $n$ $1$

Cevap, bağımsız olmadığı için olur . Yapım aşamasında, . Bildiğiniz Yani eğer ve , ardından son kalan tamamen belirlenir; Biz toplanmasıyla değildir , bağımsız rank- matrisler, yalnızca toplanmasıyla edilir bağımsız rank- matrisler ve daha sonra bir kere daha rank- ilave tam doğrusal geri kalanı tarafından belirlenir matrisi. Bu son ekleme genel rütbeyi değiştirmez. $\z_i$ $\sum\z_i = 0$ $n-1$ $\z_i$ $\z_n$ $n$ $1$ $n-1$ $1$ $1$

Biz yeniden, doğrudan görebilirsiniz olarak ve hemen yukarıda ifade takın: $\sum\z_i = 0$

z_{n} = - \sum_{i = 1}^{n - 1} z_{i},

$\z_n = -\sum_{i=1}^{n-1}\z_i,$

Şimditoplamdasadece terimi kalmıştır ve toplamın en fazla derecesine sahip olabileceği açıktır.

\sum_{i = 1}^{n} z_{i} z_{i}^{⊤} = \sum_{i = 1}^{n - 1} z_{i} z_{i}^{⊤} + (- \sum_{i = 1}^{n - 1} z_{i}) z_{n}^{⊤} = \sum_{i = 1}^{n - 1} z_{i} (z_{i} - z_{n})^{⊤} .

$\sum_{i=1}^n \z_i\z_i^\top = \sum_{i=1}^{n-1} \z_i\z_i^\top + \Big(-\sum_{i=1}^{n-1}\z_i\Big)\z_n^\top=\sum_{i=1}^{n-1} \z_i(\z_i-\z_n)^\top.$ $n-1$ $n-1$

Bu sonuç, bu arada, neden kovaryans tahmincisi faktörün neden olduğunu ima vedeğil $\frac{1}{n-1}$ . $\frac{1}{n}$

Yukarıdaki yorumlarda bahsettiğim geometrik sezgi, bir kişinin 2B'deki iki noktaya her zaman 1D çizgisi sığabilmesi ve 3B'deki 3 noktaya her zaman 2B düzlemi sığabilmesidir, yani altuzayın boyutu her zaman ; bu sadece işe yarar çünkü bu çizginin (ve düzlemin) noktalarımıza uyması için "hareket ettirilebileceğini" varsayıyoruz. "Konumlandırma" bu hat (ya da düzlem) içinden geçecek şekilde yukarıda cebirsel argüman merkezleme eşdeğerdir. $n-1$ $\bar \x$

— amo diyor Reinstate Monica
kaynak

Biraz daha kısa, inanıyorum ki, açıklama şöyle:

Örnek veri noktalarının $n$ x $m$ matrisi $x$ matrisini tanımlayalım , burada $n$ bir değişken sayısıdır ve $m$ her değişken için birkaç örnektir . Diyelim ki değişkenlerin hiçbiri doğrusal olarak bağımlı değil.

Sıralaması $x$ olan $min(n,m)$ .

Rwwise merkezli değişkenlerin $n$ x $m$ matris $z$ matrisini tanımlayalım :

$z = x - E[x]$

$min(n,m-1)$

$\sum_{i=1}^{m}z_{*i} =0$

$z$

$x$

$cov(x,x) = \frac{1}{m-1}zz^T$

$rank(zz^T)$

$rank(zz^T) = rank(z) = min(n,m-1)$

— Mikel
kaynak