Örnek bir kovaryans matrisi her zaman simetrik ve pozitif kesin midir?

33

Bir numunenin kovaryans matrisini hesaplarken, simetrik ve pozitif bir kesin matris elde etmek için bir garanti verilecek mi?

Şu anda benim sorunum 4600 gözlem vektörü ve 24 boyuttan oluşuyor.

sampling covariance

— Morten
kaynak

Kovaryans matrisini örneklemek için aşağıdaki formülü kullanıyorum: burada örnek sayısıdır ve örnek ortalamadır.

Q_{n} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤}

$Q_n = \frac{1}{n} \sum\limits_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top$

n

$n$

\bar{x}

$\bar{x}$

— Morten

4

Buna normalde 'kovaryans matrisini örneklemek yerine' örnek kovaryans matrisini hesaplama 'veya' kovaryans matrisini hesaplama 'denir.

— Glen_b

1

Kovaryans matrisinin kesin olmadığı yaygın bir durum , 24 "boyut" un% 100'e tekabül eden bir karışımın kompozisyonunu kaydetmesidir.

— whuber

41

Vektörlerinin bir örnek için $x_i=(x_{i1},\dots,x_{ik})^\top$ ile $i=1,\dots,n$ , örnek ortalaması vektördür

\bar{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i},

$\bar{x}=\frac{1}{n} \sum_{i=1}^n x_i \, ,$ Ve örnek kovaryans matrisidir

Q = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤} .

$Q = \frac{1}{n} \sum_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top \, .$ Sıfır olmayan bir vektör için

y \in R^{k}

$y\in\mathbb{R}^k$ ,

y^{⊤} Q y = y^{⊤} (\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤}) y

$y^\top Qy = y^\top\left(\frac{1}{n} \sum_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top\right) y$

= \frac{1}{n} \sum_{i = 1}^{n} y^{⊤} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤} y

$= \frac{1}{n} \sum_{i=1}^n y^\top (x_i-\bar{x})(x_i-\bar{x})^\top y$

= \frac{1}{n} \sum_{i = 1}^{n} {((x_{i} - \bar{x})^{⊤} y)}^{2} \geq 0 . (*)

$= \frac{1}{n} \sum_{i=1}^n \left( (x_i-\bar{x})^\top y \right)^2 \geq 0 \, . \quad (*)$ Bu nedenle,

Q

$Q$ daimayarı kesindir.

$Q$ pozitif olarak kesin olması için ek koşul , whuber'un yorumunda yer almaktadır. Aşağıdaki gibi gider.

için $z_i=(x_i-\bar{x})$ tanımlayın . Sıfır olmayan herhangi bir için, , , ancak ve ancak, eğer sıfır her biri için, . Grubu varsayalım süreleri $i=1,\dots,n$ $y\in\mathbb{R}^k$ $(*)$ $z_i^\top y=0$ $i=1,\dots,n$ $\{z_1,\dots,z_n\}$ $\mathbb{R}^k$ . Daha sonra, gerçek numaraları vardır $\alpha_1,\dots,\alpha_n$ , öyle ki $y=\alpha_1 z_1 +\dots+\alpha_n z_n$ . Fakat $y^\top y=\alpha_1 z_1^\top y + \dots +\alpha_n z_n^\top y=0$ , $y=0$ , bu bir çelişkidir. Dolayısıyla, eğer $z_i$ ' $\mathbb{R}^k$ , daha sonra $Q$ pozitiftirkesin. Bu koşul, $\mathrm{rank} [z_1 \dots z_n] = k$ değerine eşdeğerdir.

— Zen
kaynak

2

Bu yaklaşımı sevdim, ancak biraz öneride bulunacağım:

kesin olarak kesin değil. Bunun için (gerekli ve yeterli) şartlar Konstantin'in cevabına yaptığı yorumumda açıklanmıştır.

Q

$Q$

— whuber

1

Mertebesine yana

daha az ya da eşit

durum rank basitleştirilebilir k eşittir.

[z_{1}, z_{2}, \dots, z_{n}]

$[z_1, z_2, \cdots, z_n]$

k

$k$

— bir teklif

13

Bir doğru kovaryans matrisi simetrik ve pozitif * her zaman yarı kesin *.

İki değişken arasındaki kovaryans, . $\sigma(x,y) = E [(x-E(x))(y-E(y))]$

ve yerlerini değiştirirseniz, bu denklem değişmez . Bu nedenle matris simetrik olmak zorundadır. $x$ $y$

Ayrıca pozitif olmalı * yarı - * kesin çünkü:

Değişkenlerinizin dönüşümünü her zaman kovaryans matrisi köşegen olacak şekilde bulabilirsiniz. Çaprazda, dönüştürülen değişkenlerinizin sıfır ya da pozitif olan varyanslarını bulursunuz, bunun dönüştürülmüş matrisin pozitif yarı-yarı-uçlu yaptığını görmek kolaydır. Bununla birlikte, tanımın tanımı dönüşüm değişmez olduğu için, kovaryans matrisinin seçilen herhangi bir koordinat sisteminde pozitif yarı yarı-sonsuz olduğu sonucuna varır.

Ne zaman tahmin senin kovaryans matrisi (olduğunu size hesaplarken, örnek kovaryansını Yukarıda belirtilen formülle), bu OBV edecektir. hala simetrik ol. Aynı zamanda pozitif yarı-yarı-açık olmalıdır (bence), çünkü her bir örnek için, her örnek noktasına eşit olasılık veren pdf , kovaryansı olarak örnek kovaryansına sahiptir (lütfen bunu doğrulayın), bu nedenle yukarıda belirtilen her şey hala geçerlidir.

— Konstantin Schubert
kaynak

1

Not: Bunun senin sorunun olmadığını düşünmeye başladım ...

— Konstantin Schubert

Ancak, örnekleme algoritmanızın bunu garanti edip etmediğini bilmek istiyorsanız, örneklemenin nasıl olduğunu belirtmeniz gerekir.

— Konstantin Schubert

1

Morten, simetri formülden hemen çıkıyor. Yarı kesinlik göstermek için, kurmak gerektiğini

herhangi vektörü için

. Ancak

ise

bir kez toplam

(burada

, nereden

toplamıdır

u Q_{n} u^{'} \geq 0

$uQ_nu'\ge 0$

u

$u$

Q_{n}

$Q_n$

1 / n

$1/n$

v_{i} v_{i}^{'}

$v_iv_i'$

v_{i} = x_{i} - \bar{x})

$v_i=x_i-\bar{x})$

n u Q_{n} u^{'}

$n uQ_nu'$

=

, olankarevektörünün uzunluğu

. Çünkü

ve kareler bir toplamı hiç negatif olamaz,

,QED. Bu aynı zamanda,tüm

dik olan

vektörleri için tam olarak

olduğunu gösterir(

u (v_{i} v_{i}^{'}) u^{'}

$u(v_iv_i')u'$

(u v_{i}) (u v_{i})^{'}

$(uv_i)(uv_i)'$

u v_{i}

$uv_i$

n > 0

$n\gt 0$

u Q_{n} u^{'} \geq 0

$uQ_nu'\ge 0$

u Q_{n} u^{'} = 0

$uQ_nu'=0$

u

$u$

v_{i}

$v_i$ örneğin ,

, tüm için

). Zaman

süresi, daha sonra

ve

kesin.

u v_{i} = 0

$uv_i=0$

i

$i$

v_{i}

$v_i$

u = 0

$u=0$

Q_{n}

$Q_n$

— whuber

1

@Morten Eğer bir matris çarpımını geometrik olarak anlarsanız, dönüşüm-değişmezliği oldukça açıktır. Vektörünüzü bir ok olarak düşünün. Vektörünüzü tanımlayan sayılar koordinat sistemiyle birlikte değişir, ancak vektörünüzün yönü ve uzunluğu değişmez. Şimdi, matrisli bir çarpma, o okun uzunluğunu ve yönünü değiştirdiğiniz anlamına gelir, ancak yine sonuç her koordinat sisteminde geometrik olarak aynıdır. Aynısı skaler bir üründür: Geometrik olarak tanımlanır ve Geometriy dönüşüm-değişmezdir. Yani denkleminiz tüm sistemlerde aynı sonucu veriyor.

— Konstantin Schubert

1

Eğer koordinatlarda dendiğinde @Morten, iddiası şöyledir: Tüm

için dönüşüm matrisi daha sonra:

ile

dönüştürülmüş koordinat vektör olarak

, böylece her dönüşümü zaman denklem eleman

, olsun

A

$A$

v^{'} = A v

$v'=Av$

v^{'}

$v'$

M^{'} = A M A^{T}

$M'=AMA^T$

v^{T} M v > 0

$v^T M v > 0$

eşittir,

A ortogonal olduğu için, ve

birim matris ve tekrar elde

dönüştürülmüş olduğu anlamına gelir ve dönüştürülmemiş denklem sonuç olarak aynı skaler değere sahiptir, bu yüzden bunların ikisi de veya her ikisi de büyük sıfır değildir.

v^{' T} M^{'} v^{'} = (A v)^{T} A M A^{T} A v > 0

$v'^T M' v' = (Av)^T A M A^T A v > 0$

v^{T} A^{T} A M A^{T} A v > 0

$v^T A^T A M A^T A v > 0$

A^{T} A

$A^T A$

v^{T} M v > 0

$v^T M v > 0$

— Konstantin Schubert

0

Varyans-Kovaryans matrisleri her zaman simetriktir, çünkü söz konusu matrisin her bir terimini hesaplamak için gerçek denklemden ispat edilebilir.

Ayrıca, Varyans-Kovaryans matrisleri daima n boyutunda kare matrislerdir; burada n, denemenizdeki değişkenlerin sayısıdır.

Simetrik matrislerin özvektörleri her zaman ortogonaldir.

PCA ile, denemenizde kullanılan değişken sayısını azaltıp azaltamayacağınızı görmek için matrisin özdeğerlerini belirlersiniz.

— GEN
kaynak

1

Hoş Geldiniz Gen. Kullanıcı adınızın, kimliğinizin ve kullanıcı sayfanıza bir bağlantının, yaptığınız her yayına otomatik olarak eklendiğini unutmayın, bu nedenle yayınlarınızı imzalamanıza gerek yoktur.

— Antoine Vernet

3

Olumlu kesinlik konusuna

— değinilerek

Bu soruya gerçekten cevap vermiyor: bu sadece alakalı olabilecek ya da olmayabilir desteklenmeyen iddiaların bir derlemesi. Eğer gösterileri soru yanıtladı ve nasıl bir şekilde reframe Could açıklıyor muhakeme?

— whuber

0

Ben Zen güzel argümanına sık sık kovaryans matrisi kesin eğer olumlu olduğunu söylemek açıklıyor aşağıdaki eklersiniz . $n-1\geq k$

Eğer , sürekli bir olasılık dağılımı daha sonra rasgele bir örnek vardır (olasılık teorisi anlamda) hemen hemen kesin lineer bağımsızdır. Şimdi, doğrusal olarak bağımsız değildir çünkü $x_1,x_2,...,x_n$ $x_1,x_2,...,x_n$ $z_1,z_2,...,z_n$ , fakat, çünkü , lineer bağımsız olarak varlık yayılma olarak . Eğer , aynı zamanda yayılma . $\sum_{i=1}^n z_i = 0$ $x_1,x_2,...,x_n$ $z_1,z_2,...,z_n$ $\mathbb{R}^{n-1}$ $n-1\geq k$ $\mathbb{R}^k$

Eğer Sonuç olarak , sürekli bir olasılık dağılımı ve oluşan gelişigüzel bir örnek olan , kovaryans matrisi kesin pozitiftir. $x_1,x_2,...,x_n$ $n-1\geq k$

— giominas
kaynak

0

Benim gibi matematiksel olmayan bir geçmişe sahip olanlar için, soyut matematik formüllerini çabucak yakalayamayanlar için bu, en çok oy alan cevap için mükemmel bir örnek. Kovaryans matrisi başka şekillerde de elde edilebilir.

— Parikshit Bhinde
kaynak

Bu elektronik tablonun kovaryans matrisinin pozitif-kesinliğini nasıl gösterdiğini açıklayabilir misiniz?

— whuber

O değil. Kovaryans matrisini notasyonel formunda görselleştirmekte zorlandım. Ben de bu sayfayı kendim için hazırladım ve birinin yardımcı olabileceğini düşündüm.

— Parikshit Bhinde

Lütfen daha sonra, soruyu yanıtlayacak şekilde düzenleyin.

— whuber

Yapıldı :) Önerdiğiniz için teşekkürler.

— Parikshit Bhinde

"Simetrik ve pozitif-kesin bir matris elde etmenin bir garantisi var mı?" Yazınızın bunu ele alan herhangi bir unsurunu algılayamıyorum, çünkü (1) asla bir kovaryans matrisi tanımlamıyor; (2) hiçbir şeyin olumlu-kesinliğini göstermez.

— whuber