Bir korelasyon matrisinin sıfır öz değeri için yeterli ve gerekli koşullar

11

Verilen rasgele değişken , olasılık dağılımı ile , ilinti matrisi olumlu yarı tanımlı yani, özdeğerler pozitif veya sıfır. $n$ $X_i$ $P(X_1,\ldots,X_n)$ $C_{ij}=E[X_i X_j]-E[X_i]E[X_j]$

sıfır öz değerine sahip olması için gerekli ve / veya yeterli olan koşullarıyla ilgileniyorum . Örneğin, yeterli bir koşul rastgele değişkenlerin bağımsız olmamasıdır: Bazı gerçek sayılar için . Örneğin, , daha sonra olduğu bir özvektör sıfır özdeğer ile. Bu tip 'lerde bağımsız doğrusal kısıtlamamız varsa , sıfır özdeğer anlamına gelir . $P$ $C$ $m$ $\sum_i u_i X_i=0$ $u_i$ $P(X_1,\ldots,X_n)=\delta(X_1-X_2)p(X_2,\ldots,X_n)$ $\vec u=(1,-1,0,\ldots,0)$ $C$ $m$ $X_i$ $m$

En az bir ek (ancak önemsiz) imkanı vardır $X_a=E[X_a]$ bazıları için $a$ (yani $P(X_1,\ldots,X_n)\propto\delta(X_a-E[X_a])$ ) olup, bu yana case $C_{ij}$ nin bir sütunu ve bir satırı vardır: $C_{ia}=C_{ai}=0,\,\forall i$ . Gerçekten ilginç olmadığından, olasılık dağılımının bu formda olmadığını varsayıyorum.

Sorum şu: doğrusal kısıtlamalar (yukarıda verilen önemsiz istisna korusun) ya da rastgele değişkenler üzerinde doğrusal olmayan kısıtlamalar da sıfır özdeğer üretebilir sıfır özdeğerleri ikna etmenin tek yolu vardır $C$ ?

correlation

— Adem
kaynak

1

Tanım olarak, sıfır vektörü içeren bir vektör koleksiyonu doğrusal olarak bağımlıdır, bu nedenle ek olasılığınız yeni veya farklı bir şey değildir. Eğer "bir sahip olarak ne anlama geldiğini açıklayabilir misiniz özdeğer"? Bu bir tür tipografik hataya benziyor.

m

$m$

— whuber

@whuber: evet, yazım hatası. Düzeltildi. Ben iki koşul farklı olduğunu düşünüyorum: biri değişkenler arasındaki ilişki hakkında, diğeri sadece değişken olasılığı hakkında (yani ).

p (X_{a}) = δ (X_{a} - E (X_{a}))

$p(X_a)=\delta(X_a-E(X_a))$

— Adam

Sorunuzun formülasyonu kafa karıştırıcı. Bu görünüyor lineer cebir bir ilköğretim teoremi gibi ama "bağımsız" rasgele değişkenlere referanslar da başka tamamen bir konuda olabilir düşündürmektedir. "Bağımsız" ifadesini her kullandığınızda, (istatistiksel olarak) bağımsız rastgele değişkenler anlamında değil, doğrusal bağımsızlık anlamında demek istediğinizi anlamak doğru olur mu? "Kayıp veri" ye göndermeniz daha da kafa karıştırıcıdır, çünkü "rastgele değişkenlerinizin" gerçekten bir veri matrisinin sütunları anlamına gelebileceğini gösterir. Bu anlamları açıklığa kavuşturmak iyi olur.

— whuber

@whuber: Soruyu düzenledim. Umarım daha açıktır.

— Adam

Bağımsızlık koşulu , her ortalaması sıfır olmadığı sürece mutlaka sıfır olmak zorunda değildir (herhangi bir sabit olacaktır) .

\sum_{i} u_{i} X_{i} = 0

$\sum_i u_i X_i=0$

X_{i}

$X_i$

— Sextus Empiricus

6

Belki de notasyonu basitleştirerek temel fikirleri ortaya çıkarabiliriz. Beklentiler veya karmaşık formüller içermemize gerek olmadığı ortaya çıkıyor, çünkü her şey tamamen cebirsel.

Matematiksel nesnelerin cebirsel doğası

Soru, (1) vektör olarak kabul edilen sonlu rasgele değişkenler ve (2) doğrusal değişkenler kümesinin kovaryans matrisi arasındaki ilişkilerle ilgilidir . $X_1, \ldots, X_n$

Söz konusu vektör alanı, tüm sonlu-varyans rastgele değişkenlerin (verilen herhangi bir olasılık uzayında ) modulo (bu iki rastgele değişkenler göz önünde olan ve aynı olacak şekilde vektör sıfır şans olduğunda kendi beklenti farklıdır.) bu sonlu boyutlu vektör ile tek ilgileniyor tarafından üretilen uzay bunu analitik bir problemden ziyade bir cebirsel problem yapan şeydir. $(\Omega,\mathbb P)$ $\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R.$ $X$ $Y$ $X-Y$ $V$ $X_i,$

Varyanslar hakkında bilmemiz gerekenler

$V$ sadece bir vektör uzayından daha fazlasıdır: ikinci dereceden bir modüldür, çünkü varyans ile donatılmıştır. Varyanslar hakkında bilmemiz gereken tek şey iki şeydir:

Varyans, tüm vektörleri için özelliğine sahip, skaler değerli bir fonksiyon $Q$ $Q(aX)=a^2Q(X)$ $X.$
Varyans dejenere değildir.

İkincisi biraz açıklamaya ihtiyaç var. tarafından verilen simetrik bir çift doğrusal form olan bir "nokta ürün" belirler $Q$

X \cdot Y = \frac{1}{4} (Q (X + Y) - Q (X - Y)) .

$X\cdot Y = \frac{1}{4}\left(Q(X+Y) - Q(X-Y)\right).$

(Bu elbette hiçbir şey değişkenlerin kovaryans başkadır ve vektörler) ve olan ortogonal onların nokta ürün olduğunda ortogonal tamamlayıcı vektörleri herhangi kümesinin oluşur, bütün vektörler ortogonal her elemana yazılı $X$ $Y.$ $X$ $Y$ $0.$ $\mathcal A \subset V$ $\mathcal A,$

A^{0} = {v \in V ∣ a . v = 0 for all v \in V} .

$\mathcal{A}^0 = \{v\in V\mid a . v = 0\text{ for all }v \in V\}.$

Açıkça bir vektör alanıdır. Zaman , bir dejenere. $V^0 = \{0\}$ $Q$

Açık görünse de, varyansın gerçekten dejeneral olmadığını kanıtlamama izin verin. sıfır olmayan bir öğesi olduğunu varsayalım Bu tüm için anlamına gelireşdeğer olarak $X$ $V^0.$ $X\cdot Y = 0$ $Y\in V;$

Q (X + Y) = Q (X - Y)

$Q(X+Y) = Q(X-Y)$

Tüm vektörlerin için çıkarak verir $Y.$ $Y=X$

4 Q (X) = Q (2 X) = Q (X + X) = Q (X - X) = Q (0) = 0

$4 Q(X) = Q(2X) = Q(X+X) = Q(X-X) = Q(0) = 0$

ve böylece Bununla birlikte, (belki Chebyshev Eşitsizliğini kullanarak) sıfır varyansa sahip tek rastgele değişkenlerin neredeyse sabit olduğunu biliyoruz, bu da onları QED'deki sıfır vektörü ile tanımlamaktadır . $Q(X)=0.$ $V,$

Soruları yorumlama

Sorulara dönersek, önceki gösterimde rasgele değişkenlerin kovaryans matrisi , tüm nokta ürünlerinin düzenli bir dizisidir,

T = (X_{i} \cdot X_{j}) .

$T = (X_i\cdot X_j).$

Düşünmek için iyi bir yol yoktur : bu üzerinde bir lineer transformasyonu tanımlar herhangi bir vektör göndererek, alışılmış bir yolla vektörüne olan bileşen matris çarpım kuralı ile belirlenir $T$ $\mathbb{R}^n$ $x=(x_1, \ldots, x_n)\in\mathbb{R}^n$ $T(x)=y=(y_1, \ldots, x_n)$ $i^\text{th}$

y_{i} = \sum_{j = 1}^{n} (X_{i} \cdot X_{j}) x_{j} .

$y_i = \sum_{j=1}^n (X_i\cdot X_j)x_j.$

Çekirdek bu doğrusal dönüşümün sıfıra gönderir alt uzay olduğu:

Ker (T) = {x \in R^{n} ∣ T (x) = 0} .

$\operatorname{Ker}(T) = \{x\in \mathbb{R}^n\mid T(x)=0\}.$

Yukarıdaki denklem, , her $x\in \operatorname{Ker}(T),$ $i$

0 = y_{i} = \sum_{j = 1}^{n} (X_{i} \cdot X_{j}) x_{j} = X_{i} \cdot (\sum_{j} x_{j} X_{j}) .

$0 = y_i = \sum_{j=1}^n (X_i\cdot X_j)x_j = X_i \cdot \left(\sum_j x_j X_j\right).$

Bu her için geçerli olduğundan , tarafından yayılan tüm vektörler için : yani kendisi. Sonuç olarak, ne zaman tarafından verilen vektör yatmaktadır Varyans dejenere olmadığından, anlamına gelir. Yani , orijinal rastgele değişken arasında doğrusal bir bağımlılığı tanımlar . $i,$ $X_i$ $V$ $x\in\operatorname{Ker}(T),$ $\sum_j x_j X_j$ $V^0.$ $\sum_j x_j X_j = 0.$ $x$ $n$

Bu akıl yürütme zincirinin geri çevrilebilir olup olmadığını kolayca kontrol edebilirsiniz:

Vektörler olarak arasındaki doğrusal bağımlılıklar , çekirdeğinin elemanları ile bire bir yazışma içindedir $X_j$ $T.$

(Bu açıklama hala dikkate unutmayın olan unsurları olarak, - bir konumda sürekli bir kayma kadar tanımlanan --rather olarak daha sadece rastgele değişkenler.) $X_j$ $\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R$

Son olarak, tanım gereği, bir öz değeri ile sıfır olmayan bir vektör bulunan herhangi bir skaler Tüm , bir özdeğer, (tabii ki) ile bağlantılı özvektörler alan çekirdeği olan $T$ $\lambda$ $x$ $T(x) = \lambda x.$ $\lambda=0$ $T.$

özet

Soruların cevabına ulaştık: rasgele değişkenlerin doğrusal bağımlılık kümesi, qua elemanları, bire bir kovaryans matrisi çekirdeği. Bunun nedeni, varyansın dejenere olmayan kuadratik bir form olmasıdır. Çekirdek ayrıca sıfır özdeğeri (veya sıfır özdeğeri olmadığında sadece sıfır altuzay) ile ilişkili özdendir. $\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R,$ $T.$

Referans

Bölüm IV'ün gösterimini ve bazı dillerini büyük ölçüde

Jean-Pierre Serre, Aritmetik Bir Kurs. Springer-Verlag 1973.

— whuber
kaynak

Vay, bu harika! Sadece her şeyi anladığımdan emin olmak için bir soru: " vektör olarak " , rastgele vektörleri bir vektörde (yani ) toplamak ya da değil mi? Eğer haklıysam, olasılık dağılımı varyans tanımına gizlenirken , rastgele değişken olası değerlerini bir vektöre tahmin ediyorum , değil mi?

X_{j}

$X_j$

\vec{X} = (X_{1}, \dots, X_{n})

$\vec X=(X_1,\ldots,X_n)$

X_{i}

$X_i$

— Adam

Bence oldukça açık olmayan ana husus aşağıdaki (olasılık teorisinin resmi bilgim eksikliğini gösterebilir): 0 özdeğer varsa, o zaman örneğin . Bu kısıtlama, gizlenmiş olan olasılık dağılımına ( değinmez . Ama ortalama ne var olmadığını referans olmadan ? Yoksa sadece anlamına mı geliyor , ancak delta işlevinde bunun ve doğrusal bir kombinasyonu olması gerektiğini nasıl biliyoruz ?

X_{1} = X_{2}

$X_1=X_2$

P

$P$

Q

$Q$

X_{1} = X_{2}

$X_1=X_2$

P

$P$

P \propto δ (X_{1} - X_{2})

$P\propto \delta(X_1-X_2)$ $X_1$ $X_2$

— Adam

Korkarım bu bağlamda bir “delta işlevi” kullanımınızı anlamıyorum, Adam. Bunun nedeni, kısmen ona ihtiyaç duymadığım ve kısmen de gösterim belirsiz olduğu için: örneğin bir Kronecker deltası mı yoksa Dirac deltası mı?

— whuber

Değişkenlere (ayrık veya sürekli) bağlı olarak bir Kronecker veya Dirac olacaktır. Bu deltalar entegrasyon ölçüsünün bir parçası olabilir, örneğin 2'den 2'ye kadar matris (yani dört gerçek değişken , , ve biraz ağırlıkla (örneğin ), ya da bir alt grup üzerinde entegre olur. simetrik matrisler (örneğin ima ise , I resmi çarparak bu empoze) ile . Bu doğrusal kısıtlama olur Martijn Weterings'in cevabının aşağıdaki yorumlarında doğrusal olmayan kısıtlamaya bir örnek verilmiştir

M

$M$

X_{1}

$X_1$

X_{2}

$X_2$

X_{3}

$X_3$

X_{4}

$X_4$

P = \exp (- t r (M . M^{T}))

$P=\exp(-tr(M.M^T))$

X_{2} = X_{3}

$X_2=X_3$

P

$P$

δ (X_{1} - X_{2})

$\delta(X_1-X_2)$

— Adam

(devam) Soru şudur: Değişkenlerime ekleyebileceğim doğrusal olmayan kısıtlamaların ne olabileceği 0 özdeğerini indükleyebilir. Yanıtlarınıza göre, öyle görünüyor: sadece doğrusal kısıtlamayı ima eden doğrusal olmayan kısıtlama (Martijn Weterings'in cevabının altındaki yorumlarda örneklendiği gibi). Belki de sorun, problemi düşünme şeklimin fizikçi bir bakış açısına sahip olması ve bunu farklı bir dilde açıklamak için mücadele ediyorum (bence bu soruyu sormak için doğru yer, fizik yok.SE).

— Adam

5

Doğrusal bağımsızlık sadece yeterli değil aynı zamanda gerekli bir durumdur

Varyans-kovaryans matrisinin öz değişkenleri sıfıra eşit olduğunu ve ancak değişkenlerin doğrusal olarak bağımsız olmaması durumunda, sadece "matrisin öz değerine eşit olması durumunda değişkenlerin doğrusal bağımsız olmadığını" göstermesi gerekir.

için sıfır özdeğeriniz varsa, bazı doğrusal kombinasyonlar vardır (özvektör tarafından tanımlanır ) $C_{ij} = \text{Cov}(X_i,X_j)$ $v$

Y = \sum_{i = 1}^{n} v_{i} (X_{i})

$Y = \sum_{i=1}^n v_i (X_i)$

öyle ki

\begin{array}{rcl} Cov (Y, Y) & = & \sum_{i = 1}^{n} \sum_{j = 1}^{n} v_{i} v_{j} Cov (X_{i}, X_{j}) \\ = & \sum_{i = 1}^{n} v_{i} \sum_{j = 1}^{n} v_{j} C_{i j} \\ = & \sum_{i = 1}^{n} v_{i} \cdot 0 \\ = & 0 \end{array}

$\begin{array}{rcl} \text{Cov}(Y,Y) &=& \sum_{i=1}^n \sum_{j=1}^n v_i v_j \text{Cov}(X_i,X_j) \\ &=&\sum_{i=1}^n v_i\sum_{j=1}^n v_j C_{ij} \\ &= &\sum_{i=1}^n v_i \cdot 0 \\ &=& 0 \end{array}$

ki bu araçlar , bir sabit ve böylece değişken olması gerekmektedir sahip bir sabit kadar eklemek ve ya sabit kendilerini (önemsiz durumda) veya lineer bağımsızdır. $Y$ $X_i$

^{- ile denklemdeki ilk satır , kovaryans $\text{Cov}(Y,Y)$}

Cov (a U + b V, c W + d X) = a c Cov (U, W) + b c Cov (V, W) + a d Cov (U, X) + b d Cov (V, X)

$\scriptsize\text{Cov}(aU+bV,cW+dX) = ac\,\text{Cov}(U,W) + bc\,\text{Cov}(V,W) +ad\, \text{Cov}(U,X) + bd \,\text{Cov}(V,X)$

^{- ikinci satırdan üçüncü satıra adım, sıfır özdeğer}

\sum_{j = 1}^{n} v_{j} C_{i j} = 0

$\scriptsize \sum_{j=1}^nv_jC_{ij} = 0$

Doğrusal olmayan kısıtlamalar

Dolayısıyla, doğrusal kısıtlamalar gerekli bir koşul olduğundan (sadece yeterli değil), doğrusal olmayan kısıtlamalar sadece dolaylı olarak (gerekli) doğrusal bir kısıtlama ima ettiklerinde geçerli olacaktır.

Aslında, sıfır özdeğer ile ilişkili özvektörler ve doğrusal kısıtlamalar arasında doğrudan bir yazışma vardır.

C \cdot v = 0 ⟺ Y = \sum_{i = 1}^{n} v_{i} X_{i} = const

$C \cdot v = 0 \iff Y = \sum_{i=1}^n v_i X_i = \text{const}$

Dolayısıyla, sıfır öz değere yol açan doğrusal olmayan kısıtlamalar, birlikte birleştirildiğinde, bir miktar doğrusal kısıtlama üretmelidir.

Doğrusal olmayan kısıtlamalar nasıl doğrusal kısıtlamalara yol açabilir?

Yorumlardaki örneğiniz bunu doğrusal olmayan kısıtlamaların türetmeyi tersine çevirerek nasıl doğrusal kısıtlamalara yol açabileceğini sezgisel olarak gösterebilir. Aşağıdaki doğrusal olmayan kısıtlamalar

\begin{array}{lcr} a^{2} + b^{2} & = & 1 \\ c^{2} + d^{2} & = & 1 \\ a c + b d & = & 0 \\ a d - b c & = & 1 \end{array}

$\begin{array}{lcr} a^2+b^2&=&1\\ c^2+d^2&=&1\\ ac + bd &=& 0 \\ ad - bc &=& 1 \end{array}$

düşürülebilir

\begin{array}{lcr} a^{2} + b^{2} & = & 1 \\ c^{2} + d^{2} & = & 1 \\ a - d & = & 0 \\ b + c & = & 0 \end{array}

$\begin{array}{lcr} a^2+b^2&=&1\\ c^2+d^2&=&1\\ a-d&=&0 \\ b+c &=& 0 \end{array}$

Bunu tersine çevirebilirsin . Doğrusal olmayan artı doğrusal kısıtlamalarınız olduğunu varsayalım, o zaman doğrusal kısıtlamaları doğrusal olmayan kısıtlamalara doldurarak doğrusal sınırlamalardan birini doğrusal olmayan bir sınırlama ile nasıl değiştirebileceğimizi hayal etmek garip değildir. Örneğin, doğrusal olmayan formda ve yerine koyduğumuzda başka bir ilişki kurabilirsiniz . Ve ve çarptığınızda elde edersiniz . $a=d$ $b=-c$ $a^2+b^2=1$ $ad-bc=1$ $a=d$ $c=-b$ $ac=-bd$

— Sextus Empiricus
kaynak

Sanırım bu (ve whuber tarafından verilen cevap) soruma dolaylı bir cevaptır (ki: "sıfır özdeğer elde etmenin tek yolu doğrusal bağımlılıktır"): rastgele değişkenler arasındaki bağımlılık, doğrusal, her zaman sadece yazarak doğrusal bir bağımlılık olarak yeniden yazılabilir . Olası doğrusal olmayan kısıtlamaları kendileri karakterize etmenin yolunu aramama rağmen, sanırım yine de yararlı bir sonuç.

Y = \sum_{i} ν_{i} X_{i}

$Y=\sum_i \nu_i X_i$

— Adam

Evet, biliyorum ... söylediğim şey eğer doğrusal olmayan bir bağımlılık varsa ve sıfır özdeğer varsa, o zaman cevabınızla, doğrusal olmayan bağımlılığın bir şekilde "çarpanlarına ayrılabileceği" anlamına gelir doğrusal bir bağımlılığa dönüşüyor. Aradığım şeyin daha zayıf bir versiyonu, ama yine de bir şey.

— Adam

Çalışmayan bir örnek veriyorsunuz, bu durum böyle olamayacağı anlamına gelmez ...

— Adam

M

$M$

M . M^{T} = 1

$M.M^T=1$

det M = 1

$\det M=1$

det M = 1

$\det M=1$

M_{11} = X_{1}

$M_{11}=X_1$ , , ve . Kısıtlamalar , , (yalnızca ikisi bağımsızdır). Sıfır özdeğer anlamına gelmez. Ancak, eklenmesi , 0 özdeğerli iki özvektör anlamına gelir.

M_{12} = X_{2}

$M_{12}=X_2$

M_{21} = X_{3}

$M_{21}=X_3$

M_{22} = X_{4}

$M_{22}=X_4$

X_{1}^{2} + X_{2}^{2} = 1

$X_1^2+X_2^2=1$

X_{3}^{2} + X_{4}^{2} = 1

$X_3^2+X_4^2=1$

X_{1} X_{3} + X_{2} X_{4} = 0

$X_1 X_3+X_2 X_4=0$

X_{1} X_{4} - X_{2} X_{3} = 1

$X_1 X_4-X_2 X_3=1$

— Adam

2

karşılık gelen özdeğer sahip bir özvektörü olduğunu varsayalım , sonra . Böylece, Chebyshev eşitsizliği nedeniyle, neredeyse sabittir ve eşittir . Yani, her sıfır özdeğer, doğrusal bir kısıtlamaya karşılık gelir, yani . Herhangi bir özel durumu dikkate almaya gerek yoktur. $C$ $v$ $0$ $\operatorname{var}(v^T X) = v^T Cv = 0$ $v^TX$ $v^T E [X]$ $v^T X = v^T E[X]$

Böylece, şu sonuca varıyoruz:

"Lineer kısıtlamalar sıfır özdeğerleri indüklemenin tek yolu mudur [?]"

Evet.

msgstr "Rasgele değişkenler üzerindeki doğrusal olmayan kısıtlamalar da sıfır özdeğer değeri yaratabilir mi?"

Evet, eğer doğrusal kısıtlamalar ima ediyorsa.

— Ekvall
kaynak

Katılıyorum. Birinin doğrusal olmayan kısıtlamalar konusunda daha spesifik olabileceğini umuyordum, ancak kısıtlamaları belirtmezsek daha iyisini yapmanın zor olduğunu düşünüyorum.

— Adam

2

Kovaryans matris, arasında Eğer olarak diagnonalize böylece simetriktir diyagonal matris içinde öz değerleri ile,Bu yeniden yazma RHS kovaryans matrisi, bir , yani lhs sıfır özdeğerler doğrusal kombinasyonlarına tekabül eden dejenere dağılımına sahip. $C$ $X$ $C=Q\Lambda Q^T$ $\Lambda.$ $\Lambda=Q^TCQ$ $Q^TX$ $X$

— Hasse1987
kaynak

Bu çok güzel ve özlü bir açıklama, ancak nasıl daha sezgisel hale getirebiliriz ?

Q^{T} C Q = cov (Q^{T} X)

$Q^TCQ = \text{cov}(Q^TX)$

— Sextus Empiricus