Örneklem büyüklüğü değişken sayısından az olduğunda örnek kovaryans matrisi neden tekildir?

Diyelim ben var ki boyutlu değişkenli Gauss dağılımı. Ve alır , n gözlemler (bunların her a s -vector) bu dağılımdan ve örnek kovaryans matrisi hesaplamak S . Bu yazıda yazarlar, p > n ile hesaplanan örnek kovaryans matrisinin tekil olduğunu belirtmektedir .$p$$n$$p$$S$$p > n$

• Nasıl doğru veya türetilmiş?
• Herhangi bir açıklama var mı?

Kanıt olmadan sunulan matris dereceleriyle ilgili bazı gerçekler (ancak hepsinin veya neredeyse hepsinin kanıtları standart lineer cebir metinlerinde veya bazı durumlarda yeterli bilgi verdikten sonra alıştırmalar olarak belirlenmelidir):

Eğer $A$ ve $B$ daha sonra iki uyumlu matrisler, şunlardır:

(i) kolon sıralaması $A$ = satır sıralaması $A$

(ii) $\text{rank}(A) = \text{rank}(A^T) = \text{rank}(A^TA) = \text{rank}(AA^T)$

$\text{rank}(AB)\leq \min(\text{rank}(A),\text{rank}(B))$

(iv)$\text{rank}(A+B) \leq \text{rank}(A) + \text{rank}(B)$

(v) , tam değerin kare matrisi ise,$B$$\text{rank}(AB) = \text{rank}(A)$

Örnek verinin matrisini düşünün , . Yukarıdan, sırası en çok .$n\times p$$y$$y$$\min(n,p)$

Ayrıca, yukarıdakilerden açıkça sırası, sırasından daha büyük olmayacaktır ( matris biçiminde, belki biraz sadeleştirilerek hesaplanması düşünülerek ).$S$$y$$S$

Eğer sonra , bu durumda .$n<p$$\text{rank}(y)<p$$\text{rank}(S)<p$

Sorunuzun kısa cevabı rütbe . Yani eğer , daha sonra tekil olduğunu.$(S) \le n - 1$$p > n$$S$

Daha ayrıntılı bir cevap için, (yansız) örnek kovaryans matrisinin şu şekilde yazılabileceğini hatırlayın:

Etkili olarak, her biri 1 değerinde olan matrisleri topluyoruz. Gözlemlerin doğrusal olarak bağımsız olduğunu , bir anlamda her gözlem 1'e ve bir 1 değerden çıkarılır ( ) çünkü her bir gözlemi . Bununla birlikte, eğer gözlemlerde çok-kutupluluk mevcutsa, o zaman rütbe azaltılabilir, bu rütbenin neden daha az olabileceğini açıklar .$n$$x_i$$(S)$$p > n$$\bar{x}$$(S)$$n - 1$

Bu sorunu incelemek için büyük miktarda çalışma yapılmıştır. Mesela, bir meslektaşım ve ben aynı konuyla ilgili bir makale yazdık ; burada , ayarında doğrusal ayrımcı analizine uygulandığında tekil olup olmadığını belirlemekle ilgilendik .$S$$p \gg n$

Duruma doğru şekilde baktığınızda, sonuç sezgisel olarak anlaşılır ve anındadır.

Bu gönderi iki gösteri sunuyor. Birincisi, hemen altında, kelimelerle. En sonunda görünen basit bir çizime eşdeğerdir. Arada sözcüklerin ve çizimin ne anlama geldiğinin bir açıklaması var.

değişkenli gözlemler için kovaryans matrisi, bir matris (önerilen veriler) 'in transpose sola çarpılmasıyla hesaplanan bir matrisidir. . Bu matrislerin ürünü, vektörleri, boyutların ve olduğu bir vektör uzayları boru hattından gönderir . Sonuç olarak, kovaryans matrisi, qua doğrusal dönüşüm, , boyutu en fazla olan bir alt alana gönderilecektir . Kovaryans matrisinin rankı den daha büyük değildir . Sonuç olarak, eğer$n$ $p$$p\times p$$\mathbb{X}_{np}$$\mathbb{X}_{pn}^\prime$$p$$n$$\mathbb{R}^n$$\min(p,n)$$\min(p,n)$$p\gt n$ daha sonra seviye en olduğu kesinlikle daha az olan - ki, kovaryans matrisinin tekil --means.$n$$p$

Bütün bu terminoloji bu yazının geri kalan kısmında tam olarak açıklanmıştır.

(Amip nazikçe silinmiş bir yorumda işaret ettiğinden ve ilgili bir sorunun cevabını gösterdiğinde , görüntüsü aslında bir alt uzayında yer alır (vektörlerden oluşur) bileşenleri sıfıra toplanır) çünkü sütunlarının tümü sıfır olarak yeniden girilmiştir.Bu nedenle örnek kodlama matrisi değerini aşamaz; )$\mathbb X$$\mathbb{R}^n$$\frac{1}{n-1}\mathbb{X}^\prime \mathbb{X}$$n-1$

Lineer cebir, vektör uzaylarının izlenmesi ile ilgilidir. Rütbe ve tekillik hakkında iddialar için derin bir sezgiye sahip olmak için yalnızca birkaç temel kavramı takdir etmeniz gerekir:

1. Matris çarpımı, vektörlerin doğrusal dönüşümlerini temsil eder. Bir matrisi , -boyutlu bir uzay bir -boyutlu uzay doğrusal bir dönüşümü temsil eder . Özellikle, herhangi bir gönderir için . Bunun lineer bir dönüşüm olduğu, hemen lineer dönüşümün tanımından ve matris çarpımının temel aritmetik özelliklerinden kaynaklanmaktadır.$m\times n$$\mathbb{M}$$n$$V^n$$m$$V^m$$x\in V^n$$\mathbb{M}x = y \in V^m$

2. Doğrusal dönüşümler boyutları asla artıramaz. Tüm vektör uzayı görüntü, bu araçlar dönüşüm altında (bir alt-vektör alanıdır ) bir boyutundan daha büyük olmayan olabilir . Bu, boyut tanımından sonra gelen (kolay) bir teoremdir.$V^n$$\mathbb M$$V^m$$n$

3. Herhangi bir alt vektör uzayının boyutu, içinde bulunduğu alanın boyutunu aşamaz. Bu bir teoremdir, ancak yine de kanıtlanması kolaydır.

4. Rank lineer dönüşümün kendi görüntüsünün boyuttur. Bir matrisin sırası, temsil ettiği doğrusal dönüşümün sırasıdır. Bunlar tanımlar.

5. Bir tekil matris kesinlikle$\mathbb{M}_{mn}$$n$ (etki alanının boyutu) küçüktür . Başka bir deyişle, görüntüsü daha küçük bir boyuta sahiptir. Bu bir tanımdır.

Sezgiyi geliştirmek , boyutları görmeye yardımcı olur . Bu nedenle, tüm vektörlerin ve matrislerin boyutlarını hemen sonra, ve . Böylece jenerik formül$\mathbb{M}_{mn}$$x_n$

anlamına amaçlanmıştır matris , uygulandığında -vector , bir üreten -vector .$m\times n$$\mathbb M$$n$$x$$m$$y$

Matris ürünleri doğrusal dönüşümlerin bir "boru hattı" olarak düşünülebilir. Jenerik olarak diyelim ki bir olan doğrusal dönüşümler sonraki uygulamaları kaynaklanan boyutlu vektör ve için -vector alanı gelen . Bu, vektörünü art arda ve nihayet boyut vektör kümeleri boyunca alır .$y_a$$a$$\mathbb{M}_{mn}, \mathbb{L}_{lm}, \ldots, \mathbb{B}_{bc},$$\mathbb{A}_{ab}$$n$$x_n$$V^n$$x_n$$m, l, \ldots, c, b,$$a$

Darboğaz Görünüş : boyutları (noktası 2) arttırmaz ve alt uzayları da (madde 3) yer aldığı, boşluk daha büyük boyutlara sahip değildir, çünkü, bu, aşağıdaki görüntüsünün boyutu geçemez küçük boyut boru hattında karşılaşıldı.$V^n$$\min(a,b,c,\ldots,l,m,n)$

Ardından, bu boru hattının şeması, ürününe uygulandığında sonucu tam olarak ispatlar :$\mathbb{X}^\prime \mathbb{X}$