Bir veri matrisi için sezgisel bir yorumu var mı ?

Verilen bir veri matrisi (sütunlardaki değişkenler ve satırlardaki veri noktaları ile), istatistiklerde önemli bir rol oynar gibi görünmektedir . Örneğin, sıradan en küçük karelerin analitik çözümünün önemli bir parçasıdır. Veya, PCA için özvektörleri, verilerin temel bileşenleridir.A , T$A$$A^TA$

nasıl hesaplanacağını anlıyorum , ancak bu matrisin neyi temsil ettiğinin sezgisel bir yorumunun olup olmadığını merak ediyorum, bu da önemli rolüne neden olur mu?$A^TA$

Geometrik olarak, matriks skaler ürünlerin matrisi olarak adlandırılır (= nokta ürünler, = iç ürünler). Cebirsel olarak, kareler toplamı ve ürünler arası matris ( SSCP ) olarak adlandırılır.$\bf A'A$

Onun diagonal elemanı, değerine eşittir , burada , nın -th sütunundaki değerleri belirtir ve , satırlar arasındaki toplamdır. Buradaki -diagonal eleman dır .∑ a 2 ( i ) a ( i ) i A ∑ i j ∑ a ( i ) a ( j $i$$\sum a_{(i)}^2$$a_{(i)}$$i$$\bf A$$\sum$$ij$$\sum a_{(i)}a_{(j)}$

Çok sayıda önemli ilişkilendirme katsayısı vardır ve bunların kare matrislerine açısal benzerlikler veya SSCP tipi benzerlikler denir:

• SSCP matrisini bölerek , örnek boyutu veya satır sayısını, MSCP (ortalama kare ve çapraz ürün) matrisi elde edersiniz . Bu ilişkilendirme ölçümünün çiftli formülü bu yüzden ( ve vektörleri , dan bir çift sütun şeklindedir ).A ∑ x $n$$\bf A$ xy$\frac{\sum xy}{n}$$x$$y$$\bf A$

• Eğer varsa merkezi sütun (değişkenler) , daha sonra olan dağılım (güç olması durumunda, ya da ko-dağılım) matrisi ve olduğu kovaryans matris. kovaryans formülü, ve ile sütunları gösterir.A ′ A A ′ A / ( n - 1 ) ∑ c x c $\bf A$$\bf A'A$$\mathbf {A'A}/(n-1)$ cxc$\frac{\sum c_xc_y}{n-1}$$c_x$$c_y$

• Eğer sütunlarını z standartlaştırırsanız (sütun ortalamasını çıkarın ve standart sapmaya bölün), o zaman Pearson korelasyon matrisidir: korelasyon, standart değişkenler için kovaryanstır. korelasyon formülü, standartlaştırılmış sütunları ifade eden ve ile . Korelasyon ayrıca doğrusallık katsayısı olarak da adlandırılır.$\bf A$ ∑ z x z $\mathbf {A'A}/(n-1)$ zxz$\frac{\sum z_xz_y}{n-1}$$z_x$$z_y$

• Eğer birim-Eğer ölçekli sütunları (kendi SS-toplamı küçük kareler 1'e getirmek), daha sonra olan kosinüs benzerlik matrisi. Eşdeğer ikili formül böylece gibi görünmektedir ile ve L2 normalleştirilmiş sütun belirten . Kosinüs benzerliğine ayrıca orantılılık katsayısı da denir.$\bf A$∑ u x u y = ∑ x $\bf A'A$ uxu$\sum u_xu_y = \frac{\sum{xy}}{\sqrt{\sum x^2}\sqrt{\sum y^2}}$$u_x$$u_y$

• Eğer varsa merkezi ve birim- ölçekli sütunları , daha sonra tekrar Pearson olan korelasyon korelasyon merkezli değişkenler için kosinüs, çünkü matris :A ′ A 1 , $\bf A$$\bf A'A$$^{1,2}$$\sum cu_xcu_y = \frac{\sum{c_xc_y}}{\sqrt{\sum c_x^2}\sqrt{\sum c_y^2}}$

Bu dört ana dernek önleminin yanı sıra, aynı zamanda dayanan diğerlerinden de . Formülde payda olan normalizasyondan farklı kabul ettikleri için kosinüs benzerliğine alternatif önlemler olarak görülebilirler:$\bf A'A$

• Kimlik katsayısı [Zegers ve on Berge, 1985], paydasını geometrik ortalamadan ziyade aritmetik ortalama şeklindedir: . Yalnızca sütunlarının karşılaştırılması aynıysa, 1 olabilir.$\frac{\sum{xy}}{(\sum x^2+\sum y^2)/2}$$\bf A$

• Buna benzer başka bir kullanılabilir katsayıya benzerlik oranı denir : .$\frac{\sum{xy}}{\sum x^2 + \sum y^2 -\sum {xy}} = \frac{\sum{xy}}{\sum {xy} + \sum {(x-y)^2}}$

• Son olarak, eğer değerler negatif değilse ve sütunlar içindeki toplamları 1 (örn. Oranlar) ise, , aslına uygunluk veya Bhattacharyya katsayısı matrisidir .$\bf A$$\bf \sqrt {A}'\sqrt A$

A ′ A s A n C = A ′ A - s ′ s / n C / ( n - 1 $^1$ , aynı zamanda bir şekilde veri merkezleme atlar ve doğrudan SSCP matris yola, çok sayıda istatistik paketleri tarafından kullanılan ilişki ya da kovaryans matrisinin hesaplamak için bu şekilde. Let veri sütun toplamlarının satır vektörü ise veri satır sayısıdır. Daha sonra (1) dağılım matrisini [dolayısıyla, kovaryans matrisi] olacak şekilde hesaplayın; (2) köşegeni, kare sapmaların, satır vektörü ; (3) korelasyon matrisini hesaplamak .$\bf A'A$$\bf s$$\bf A$$n$$\bf C = A'A-s's/ \it n$$\mathbf C/(n-1)$d R = Cı- / $\bf C$$\bf d$$\bf R=C/\sqrt{d'd}$

$^2$ Akut fakat istatistiksel olarak acemi bir okuyucu, korelasyonun iki tanımını uzlaştırmayı zor bulabilir - "kovaryans" (bu, örnek büyüklüğüne göre ortalama alma, df = "n-1" ile bölünme ) ve "kosinüs" olarak ifade edilir ( böyle bir ortalama yok). Fakat aslında ilk korelasyon formülünde gerçek ortalama yoktur. Sorun şu ki st. z standardizasyonunun sağlandığı sapma, aynı df tarafından bölünme ile hesaplandı ; ve bu nedenle, kovaryans olarak korelasyon formundaki "n-1" paydası, formülü çözerseniz tamamen iptal olur: formül, kosinüs formülüne dönüşür . Gerçekten ihtiyacınız ampirik korelasyon değerini hesaplamak için değil bilmek$n$ (Ortalamayı hesaplarken hariç).

Matris tüm sütun tüm iç ürünleri içeren . Böylece diyagonal sütunların kare normlarını içerir. sütunların kapsadığı sütun alanı üzerine geometri ve ortogonal projeksiyonları düşünürseniz , bu alanı kapsayan vektörlerin normlarının ve iç ürünlerinin projeksiyonun hesaplanmasında merkezi bir rol oynadığını hatırlayabilirsiniz. En küçük kareler regresyonu ve ana bileşenler ortogonal çıkıntılar açısından anlaşılabilir.A $A^TA$$A$$A$

Ayrıca, eğer sütunları ortonormal ise, dolayısıyla sütun alanı için ortonormal bir temel oluşturuyorsa, o zaman özdeşlik matrisi.A T A = I $A$$A^TA = I$ $-$

@NRH iyi bir teknik cevap verdi.

Eğer gerçekten temel bir şey istiyorsan, aklınıza gelebilecek matris eşdeğeri olarak bir sayısal alan için.$A^TA$$A^2$

geometrisinin önemli bir görüntüsü şudur (Strang'ın "Doğrusal Cebir ve Uygulamaları" kitabında kuvvetle vurgulanan bakış açısı): A'nın, lineer bir haritayı temsil eden bir K derece olduğunu varsayalım . Sütun (A) ve Sıra (A) kolon ve sıra boşluklar olsun . Sonra$A'A$$m \times n$$A: R^n \rightarrow R^m$$A$

(a) Gerçek bir simetrik matris olarak, , sıfır olmayan özdeğerleri özdeğerlerinin bir tabanına sahiptir . Böylece:$(A'A): R^n \rightarrow R^n$$\{e_1,..., e_n\}$$d_1,\ldots,d_k$

$(A'A)(x_1e_1 + \ldots + x_ne_n) = d_1x_1e_1 + ... + d_kx_ke_k$ .

(b) Aralık (A) = Sütun (A), Sütun (A) tanımına göre. Yani A | Row (A), Row (A) 'yı Col (A)' ya eşler.

(c) Çekirdek (A), Row (A) 'nın ortogonal tamamlayıcısıdır. Bunun nedeni, matris çarpımının nokta ürünler (satır i) * (sütun j) cinsinden tanımlanmasıdır. (Öyleyse$Av'= 0 \iff \text{v is in Kernel(A)} \iff v \text{is in orthogonal complement of Row(A)}$

(d) ve bir izomorfizmdir .$A(R^n)=A(\text{Row}(A))$$A|\text{Row(A)}:\text{Row(A)} \rightarrow Col(A)$

Reason: If v = r+k (r \in Row(A), k \in Kernel(A),from (c)) then
A(v) = A(r) + 0 = A(r) where A(r) = 0 <==> r = 0$.

[Bu arada, Sıra rütbesi = Sütun rütbesi olduğuna dair bir kanıt sunar!]

(e) (d), bir izomorfizmdir$A'|:Col(A)=\text{Row(A)} \rightarrow \text{Col(A')}=\text{Row(A)}$

(f) (d) ve (e) ile: ve A'A, Satır (A) 'ı Satır (A)' ya izomorfik olarak eşler.$A'A(R^n) = \text{Row(A)}$

'nın nokta ürünleri almak anlamına geldiği daha önce tartışılsa da , bu çarpımın sadece grafiksel bir gösterimini ekleyeceğim.$\textbf{A}^T\textbf{A}$

Aslında, (ve matris ) matrisinin satırları değişkenleri temsil ederken, her değişken ölçümünü çok boyutlu bir vektör olarak ele alırız. Satır çarpımı arasında kolonu arasında : iki vektörün nokta ürün alarak eşdeğerdir - konumunda kayıt olmak sonucu matrisinin içinde .$\textbf{A}^T$$\textbf{A}$$row_p$$\textbf{A}^T$$col_p$$\textbf{A}$$dot(row_p, col_p)$$(p,p)$$\textbf{A}^T \textbf{A}$

Benzer bir şekilde, sıra çarparak ait kolonu arasında nokta ürünün eşdeğerdir: konumunda sonucu ile, .$p$$\textbf{A}^T$$k$$\textbf{A}$$dot(row_p, col_k)$$(p,k)$

Giriş elde edilen matris vektör ne kadar bir anlama sahiptir vektör yönünde olan . İki vektör, bir nokta ürün halinde ve sıfırdan farklı olduğu, bir bilgi için bir vektör ile ilgili olan taşınan bir vektör ile tersi ve.$(p, k)$$\textbf{A}^T\textbf{A}$$row_p$$col_k$$row_i$$col_j$$row_i$$col_j$

Bu fikir bizim ilk veri matrisi yeni bir temsilini bulmak istiyoruz Ana Bileşen Analizi, önemli bir rol oynamaktadır , her kolon etrafına taşınan fazla bilgi vardır, öyle ki başka bir kolon içinde . PCA'nın daha derinlemesine incelendiğinde, kovaryans matrisinin "yeni bir sürümünün" hesaplandığını göreceksiniz ve bunun farkına varmak için size bıraktığım köşegen bir matris haline geldiğini göreceksiniz.$\textbf{A}$$i$$j \neq i$

Sezgi düzeyleri vardır. Matris notasyonu belirsizliğine aşina olanlar için sezgi, onu rastgele değişkenin karesi olarak düşünmektir: vs$x\to E[x^2]$$A\to A^TA$

Matris notasyonunda rastgele değişken bir örnek gözlem veya nüfusu bir sütun vektörü ile temsil edilmektedir:$x$$x_i$

Bu nedenle, değişkeninin karesi için örnek bir ortalama elde etmek istiyorsanız , basit bir nokta çarpımına alırsınız: , matris notasyonu ile aynı .$x$

Değişkenin örnek ortalamasının SIFIR olması durumunda, varyansın karenin ortalamasına eşit olduğuna dikkat edin: , benzer . Bu, PCA’da sıfır ortama ihtiyaç duymanızın nedenini ve neden tüm PCA’nın veri setinin varyans matrisini ayrıştırmasından sonra ortaya çıktığını gösterir.$\sigma^2=E[x^2]$$A^TA$$A^TA$