MANOVA LDA ile nasıl ilişkilidir?

Birçok yerde, MANOVA'nın ANOVA artı lineer diskriminant analizi (LDA) gibi olduğunu iddia ettim, ancak her zaman elle sallanan bir şekilde yapıldı. Tam olarak ne anlama geldiğini bilmek istiyorum .

MANOVA hesaplamalarının tüm ayrıntılarını açıklayan çeşitli ders kitapları buldum, ancak istatistikçi olmayan birisinin erişebileceği iyi genel tartışmaları (yalnız resimler ) bulmak çok zor görünüyor .

Kısaca

Hem tek-yönlü çok yönlü varyans ve LDA toplam matrisi dekompoze ile başlar içi saçılım matris içine W arasında sınıf matrisi B , öyle ki , T = W + B . Bu tek yönlü ANOVA, toplam sum of kareler parçalanır nasıl tamamen benzer olduğuna dikkat T : sınıf-içi ve arası sınıf toplamları-kareler halinde T = oda + B . ANOVA'da daha sonra B / W oranı hesaplanır ve p değerini bulmak için kullanılır: bu oran ne kadar büyük olursa, p değeri o kadar küçük olur. MANOVA ve LDA benzer bir çok değişkenli miktar W - $\mathbf T$$\mathbf W$$\mathbf B$$\mathbf T = \mathbf W + \mathbf B$$T$$T=B+W$$B/W$ .$\mathbf W^{-1} \mathbf B$

Buradan farklılar. MANOVA'nın tek amacı, tüm grupların araçlarının aynı olup olmadığını test etmektir; bu sıfır hipotez, W ile benzer boyutta olması gerektiği anlamına gelir . Böylece MANOVA, W - 1 B'nin özdeğiştirmesini gerçekleştirir ve özdeğerlerini λ i bulur . Şimdi fikir, boş değeri reddedecek kadar büyük olup olmadıklarını test etmektir. Özdeğerler tüm seti dışında bir sayıl istatistik oluşturmak üzere dört yaygın yolu vardır  i . Bunun bir yolu, tüm özdeğerlerin toplamını almaktır. Başka bir yol, maksimum özdeğer almaktır. Her durumda, seçilen istatistik yeterince büyükse, sıfır hipotezi reddedilir.$\mathbf B$$\mathbf W$$\mathbf W^{-1} \mathbf B$$\lambda_i$$\lambda_i$

Buna karşılık, LDA öz- bileşimini gerçekleştirir ve özvektörlere bakar (özdeğerlere değil). Bu özvektörler, değişken uzaydaki yönleri tanımlar ve ayırıcı eksenler olarak adlandırılır . Verilerin birinci ayırıcı eksene projeksiyonu en yüksek sınıf ayrımına sahiptir ( S / B olarak ölçülür ); ikinci bir - en yüksek ikinci; Boyutsal küçültme için LDA kullanıldığında, veriler örneğin ilk iki eksen üzerine yansıtılabilir ve geri kalanlar atılır.$\mathbf W^{-1} \mathbf B$$B/W$

@Ttnphns tarafından hemen hemen aynı zemini kaplayan başka bir iş parçacığında da mükemmel bir cevaba bakınız .

Misal

bağımlı değişkenler ve k = 3 gözlem grubu (yani üç seviyeli bir faktör) olan tek yönlü bir durumu ele alalım . Tanınmış Fisher'in Iris veri kümesini alacağım ve sadece sepal uzunluğu ve sepal genişliği (iki boyutlu yapmak için) düşüneceğim. İşte dağılım grafiği:$M=2$$k=3$

Hem sepal uzunluk / genişliğe sahip ANOVA'ları ayrı ayrı hesaplamakla başlayabiliriz. X ve y eksenlerine dikey veya yatay olarak yansıtılan veri noktalarını ve üç grubun aynı ortalamaya sahip olup olmadığını test etmek için 1 yollu ANOVA düşünün. Biz elde ve p = 10 - 31 çanak yaprağı uzunluğu ve F 2 , 147 = 49 ve p = 10 - 17 çanak yaprağı genişliği. Tamam, bu yüzden benim örneğim oldukça kötü çünkü üç grup her iki önlemde de saçma p değerleri ile önemli ölçüde farklı, ama yine de buna bağlı kalacağım.$F_{2,147}=119$$p=10^{-31}$$F_{2,147}=49$$p=10^{-17}$

Artık üç kümeyi en fazla ayıran bir eksen bulmak için LDA yapabiliriz. Yukarıda tarif edildiği gibi, tam saçılma matrisi , sınıf içi saçılma matrisi W ve sınıflar arası saçılma matrisi B = T - W'yi hesaplar ve W - 1 B'nin özvektörlerini buluruz . Her iki özvektörü aynı dağılım grafiğinde çizebilirim:$\mathbf{T}$$\mathbf{W}$$\mathbf{B}=\mathbf{T}-\mathbf{W}$$\mathbf{W}^{-1}\mathbf{B}$

Kesik çizgiler ayrımsal eksenlerdir. Onları keyfi uzunluklarla çizdim, ancak daha uzun eksen daha büyük özdeğer (4.1) ve daha kısa olanı - daha küçük özdeğer (0.02) olan özvektörü gösterir. Dik değiller, ancak LDA matematiği, bu eksenlerdeki projeksiyonların sıfır korelasyona sahip olduğunu garanti eder.

Şimdi verilerimizi ilk (daha uzun) ayırıcı eksene yansıtır ve sonra ANOVA'yı çalıştırırsak, ve p = 10 - 53 alırız , bu da öncekinden daha düşüktür ve tüm doğrusal projeksiyonlar arasında mümkün olan en düşük değerdir ( LDA'nın bütün noktasıydı). İkinci eksen çıkıntı verir sadece p = 10 - 5 .$F=305$$p=10^{-53}$$p=10^{-5}$

Aynı veriler üzerinde MANOVA çalıştırırsak, aynı matrisini hesaplar ve p değerini hesaplamak için özdeğerlerine bakarız. Bu durumda daha büyük özdeğer, S / B'ye eşit olan 4.1'e eşittir$\mathbf{W}^{-1}\mathbf{B}$$B/W$ İlk ayırma (aslında, birlikte ANOVA , burada N = 150 toplam veri noktası sayısıdır ve$F=B/W \cdot (N-k)/(k-1) = 4.1\cdot 147/2 = 305$$N=150$ grup sayısıdır).$k=3$

Eigenspektrumdan p değerini hesaplayan (bu durumda ve λ 2 = 0.02 ) yaygın olarak kullanılan birkaç istatistiksel test vardır ve biraz farklı sonuçlar verir. MATLAB bana bildiriyor Wilks testi verir p = 10 - 55 . Bu değerin daha önce herhangi bir ANOVA ile olandan daha düşük olduğuna dikkat edin ve buradaki sezgi, MANOVA'nın p-değerinin, ANOVA'larla elde edilen iki p-değerini iki farklı eksende "birleştirdiği" dir.$\lambda_1=4.1$$\lambda_2=0.02$$p=10^{-55}$

Ters bir durum elde etmek mümkün mü: MANOVA ile daha yüksek p değeri? Evet öyle. Bunun için, sadece bir ayrımcı eksenin önemli verdiği ve ikincisinin hiç ayrım yapmadığı bir duruma ihtiyacımız var . I koordinatları ile yedi nokta ekleyerek yukarıda veri kümesi değiştirilmiş ( 8 , 4 ) "yeşil" sınıfına (büyük yeşil nokta bu yedi aynı noktaları temsil eder):$F$$(8,4)$

$p=10^{-55}$$p=0.26$$p=10^{-54}$$\sim 5$$p\approx0.05$$p$

Makine öğrenimi ve istatistik olarak MANOVA vs LDA

Bana öyle geliyor ki, farklı makine öğrenimi topluluğunun ve istatistik topluluğunun aynı şeye nasıl yaklaştığının örnek olaylarından biri. Makine öğrenimi ile ilgili her ders kitabı LDA'yı kapsar, güzel resimler vb. Gösterir ancak MANOVA'dan (örneğin Bishop , Hastie ve Murphy ) asla bahsetmez . Muhtemelen oradaki insanlar LDA sınıflandırma doğruluğuna daha fazla ilgi duyuyorlar (bu kabaca etki büyüklüğüne karşılık geliyor) ve grup farkının istatistiksel önemi ile ilgisi yok . Öte yandan, çok değişkenli analizdeki ders kitapları MANOVA ad nauseam'i tartışır, çok sayıda tablolanmış veri sağlar (arrrgh), ancak nadiren LDA'dan bahseder ve hatta daha nadiren herhangi bir grafik gösterir (ör.Anderson veya Harris ; ancak, Rencher & Christensen ve Huberty & Olejnik'e "MANOVA ve Diskriminant Analizi" denir).

Faktöriyel MANOVA

Faktöriyel MANOVA çok daha kafa karıştırıcıdır, ancak dikkate alınması ilginçtir, çünkü "faktöriyel LDA" nın gerçekten mevcut olmadığı bir anlamda LDA'dan farklıdır ve faktöriyel MANOVA herhangi bir "olağan LDA" ya doğrudan karşılık gelmez.

$3\cdot 2=6$

Bu şekilde, altı "hücre" nin hepsi (onlara "grup" veya "sınıf" olarak da adlandıracağım) iyi ayrılmıştır, ki bu elbette pratikte nadiren olur. Burada her iki faktörün de önemli ana etkileri olduğu ve ayrıca önemli etkileşim etkisi olduğu açıktır (çünkü sağ üst grup sağa kaydırılır; eğer onu "ızgara" konumuna getirirsem, o zaman hayır etkileşim etkisi).

Bu durumda MANOVA hesaplamaları nasıl çalışır?

İlk olarak, MANOVA, sınıf içinde dağılma dağılım matrisi hesaplar . Ancak sınıflar arası dağılım matrisi test ettiğimiz etkiye bağlıdır. Sınıflar arası dağılım matrisini düşünün$\mathbf W$$\mathbf B_A$$\mathbf B_A$$\mathbf W^{-1} \mathbf B_A$

$\mathbf B_B$$\mathbf B_{AB}$

Şimdi, burada ana sorumuz MANOVA'nın LDA'ya nasıl karşılık geldiğidir. "Faktöriyel LDA" diye bir şey yoktur. A faktörünü düşünün. A faktörünün seviyelerini (B faktörünü tamamen unutarak) sınıflandırmak için LDA çalıştırmak isteseydik, sınıflar arasında aynı olurdu$\mathbf B_A$$\mathbf W_A=\mathbf T - \mathbf B_A$

$\mathbf W^{-1} \mathbf B_A$