Doğrusal diskriminant analizi boyutları nasıl azaltır?

"İstatistiksel Öğrenmenin Unsurları" sayfa 91'den kelimeler var:

P-boyutlu giriş uzayındaki K sentroidleri çoğu K-1 boyutlu alt uzayda uzanır ve p, K'den çok daha büyükse, bu boyutta önemli bir düşüş olacaktır.

İki sorum var:

1. Neden p-boyutlu girdi uzayındaki K sentroidleri en çok K-1 boyutlu altuzada yayılır?
2. K sentroidleri nasıl bulunur?

Kitapta bir açıklama yok ve ilgili makalelerden cevap bulamadım.

Diskriminantlar sınıfları en güçlü şekilde ayıran eksenler ve gizli değişkenlerdir. Olası ayrımcıların sayısı . Örneğin, p = 2 boyutlu uzayda k = 3 sınıfla, aşağıdaki grafikte olduğu gibi en fazla 2 ayrımcı olabilir. (Ayrımcıların orijinal alanda çizilen eksenler olarak dik olması gerekmediğine dikkat edin, ancak değişken olarak birbirleriyle ilişkisizdir.) Sınıfların sentroidleri, ayrımcı alt yüzeylere dik koordinatlarına göre ayrımcı altuzay içinde bulunur.$min(k-1,p)$

Ekstraksiyon aşamasında LDA cebiri burada .

"İstatistiksel Öğrenmenin Unsurları" parlak bir kitap olsa da, ondan en iyi şekilde yararlanmak için nispeten yüksek düzeyde bilgi gerektirir. Web'de, kitaptaki konuları anlamanıza yardımcı olacak başka birçok kaynak vardır.

İki boyutlu veri noktası kümesini K = 2 gruplarına gruplamak istediğiniz çok basit doğrusal ayırıcı analiz örneğini ele alalım. Boyutlardaki düşüş sadece K-1 = 2-1 = 1 olacaktır. @Deinst'in açıkladığı gibi, boyutlardaki düşüş temel geometri ile açıklanabilir.

Herhangi bir boyuttaki iki nokta bir çizgi ile birleştirilebilir ve çizgi bir boyutludur. Bu bir K-1 = 2-1 = 1 boyutlu altuzayın bir örneğidir.

Şimdi, bu basit örnekte, veri noktaları kümesi iki boyutlu uzaya dağıtılacaktır. Noktalar (x, y) ile temsil edilir, örneğin (1,2), (2,1), (9,10), (13,13) gibi veri noktalarınız olabilir. Şimdi, iki A ve B grubu oluşturmak için lineer diskriminant analizinin kullanılması, veri noktalarının, belirli özelliklerin karşılanması için A grubuna veya B grubuna ait olarak sınıflandırılmasına neden olacaktır. Doğrusal diskriminant analizi, gruplar arasındaki varyansı, gruplar içindeki varyansa kıyasla maksimize etmeye çalışır.

Başka bir deyişle, A ve B grupları birbirinden çok uzak olacak ve birbirine yakın veri noktaları içerecektir. Bu basit örnekte, noktaların aşağıdaki gibi gruplandırılacağı açıktır. A Grubu = {(1,2), (2,1)} ve B Grubu = {(9,10), (13,13)}.

Şimdi, sentroidler veri noktası gruplarının sentroidleri olarak hesaplanır.

Centroid of group A = ((1+2)/2, (2+1)/2) = (1.5,1.5) 

Centroid of group B = ((9+13)/2, (10+13)/2) = (11,11.5)

Centroidler basitçe 2 puntodur ve onları birleştiren 1 boyutlu bir çizgiyi kapsarlar.

Doğrusal diskriminant analizi, iki veri noktası grubunun "olabildiğince ayrılması" için bir satırdaki veri noktalarının bir yansıması olarak düşünebilirsiniz.

Üç grubunuz varsa (ve üç boyutlu veri noktaları söylüyorsanız), üç sentroid alırsınız, sadece üç nokta ve 3D uzaydaki üç nokta iki boyutlu bir düzlem tanımlar. Yine K-1 = 3-1 = 2 boyut kuralı.

Web'de, verdiğim basit tanıtımı açıklamaya ve genişletmeye yardımcı olacak kaynakları aramanızı öneririm; örneğin http://www.music.mcgill.ca/~ich/classes/mumt611_07/classifiers/lda_theory.pdf