Hastie ve ark. sınıf sınırları denklemleri hesaplanmadan üretilmiştir. Bunun yerine, yorumlarda @ttnphns tarafından belirtilen algoritma kullanılmıştır, bkz. Bölüm 4.3, sayfa 110, dipnot 2:
Bu şekil ve kitaptaki birçok benzer figür için karar sınırlarını kapsamlı bir şekillendirme yöntemiyle hesaplıyoruz. Karar kuralını ince bir nokta kafesinde hesaplıyoruz ve sonra sınırları hesaplamak için konturlama algoritmaları kullanıyoruz.
Ancak, LDA sınıfı sınırlarının denklemlerinin nasıl elde edileceğini açıklamaya devam edeceğim.
Basit bir 2D örnekle başlayalım. İşte Iris veri kümesinden veriler ; Petal ölçümlerini atıyorum ve sadece sepal uzunluğu ve sepal genişliği dikkate alıyorum. Üç sınıf kırmızı, yeşil ve mavi renklerle işaretlenmiştir:
Sınıf araçlarını (centroids) . LDA tüm sınıfların sınıf içi aynı kovaryansa sahip olduğunu varsayar; veriler göz önüne alındığında, bu paylaşılan kovaryans matrisi (ölçeklendirmeye kadar) , burada toplam tüm veri noktalarının üzerindedir ve ilgili sınıfın centroidi her noktadan çıkarılır.μ1,μ2,μ3W=∑i(xi−μk)(xi−μk)⊤
Her sınıf çifti için (örneğin sınıf ve ) aralarında bir sınıf sınırı vardır. Sınırın iki sınıf sentroidi arasındaki orta noktadan geçmesi gerektiği açıktır . Merkezi LDA sonuçlarından biri, bu sınırın dik düz bir çizgi . Bu sonucu elde etmenin birkaç yolu vardır ve sorunun bir parçası olmasa da, aşağıdaki Ekte bunlardan üçüne kısaca değineceğim.12(μ1+μ2)/2W−1(μ1−μ2)
Yukarıda ne yazılı olduğunu Note zaten sınırın kesin şartname. Eğer standart biçiminde bir çizgi denklemine sahip olmak isterse , ve katsayıları hesaplanabilir ve bazı dağınık formüllerle verilecektir. Bunun gerekli olacağı bir durumu hayal bile edemiyorum.y=ax+bab
Şimdi bu formülü İris örneğine uygulayalım. Her sınıf çifti için bir orta nokta buluyorum ve dik bir çizgi :W−1(μi−μj)
Beklendiği gibi üç çizgi bir noktada kesişir. Karar sınırları kesişim noktasından başlayarak ışınlar tarafından verilir:
Sınıf sayısı , o zaman çift sınıf ve çok sayıda satır olacağını ve bunların hepsinin karışık bir karmaşa içinde kesiştiğini unutmayın. Hastie ve arkadaşlarından olduğu gibi güzel bir resim çizmek için, sadece gerekli segmentleri tutmanız gerekir ve bu kendi içinde ayrı bir algoritmik problemdir (herhangi bir şekilde LDA ile ilgili değildir, çünkü bunu yapmak gerekmez) bir noktayı sınıflandırmak için ya her sınıfa Mahalanobis mesafesini kontrol edin ve en düşük mesafeye sahip olanı seçin ya da bir seri ya da çift LDA kullanın).K≫2K(K−1)/2
İçinde boyutları, formül kalır aynı : sınırıdır ortogonal ve geçer . Bununla birlikte, daha yüksek boyutlarda bu artık bir çizgi değil, boyutlarının bir hiper düzlemidir . Örnekleme amacıyla, veri kümesini ilk iki ayırıcı eksene yansıtabilir ve böylece problemi 2D kasaya indirebilir (Hastie ve arkadaşlarının bu rakamı üretmek için yaptıklarına inanıyorum).D>2W−1(μ1−μ2)(μ1+μ2)/2D−1
apandis
Sınırın dik düz bir çizgi olduğunu nasıl görebilirim ? Bu sonucu elde etmenin birkaç olası yolu:W−1(μ1−μ2)
Süslü yol: uçakta Mahalanobis metriğini indükler; bu metrik olan sınır ile dik olmalıdır .W−1μ1−μ2
Standart Gauss yol: her iki sınıf Gauss dağılımları, daha sonra bir noktaya, bu günlük-olabilirlik ile tarif edilir ise sınıf ait ile orantılıdır . Sınırda, sınıf ve ait olma olasılıkları eşittir; yazın, basitleştirin ve hemen , QED.xk(x−μk)⊤W−1(x−μk)12x⊤W−1(μ1−μ2)=const
İşbirliği yaratan ama sezgisel bir yol. bir kimlik matrisi, yani tüm sınıfların küresel olduğunu düşünün . O zaman çözüm açıktır: sınır sadece . Eğer sınıflar küresel değilse, o zaman onları küreyle bu şekilde yapabilirsiniz. Ve eigen-bozunma ise olan , daha sonra matris hile yapacak (örneğin buraya bakınız ). uygulandıktan sonra sınır . Bu sınırı alırsak,μ 1 - μ 2 W B = U D u ⊤ S = D - 1 / 2 u ⊤ S S ( μ 1 - μ 2 ) S - 1 S ⊤ S ( μ 1 - μ 2 ) SWμ1−μ2WW=UDU⊤S=D−1/2U⊤SS(μ1−μ2)S−1 ve şimdi neyin dikey olduğunu sorun, cevap (alıştırma olarak bırakılır): to . ifadesini QED elde ederiz.S⊤S(μ1−μ2)S
