Python'un bilim-kurgu LDA'sı neden doğru çalışmıyor ve LDA'yı SVD üzerinden nasıl hesaplıyor?

scikit-learnMakine öğrenim kütüphanesinden (Python) Doğrusal Ayrımcılık Analizi'ni (LDA) boyutsallığın azaltılması için kullanıyordum ve sonuçları biraz merak ediyordum. Şimdi, LDA'nın ne scikit-learnyaptığını merak ediyorum , böylece sonuçlar R'de yapılan bir manuel yaklaşımdan veya LDA'dan farklı görünecek şekilde farklı görünebilir. Biri bana burada bazı bilgiler verebilirse harika olur.

Temel olarak en çok ilgisini çeken şey, scikit-plotilişkilerin 0 olması gereken iki değişken arasında bir korelasyon göstermesidir.

Bir test için, Iris veri setini kullandım ve ilk 2 doğrusal ayrımcı şöyle göründü:

IMG-1. Scikit-learn ile LDA

Bu temelde, burada bulunan scikit-learn belgelerinde bulduğum sonuçlarla tutarlı .

Şimdi adım adım LDA’dan geçtim ve farklı bir projeksiyon aldım. Neler olup bittiğini bulmak için farklı yaklaşımlar denedim:

IMG-2. Ham verilere ilişkin LDA (merkezleme yok, standardizasyon yok)

Ve eğer ilk önce veriyi standartlaştırsaydım (z-puan normalizasyonu; birim varyans). Aynı şeyi sadece ortalama merkezlemeyle yaptım, bu aynı göreceli projeksiyon görüntüsüne (ve gerçekten de yaptığı gibi) yol açmalıdır.

IMG-3. Ortalama merkezleme veya standardizasyondan sonra adım adım LDA

IMG-4. R'deki LDA (varsayılan ayarlar)

Verileri ortaladığım IMG-3'teki LDA (ki bu tercih edilen yaklaşım olacaktır), aynı zamanda R’de LDA’yı yapan biri tarafından bir Yazı’da bulduğum ile aynı görünüyor

Referans için kod

Tüm kodu buraya yapıştırmak istemedim, ancak LDA projeksiyonu için kullandığım birkaç adıma (aşağıya bakınız) ayrılmış olan bir IPython not defteri olarak yükledim .

1. Adım 1: d-boyutlu ortalama vektörlerinin $$\mathbf m_i = \frac{1}{n_i} \sum\limits_{\mathbf x \in D_i}^n \; \mathbf x_k$$

2. Adım 2: Dağılım Matrislerinin Hesaplanması

   2.1 Sınıf içi dağılım matrisi , aşağıdaki denklem ile hesaplanır:$S_W$
   

   $$S_W = \sum\limits_{i=1}^{c} S_i = \sum\limits_{i=1}^{c} \sum\limits_{\mathbf x \in D_i}^n (\mathbf x - \mathbf m_i)\;(\mathbf x - \mathbf m_i)^T$$

   2.2 Sınıflar arası dağılım matrisi , aşağıdaki denklem ile hesaplanır: burada genel ortalamadır.$S_B$
   

   $$S_B = \sum\limits_{i=1}^{c} n_i (\mathbf m_i - \mathbf m) (\mathbf m_i - \mathbf m)^T$$ $\mathbf m$

3. Adım 3. matrisi için genelleştirilmiş özdeğer problemini çözme$S_{W}^{-1}S_B$

   3.1. Özdeğerleri azaltarak özvektörleri sıralama

   3.2. En büyük özdeğerlere sahip k özvektörleri seçmek . boyutlu eigenvector matrix iki özvektörün en yüksek öz değerlerle birleştirilmesi$d \times k$$\mathbf W$

4. Adım 5: Örnekleri yeni alt alana

   $$\mathbf y = \mathbf W^T \times \mathbf x.$$

Güncelleme: Bu tartışma sayesinde scikit-learnşimdi güncellendi ve doğru çalışıyor. LDA kaynak kodu burada bulunabilir . Asıl mesele küçük bir hatadan kaynaklanıyordu ( bu tartışma konusuna bakın ) ve cevabım aslında doğru bir şekilde işaret etmiyordu (karışıklıktan dolayı özür dilemedi). Tüm bunlar artık önemli olmadığından (hata giderildi), cevabımı, LDA'nın varsayılan algoritma olan SVD ile nasıl çözülebileceğine odaklanmak için düzenledim scikit-learn.

Sınıf içi ve arasındaki dağılım matrislerini ve , belirtildiği gibi standart LDA hesaplama, ayırt edici eksen olarak ( örneğin buraya bakınız ). Bununla birlikte, aynı eksenler beyazlatma matrisinden yararlanarak biraz farklı bir şekilde hesaplanabilir:$\boldsymbol \Sigma_W$$\boldsymbol \Sigma_B$$\boldsymbol \Sigma_W^{-1} \boldsymbol \Sigma_B$

1. Hesapla . Bu, sınıf içi kovaryansa göre havuzlanmış beyazlatıcı bir dönüşümdür (ayrıntılar için bağlantılı cevabımı inceleyin).$\boldsymbol \Sigma_W^{-1/2}$

   -ayrıştırma , o zaman . Ayrıca, sınıf içi veri havuzunda SVD yaparak birinin aynı olduğunu hesaplayın: .$\boldsymbol \Sigma_W = \mathbf{U}\mathbf{S}\mathbf{U}^\top$$\boldsymbol \Sigma_W^{-1/2}=\mathbf{U}\mathbf{S}^{-1/2}\mathbf{U}^\top$$\mathbf{X}_W = \mathbf{U} \mathbf{L} \mathbf{V}^\top \Rightarrow \boldsymbol\Sigma_W^{-1/2}=\mathbf{U}\mathbf{L}^{-1}\mathbf{U}^\top$

2. özvektörlerini bulun , bize diyelim .$\boldsymbol \Sigma_W^{-1/2} \boldsymbol \Sigma_B \boldsymbol \Sigma_W^{-1/2}$$\mathbf{A}^*$

   Yine, bir sınıf içi veri , , yani sınıf içi ile ilgili beyazlatılmış sınıflar arası veriler arasında SVD yaparak bunu hesaplayabileceğinizi unutmayın. kovaryans.$\mathbf{X}_B$$\boldsymbol \Sigma_W^{-1/2}$

3. Diskriminant eksenleri , tarafından verilecektir, yani dönüştürülen verilerin ana eksenleri tarafından tekrar dönüştürülecektir .$\mathbf A$$\boldsymbol \Sigma_W^{-1/2} \mathbf{A}^*$

   Aslında, eğer yukarıdaki matrisin bir özvektörü ise, ve soldan ile ve tanımlayarak hemen elde ederiz :$\mathbf a^*$

   $$\boldsymbol \Sigma_W^{-1/2} \boldsymbol \Sigma_B \boldsymbol \Sigma_W^{-1/2}\mathbf a^* = \lambda \mathbf a^*,$$ $\boldsymbol \Sigma_W^{-1/2}$$\mathbf a = \boldsymbol \Sigma_W^{-1/2}\mathbf a^*$ $$\boldsymbol \Sigma_W^{-1} \boldsymbol \Sigma_B \mathbf a = \lambda \mathbf a.$$

Özetle, LDA, sınıf içi kovaryansa göre sınıf araçlarının matrisini beyazlatmaya, sınıf araçlarında PCA yapmaya ve sonuçta ortaya çıkan ana eksenleri orijinal (boşluksuz) alana geri dönüştürmeye eşdeğerdir.

Bu, örneğin İstatistiksel Öğrenmenin Öğeleri , bölüm 4.3.3'te belirtilmiştir. Olarak scikit-learn, bu veri matrisi SVD sayısal daha stabil hale kovaryans matrisinin eigen-bozunma daha uzun olduğundan LDA hesaplamak için varsayılan yöntemdir.

yerine herhangi bir beyazlatma dönüşümü kullanabileceğini ve her şeyin tamamen aynı şekilde çalışacağını unutmayın. Gelen kullanılır (yerine ) ve gayet iyi çalışıyor (cevabımda orjinalinde yazılanların aksine).$\boldsymbol \Sigma_W^{-1/2}$scikit-learn $\mathbf{L}^{-1}\mathbf{U}^\top$$\mathbf{U}\mathbf{L}^{-1}\mathbf{U}^\top$

Sadece bu soruyu kapatmak için, LDA ile tartışılan konu, scikit-learn 0.15.2'de düzeltildi .