Fisher kriter ağırlıkları nasıl hesaplanır?

Örüntü tanıma ve makine öğrenimi üzerine çalışıyorum ve aşağıdaki soru ile karşılaştım.

Eşit önceki sınıf olasılığına sahip iki sınıflı bir sınıflandırma problemi düşünün

$$P(D_1)=P(D_2)= \frac{1}{2}$$

ve verilen her sınıftaki örneklerin dağılımı

$$p(x|D_1)= {\cal N} \left( \begin{bmatrix} 0 \\0 \end{bmatrix}, \begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} \right),$$

$$p(x|D_2)= {\cal N} \left( \begin{bmatrix} 4 \\ 4 \end{bmatrix}, \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix} \right).$$

Fisher kriter ağırlıkları nasıl hesaplanır?

Güncelleme 2: Kitabım tarafından sağlanan hesaplanan ağırlık: .$W=\begin{bmatrix} \frac{-4}{3} \\ \frac{-2}{9} \end{bmatrix}$

Güncelleme 3: @ xeon'un ima ettiği gibi, Fisher'in ayrımcısının projeksiyon hattını belirlemem gerektiğini anlıyorum.

Güncelleme 4: , projeksiyon çizgisinin yönü olsun , sonra Fisher lineer discriminant yöntemi, en iyi ölçüt fonksiyonunun en üst düzeye çıkarıldığı olduğunu bulur . Geriye kalan zorluk, sayısal olarak vektörünü nasıl alabiliriz ?W $W$$W$$W$

Bağlantı verdiğiniz makaleyi takiben (Mika ve ark., 1999) , genelleştirilmiş Rayleigh bölümünü en üst düzeye çıkaran yi bulmalıyız ,$\mathbf{w}$

$$\frac{\mathbf{w}^\top \mathbf{S}_B \mathbf{w}}{\mathbf{w}^\top \mathbf{S}_W \mathbf{w}},$$

burada ve kovaryanslar ,C 1 , C$\mathbf{m}_1, \mathbf{m}_2$$\mathbf{C}_1, \mathbf{C}_2$

$$\begin{align} \mathbf{S}_B &= (\mathbf{m}_1 - \mathbf{m}_2)(\mathbf{m}_1 - \mathbf{m}_2)^\top, & \mathbf{S}_W &= \mathbf{C}_1 + \mathbf{C}_2. \end{align}$$

Çözüm, genelleştirilmiş özdeğer problemi ilk hesaplama ile çözerek bulunabilir. özdeğerler çözerek özvektör için çözme ve daha sonra . Sizin durumunuzda, Belirleyici bu 2x2 matris elle hesaplanabilir.

$$\begin{align} \mathbf{S}_B\mathbf{w} = \lambda \mathbf{S}_W\mathbf{w}, \end{align}$$ $\lambda$ $$\begin{align} \det(\mathbf{S}_B - \lambda \mathbf{S}_W) = 0 \end{align}$$ $\mathbf{w}$ $$\mathbf{S}_B - \lambda \mathbf{S}_W = \begin{pmatrix}16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda\end{pmatrix}.$$

En büyük özdeğeri olan özvektör Rayleigh bölümünü en üst düzeye çıkarır. Hesaplamaları elle yapmak yerine, Python'daki genelleştirilmiş özdeğer problemini kullanarakscipy.linalg.eig ve bulduğunuz farklı olan . Aşağıda bulduğum ağırlık vektörünün optimal hiper düzlemini (siyah) ve kitabınızda bulunan ağırlık vektörünün hiper düzlemini (kırmızı) çizdim.

$$w_1 \approx 0.5547, w_2 \approx 0.8321,$$

$\hskip1in$

$\mathbf{SOLUTION 1:}$

Duda ve ark. @Lucas'a alternatif bir çözümü olan ve bu durumda çözümü hesaplamak çok kolaydır. (Umarım bu alternatif çözüm yardımcı olur !! :))

İki sınıf LDA'da amaç:

$\frac{w^TS_Bw}{w^TS_Ww}$ bu sadece sınıf varyansı arasında artış ve sınıf içi varyansın azalması anlamına gelir.

burada ve , burada kovaryans matrisi ve sırasıyla sınıf 1 ve 2'nin araçlarıdır.$S_B = (m_1-m_2)(m_1-m_2)^T$$S_W = S_1 + S_2$$S_1,S_2$$m_1,m_2$

Bu genelleştirilmiş raleigh bölümünün çözümü, genelleştirilmiş bir özdeğer problemidir.

$S_Bw = \lambda S_Ww \rightarrow {S_W}^{-1}S_Bw = \lambda w$

Yukarıdaki formülasyon kapalı bir form çözeltisine sahiptir. , temelli bir rütbe 1 matrisidir, bu nedenle ve cevabı almak için normlizd olabilir.$S_B$$m_1-m_2$$w \propto {S_W}^{-1}(m1-m2)$

Sadece hesaplanan ve [0,5547, 0,8321] var.$w$

${S_W}^{-1}(m1-m2) = {(S_1 + S_2)}^{-1}(m1 - m2) = {(\begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} + \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix})}^{-1}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) ={(\begin{bmatrix} 1/3 & 0 \\ 0 & 1/2 \end{bmatrix})}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) = \begin{bmatrix} -1.3333 \\ -2.0000 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$

Ref: Duda, Hart, Leylek Desen Sınıflandırması

$\mathbf{SOLUTION 2:}$

Alternatif olarak, genelleştirilmiş özdeğer problemine öz vektör bularak çözülebilir. $S_Bw = \lambda S_Ww$

bir polinom tarafından oluşturulabilir ve bu polinomun çözümleri için öz değer . Şimdi diyelim ki polinomun kökleri olarak gibi bir dizi öz değeriniz var . Şimdi ve karşılık gelen öz vektörü doğrusal denklem sistemine çözüm olarak . Bunu her i için yaparak bir dizi vektör alabilirsiniz ve bu bir dizi öz vektörleridir.$determinant(S_B - \lambda S_W)$$S_Bw = \lambda S_Ww$$\lambda_1,\lambda_2, ..., \lambda_n,$$\lambda = \lambda_i, i \in \{1,2,..,n\}$$S_Bw_i = \lambda_i S_Ww_i$$\{w_i\}_{i=1}^{n}$

$determinant(S_B - \lambda S_W) = \begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix} =6\lambda^2 - 80\lambda$ , Yani öz değerler kökleri polinom .$6\lambda^2 - 80\lambda$

Yani 0 ve 40/3 iki çözümdür. LDA için, en yüksek öz değerine karşılık gelen öz vektör, çözeltidir.$\lambda=$

Denklem sistemine çözüm ve$(S_B - \lambda_i S_W)w_i = 0$$\lambda_i = 40/3$

ki$\begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix}w_i \propto \begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}w_i = 0$

Yukarıdaki denklem sisteminin çözümü, önceki çözümle aynı olan şeklindedir.$\begin{bmatrix} -0.5547 \\ -0.8321 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$

Alternatif olarak, , boş alanında yer .$\begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$$\begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}$

İki sınıf LDA için, en yüksek öz değeri olan öz vektör çözümdür. Genel olarak, C sınıfı LDA için, en yüksek C - 1 özdeğerlerine kadar olan ilk C - 1 öz vektörleri çözeltiyi oluşturur.

Bu videoda, basit özdeğer problemi için öz vektörlerin nasıl hesaplanacağı açıklanmaktadır. ( https://www.khanacademy.org/math/linear-algebra/alternate_bases/eigen_everything/v/linear-algebra-finding-eigenvectors-and-eigenspaces-example )

Aşağıda bir örnek verilmiştir. http://www.sosmath.com/matrix/eigen2/eigen2.html

Çok sınıflı LDA: http://en.wikipedia.org/wiki/Linear_discriminant_analysis#Multiclass_LDA

Bir matrisin Boş Alanının Hesaplanması: https://www.khanacademy.org/math/linear-algebra/vectors_and_spaces/null_column_space/v/null-space-2-calculating-the-null-space-of-a-matrix