Doğrusal ayrımcılık analizi ve Bayes kuralı: sınıflandırma

Doğrusal diskriminant analizi ile Bayes kuralı arasındaki ilişki nedir? LDA'nın grup içi varyans ve grup varyansı arasındaki oranı en aza indirmeye çalışarak sınıflandırmada kullanıldığını anlıyorum, ancak Bayes'in kural kullanımını nasıl kullandığını bilmiyorum.

classification discriminant-analysis bayes

— zca0
kaynak

Diskriminant fonksiyonlar, gruplar arası varyasyon ile grup içi varyasyon oranını en üst düzeye çıkarmak için çıkarılır. LDA'nın ikinci ve bağımsız aşaması olan sınıflandırma ile ilgisi yoktur.

— ttnphns

LDA'daki sınıflandırma aşağıdaki gibidir (Bayes kuralı yaklaşımı). [Ayrımcıların çıkarılmasıyla ilgili olarak buraya bakabilirsiniz .]

Bayes teoremine göre, aranan için olasılık sınıfı ile bizler uğraşan o halen noktasını gözlemlerken olan , $k$ $x$ $P(k|x) = P(k)*P(x|k) / P(x)$

- sınıfı koşulsuz (arka plan) olasılığı; - noktasının koşulsuz (arka plan) olasılığı; - nokta varlığı olasılığı sınıfı içinde , sınıf ile uğraşanlarda ediliyor eğer olduğunu . $P(k)$ $k$ $P(x)$ $x$ $P(x|k)$ $x$ $k$ $k$

"Şu anda noktasını gözlemlemek " temel durumdur, ve böylece payda atlanabilir. Böylece, . $x$ $P(x)=1$ $P(k|x) = P(k)*P(x|k)$

bir önceki (pre-analitik) olasılığı olduğu için doğal sınıf isimli ; kullanıcı tarafından belirtilir. Genellikle tüm sınıflar eşit olarak = 1 / number_of_classes alır. Hesaplama için , için doğal sınıf olduğunu yani arka (post-analitik) olasılık is , tek bilmelidir . $P(k)$ $x$ $k$ $P(k)$ $P(k)$ $P(k|x)$ $x$ $k$ $P(x|k)$

-kendi başınaolasılık- bulunamaz, ayrımcılar için, LDA'nın ana konusu, sürekli değil, değişkenlerdir. Bu durumda ifade edenve onunla orantılımiktarolasılık yoğunluğudur(PDF fonksiyonu). Bu vesile ile biz nokta için hesaplamak PDF gereken sınıfı içinde , içinde, değerleri oluşturduğu boyutlu normal dağılıma $P(x|k)$ $P(x|k)$ $x$ $k$ $PDF(x|k)$ $p$ $p$ ayırıcılar. [Vikipedi'ye bakın Çok değişkenli normal dağılım]

P D F (x | k) = \frac{e^{- d / 2}}{(2 π)^{p / 2} \sqrt{| S |})}

$PDF(x|k) = \frac {e^{-d/2}} {(2\pi)^{p/2}\sqrt{\bf |S|})}$

burada - kare Mahalanobis uzaklığı [Bkz. Wikipedia Mahalanobis uzaklığı] ayrımcıların noktasından sınıf centroidine kadar olan boşluğunda ; Bu sınıfta gözlemlenen ayrımcılar arasındaki - kovaryans matrisi . $d$ $x$ $\bf S$

Her sınıf için bu şekilde hesaplayın . noktası için ve sınıf aranan için ekspres bizim için. Ancak yukarıdaki rezervin PDF'nin kendi başına olasılık olmadığını, sadece onunla orantılı olduğunu, normalleştirmeliyiz. $PDF(x|k)$ $P(k)*PDF(x|k)$ $x$ $k$ $P(k)*P(x|k)$ ,tüm sınıflar üzerinden toplamlarına bölünür. Örneğin, toplamda 3 sınıf varsa, , , , o zaman $P(k)*PDF(x|k)$ $P(k)*PDF(x|k)$ $k$ $l$ $m$

noktası LDA tarafından nin en yüksek olduğu sınıfa atanır . $x$ $P(k|x)$

Not. Genel yaklaşım buydu. Birçok LDA programı varsayılan olarak yukarıdaki PDF formülündeki tüm sınıflar için sınıf içi matrisi matlarını kullanır . Bu durumda, örneğin, çünkü formül büyük ölçüde kolaylaştırır LDA kimlik matrisi (alt bakınız dipnot olup burada dolayısıyla) ve ve , kareli öklid mesafesine dönüşür (hatırlatma: bahsettiğimiz sınıfı içinde toplanmış havuzlar , matris genellikle olarak adlandırılan giriş değişkenleri arasında değil, ayrımcılar arasındaki kovaryanslardır . $\bf S$ $\bf S$ $\bf |S|=1$ $d$ $\bf S$ $\bf S_w$

Ek . Yukarıdaki Bayes kural sınıflandırması LDA'ya getirilmeden önce, LDA öncüsü Fisher, LDA'daki noktaları sınıflandırmak için şu anda Fisher'ın doğrusal sınıflandırma işlevlerini hesaplamayı önerdi . Nokta için, sınıfına ait fonksiyon puanı doğrusal kombinasyonudur , burada $x$ $k$ $b_{kv1}V1_x+b_{kv2}V2_x+...+Const_k$ , analizdeki belirleyici değişkenlerdir. $V1, V2,...V_p$

katsayısı , sınıf sayısıdır ve , değişkenlerinin toplanmış sınıf içi dağılım matrisinin elemanıdır . $b_{kv}=(n-g)\sum_w^p{s_{vw}\bar{V}_{kw}}$ $g$ $s_{vw}$ $p$ $V$

. $Const_k=\log(P(k))-(\sum_v^p{b_{kv}\bar{V}_{kv}})/2$

noktası , puanı en yüksek olduğu sınıfa atanır. (Atlar, bu Fisher yöntemi ile elde edilen sınıflandırma sonuçları ekstre metodu yalnızca Diskriminatları kompleks eigendecomposition yapan) Bayes ile elde edilen aynı toplanmış Diskriminatları göre yöntemi içinde sınıf kovaryans matrisi Bayes kullanılır ( 'açıklama' yukarıda) ve tüm ayrımcılar sınıflandırmada kullanılmaktadır. Bayes yöntemi daha geneldir çünkü ayrı sınıf içi matrislerin kullanılmasına izin verir . $x$

— ttnphns
kaynak

Bu Bayesci yaklaşım değil mi? Fisher'in buna yaklaşımı nedir?

— zca0

İsteğiniz üzerine cevaba eklendi

— ttnphns

Bayes ve Fisher'ın LDA yaklaşımı arasında ayrım yapmak için +1. LDA'da yeni gelen biriyim ve okuduğum kitaplar bana Bayes yaklaşımında LDA'yı öğretiyor, bu da

en yüksek

ile

sınıfı olarak sınıflandırıyor , bu yüzden tüm

her

sınıfı için , değil mi? Fisher'ın yaklaşımına göre, sadece ayrımcıları ve onların karşılık gelen resimlerini anlamaya ihtiyacım var ve her sınıf için posterioru hesaplamaya gerek yok, değil mi?

X

$X$

K

$K$

p (K | X)

$p(K|X)$

p (K | X)

$p(K|X)$

K

$K$

— avokado

Bence Bayes'in yaklaşımı daha anlaşılır ve neden Fisher'ın yaklaşımını kullanmamız gerekiyor?

— avokado

İhtiyacımız yok. Sadece tarihsel meseleler için.

— ttnphns

İki sınıflı bir problemde iki hata türü için eşit ağırlıklar olduğunu varsayalım. İki sınıfın sınıflandırma değişkenlerinin çok değişkenli bir sınıf koşullu yoğunluğuna sahip olduğunu varsayalım. Daha sonra herhangi bir gözlenen vektör için ve sınıf koşullu yoğunluklar ve Bayes kuralı olacak sınıflandırmak grubu halinde 1 ait olarak gibi sınıf 2 aksi. Bayes kuralı, eğer ve ise doğrusal bir ayırıcı sınıflayıcıdır. $x$ $f_1(x)$ $f_2(x)$ $x$ $f_1(x) \geq f_2(x)$ $f_1$ ikisi de aynı kovaryans matrisi ile çok değişkenli normal yoğunluklardır. Tabii ki, ayrımcılığı yararlı bir şekilde ayırt edebilmek için, ortalama vektörlerin farklı olması gerekir. Bunun güzel bir sunumu Duda ve Hart PatternClassification and Scene Analysis1973'te bulunabilir (kitap yakın zamanda revize edilmiştir, ancak özellikle orijinal baskıdaki sunumu seviyorum). $f_2$

— Michael R. Chernick
kaynak