Naive Bayes Doğrusal Sınıflandırıcı Nasıl?

31

Diğer konuyu burada gördüm ama cevabın asıl soruyu tatmin ettiğini sanmıyorum. Sürekli okuduğum, Naive Bayes'ın log odds gösterimini kullanarak doğrusal bir sınıflandırıcı (örneğin: burada ) (doğrusal bir karar sınırı çizecek şekilde) olduğu.

Ancak, iki Gauss bulutunu simüle ettim ve bir karar sınırı taktım ve sonuçları aldım (n. Kitaplık e1071, naiveBayes kullanarak) () 1- Yeşil, 0 - Kırmızı

Gördüğümüz gibi karar sınırı doğrusal değil. Sınıflandırıcının kendisinin verileri doğrusal olarak ayırdığını söylemek yerine, parametrelerin (koşullu olasılıklar) günlük alanında doğrusal bir kombinasyon olduğunu söylemeye mi çalışıyor?

classification naive-bayes

— Kevin Pei
kaynak

karar sınırını nasıl oluşturdunuz? sınıflandırıcının gerçek karar sınırından ziyade, uygun rutininizle ilgisi olduğundan şüpheleniyorum. normalde kişi kararınızı kadranızın her bir noktasında hesaplayarak bir karar sınırı oluşturur.

— seanv507

Ben de öyle yaptım, iki X = [Min (x), Max (x)] ve Y = [Min (Y), Max (Y)] aralıklarını 0.1 aralığında aldım. Daha sonra tüm bu veri noktalarını eğitimli sınıflandırıcıya yerleştirdim ve log oranlarının -0.05 ile 0.05 arasında olacağı noktaları buldum

— Kevin Pei

30

Genel olarak naif Bayes sınıflandırıcı doğrusal değildir, ancak bu olasılık faktörler ise ile ilgili olarak üstel ailesine , bir özelliği, uzayda naif Bayes sınıflandırıcı karşılık doğrusal sınıflandırıcı. İşte bunu görmek için nasıl. $p(x_i \mid c)$

Herhangi bir saf Bayes sınıflandırıcısını * olarak yazabilirsiniz.

p (c = 1 | x) = σ (\underset{ben}{Σ} günlük \frac{p (x_{ben} | c = 1)}{p (x_{ben} | c = 0)} + günlük \frac{p (c = 1)}{p (c = 0)}),

$p(c = 1 \mid \mathbf{x}) = \sigma\left( \sum_i \log \frac{p(x_i \mid c = 1)}{p(x_i \mid c = 0)} + \log \frac{p(c = 1)}{p(c = 0)} \right),$

burada olan lojistik fonksiyon . Eğer üstel aileden, biz olarak yazabiliriz $\sigma$ $p(x_i \mid c)$

p (x_{i} ∣ c) = h_{i} (x_{i}) \exp (u_{i c}^{⊤} ϕ_{i} (x_{i}) - A_{i} (u_{i c})),

$p(x_i \mid c) = h_i(x_i)\exp\left(\mathbf{u}_{ic}^\top \phi_i(x_i) - A_i(\mathbf{u}_{ic})\right),$

ve dolayısıyla

p (c = 1 ∣ x) = σ (\sum_{i} w_{i}^{⊤} ϕ_{i} (x_{i}) + b),

$p(c = 1 \mid \mathbf{x}) = \sigma\left( \sum_i \mathbf{w}_i^\top \phi_i(x_i) + b \right),$

nerede

\begin{aligned} w_{i} & = u_{i 1} - u_{i 0}, \\ b & = \log \frac{p (c = 1)}{p (c = 0)} - \sum_{i} (A_{i} (u_{i 1}) - A_{i} (u_{i 0})) . \end{aligned}

$\begin{align} \mathbf{w}_i &= \mathbf{u}_{i1} - \mathbf{u}_{i0}, \\ b &= \log \frac{p(c = 1)}{p(c = 0)} - \sum_i \left( A_i(\mathbf{u}_{i1}) - A_i(\mathbf{u}_{i0}) \right). \end{align}$

Bunun tarafından tanımlanan özellik alanındaki lojistik regresyona - doğrusal bir sınıflandırıcıya - benzer olduğunu unutmayın . İkiden fazla sınıf için, benzer şekilde, multinomial lojistik (veya softmax) regresyonu elde ederiz . $\phi_i$

Eğer Gauss ise, ve olması gerekir. $p(x_i \mid c)$ $\phi_i(x_i) = (x_i, x_i^2)$

\begin{aligned} w_{i 1} & = σ_{1}^{- 2} μ_{1} - σ_{0}^{- 2} μ_{0}, \\ w_{i 2} & = 2 σ_{0}^{- 2} - 2 σ_{1}^{- 2}, \\ b_{i} & = \log σ_{0} - \log σ_{1}, \end{aligned}

$\begin{align} w_{i1} &= \sigma_1^{-2}\mu_1 - \sigma_0^{-2}\mu_0, \\ w_{i2} &= 2\sigma_0^{-2} - 2\sigma_1^{-2}, \\ b_i &= \log \sigma_0 - \log \sigma_1, \end{align}$

varsayarak . $p(c = 1) = p(c = 0) = \frac{1}{2}$

* İşte bu sonucu türetmek nasıl:

\begin{aligned} p (c = 1 ∣ x) & = \frac{p (x ∣ c = 1) p (c = 1)}{p (x ∣ c = 1) p (c = 1) + p (x ∣ c = 0) p (c = 0)} \\ = \frac{1}{1 + \frac{p (x ∣ c = 0) p (c = 0)}{p (x ∣ c = 1) p (c = 1)}} \\ = \frac{1}{1 + \exp (- \log \frac{p (x ∣ c = 1) p (c = 1)}{p (x ∣ c = 0) p (c = 0)})} \\ = σ (\sum_{i} \log \frac{p (x_{i} ∣ c = 1)}{p (x_{i} ∣ c = 0)} + \log \frac{p (c = 1)}{p (c = 0)}) \end{aligned}

$\begin{align} p(c = 1 \mid \mathbf{x}) &= \frac{p(\mathbf{x} \mid c = 1) p(c = 1)}{p(\mathbf{x} \mid c = 1) p(c = 1) + p(\mathbf{x} \mid c = 0) p(c = 0)} \\ &= \frac{1}{1 + \frac{p(\mathbf{x} \mid c = 0) p(c = 0)}{p(\mathbf{x} \mid c = 1) p(c = 1)}} \\ &= \frac{1}{1 + \exp\left( -\log\frac{p(\mathbf{x} \mid c = 1) p(c = 1)}{p(\mathbf{x} \mid c = 0) p(c = 0)} \right)} \\ &= \sigma\left( \sum_i \log \frac{p(x_i \mid c = 1)}{p(x_i \mid c = 0)} + \log \frac{p(c = 1)}{p(c = 0)} \right) \end{align}$

— Lucas
kaynak

Şimdi anladığım türetme için teşekkür ederim, denklem 2 ve altındaki gösterimleri açıklayabilir misiniz? (u, h (x_i), phi (x_i), vb.) P (x_i | c) üstel bir ailenin altında, sadece pdf'deki değeri alıyor mu?

— Kevin Pei

u

$\mathbf{u}$

ϕ

$\phi$

1

ϕ (x) = (x, x^{2})

$\phi(x) = (x, x^2)$

w

$\mathbf{w}$

Bu cevabı yanıltıcı buluyorum: yorumda belirtildiği gibi ve hemen altındaki cevapta, Gauss safı Bayes orijinal özellik alanında doğrusal değil, doğrusal olmayan bir dönüşüm içinde. Dolayısıyla geleneksel bir lineer sınıflandırıcı değildir.

— Gael Varoquaux

p (x_{i} | c)

$p(x_i|c)$

ϕ_{i} (x_{i}) = (x_{i}, x_{i}^{2})

$\phi_i(x_i)=(x_i,x_i^2)$

T (x)

$T(x)$

x / σ

$x/\sigma$

8

Sınıf koşullu varyans matrislerinin her iki sınıf için de aynı olması durumunda doğrusaldır. Bunu görmek için log posteriorlarının rasyonlarını yazın; karşılık gelen varyasyonlar aynı ise, bunun dışında doğrusal bir fonksiyon elde edersiniz. Aksi takdirde ikinci dereceden.

— AXK
kaynak

3

Başka bir nokta daha eklemek isterim: Bazı karışıklıkların nedeni, "Naive Bayes sınıflandırması" yapmanın ne demek olduğuna bağlı.

"Gaussian Discriminant Analysis (GDA)" başlığı altında, birkaç teknik vardır: QDA, LDA, GNB ve DLDA (ikinci dereceden DA, doğrusal DA, gauss saflığı, diyagonal LDA). [GÜNCELLEME] LDA ve DLDA, verilen öngörülerin alanında doğrusal olmalıdır. (Bakınız örn ., DA için Murphy , 4.2, sayfa 101 ve NB için sayfa 82. Not: GNB'nin mutlaka doğrusal olması gerekmez. Ayrık NB (kaputun altında multinom dağılımını kullanan) doğrusaldır. Duda'yı da kontrol edebilirsiniz. , Hart & Stork bölüm 2.6). QDA diğer cevapların işaret ettiği gibi ikinci derecedendir (ve grafiğinizde ne olduğunu düşünüyorum - aşağıya bakınız).

$\Sigma_c$

$\Sigma_c$
$\Sigma_c = \Sigma$
$\Sigma_c = {diag}_c$ $\rightarrow$
DLDA: $\Sigma_c = diag$ : paylaşılan & köşegen cov. matris

E1071'e ilişkin dokümanlar , sınıf-şartlı bağımsızlık (yani, GNB) olduğunu varsaydığını iddia etse de, aslında QDA yaptığından şüpheleniyorum. Bazı insanlar "saf Bayes" i (bağımsızlık varsayımları yaparak) "basit Bayesian sınıflandırma kuralı" ile birleştirir. GDA yöntemlerinin tümü daha sonradan türetilmiştir; ancak yalnızca GNB ve DLDA eskileri kullanır.

Büyük bir uyarı, ne yaptığını onaylamak için e1071 kaynak kodunu okumamıştım.

— MrDrFenner
kaynak