Naif Bayes'i Anlamak

Gönderen StatSoft, Inc. (2013), Elektronik İstatistik Kitabı , "Naif Bayes Sınıflandırıcı" :

Naif Bayes Sınıflandırması kavramını göstermek için, yukarıdaki şekilde gösterilen örneği düşünün. Belirtildiği gibi, nesneler YEŞİL veya KIRMIZI olarak sınıflandırılabilir. Benim görevim yeni davaları ulaştıklarında sınıflandırmak, yani şu anda mevcut olan nesnelere dayanarak hangi sınıf etiketine ait olduklarına karar vermek.

KIRMIZI'dan iki kat daha YEŞİL nesne olduğu için, yeni bir vakanın (henüz gözlemlenmemiş) KIRMIZI yerine YEŞİL üyeliğe sahip olma ihtimalinin iki katı olduğuna inanmak makul. Bayes analizinde, bu inanç öncelikli olasılık olarak bilinir. Öncelikli olasılıklar önceki deneyime dayanır, bu durumda YEŞİL ve KIRMIZI nesnelerin yüzdesi ve genellikle gerçekte gerçekleşmeden önce sonuçları tahmin etmek için kullanılır.

Böylece yazabiliriz:

40'ı YEŞİL ve 20 KIRMIZI olmak üzere toplam 60 nesne bulunduğundan, sınıf üyeliği için öncelikli olasılıklarımız:

Önceden olasılığımızı belirledikten sonra, şimdi yeni bir nesneyi sınıflandırmaya hazırız (WHITE dairesi). Nesnelerin iyi bir şekilde kümelenmesi nedeniyle, X'in çevresindeki YEŞİL (veya KIRMIZI) nesnelerin ne kadar fazla olduğunu varsayalım, yeni vakaların o belirli renge ait olma olasılığı o kadar yüksektir. Bu olasılığı ölçmek için, sınıf etiketlerine bakılmaksızın X'in etrafına bir nokta (bir priori seçilecek) içeren bir daire çizeriz. Sonra, her bir sınıf etiketine ait olan dairedeki noktaların sayısını hesaplıyoruz. Bundan olasılığını hesaplıyoruz:

Yukarıdaki çizimden, YEŞİL verilen X Olabilirliğinin, RED verilen X Olabilirliğinden daha küçük olduğu açıktır, çünkü daire 1 YEŞİL nesne ve 3 Kırmızı olanlar içerir. Böylece:

Önceki olasılıklar, X'in YEŞİL'e ait olabileceğini gösterse de (KIRMIZI'dan iki kat fazla YEŞİL olduğu göz önüne alındığında) olabilir; X'in sınıf üyeliğinin KIRMIZI olduğu (X civarında YEŞİL'den daha fazla KIRMIZI nesne olduğu düşünülür). Bayes analizinde, son sınıflandırma, her iki bilgi kaynağını, yani öncekini ve olasılığını birleştirerek, Bayes kuralı (Rev. Thomas Bayes 1702-1761'den sonra adlandırılır) kullanılarak bir arka olasılık oluşturmak üzere üretilir.

Son olarak, sınıf üyeliği en büyük arka olasılığa ulaştığından, X'i KIRMIZI olarak sınıflandırıyoruz.

Bu matematik anlayışımın zorluğunun ortaya çıktığı yerdir.

görüntü tanımını buraya girin

p (Cj | x1, x2, x ..., xd), sınıf üyeliğinin arka olasılığıdır, yani X'in Cj'ye ait olma olasılığıdır, ancak neden böyle yazıyorsunuz?

Olasılığı hesaplamak?

görüntü tanımını buraya girin

Posterior Olasılık?

görüntü tanımını buraya girin

Asla matematik almadım, ama saf bayes anlayışım iyi, sanırım bu ayrıştırılmış yöntemlere gelince kafam karıştı. Bazıları bu yöntemlerin görselleştirilmesine ve matematiğin anlaşılır bir şekilde yazılmasına yardımcı olabilir mi?

machine-learning naive-bayes

— G Gr
kaynak

(+1) Sorunuzu ortaya koyduğunuz gerçekten dikkatli ve net bir şekilde hayranım.

— rolando2,

@ rolando2: tüm rakamlar ve bu sorunun hemen hemen tüm metni istatistikoft.com/textbook/naive-bayes-classifier

— Franck Dernoncourt

Lütfen bu yazıyı, başkaları tarafından yazılmış bir materyale nasıl başvurulacağı uyarınca, başka bir yerden gelen materyali açıkça belirtmek için düzenleyin .

— Scortchi - Monica'yı yeniden konumlandırın

Doğrudan tekliflerin doğru bir şekilde ilişkilendirilmesi her zaman Stack Exchange sitelerinde bir gereklilik olmuştur. Her neyse, ihmal kolayca giderilebilir; & Ben yaptım. Hesabınızı silmenize gerek yok - lütfen tekrar düşünün.

— Scortchi - Monica'yı yeniden kurun

Yanıtlar:

Naive Bayes sürecini sıfırdan baştan başlayacağım, çünkü nereye kapatıldığın tam olarak belli değil.

$P(class|feature_1, feature_2,..., feature_n$

P (A | B) = \frac{P (B | A) \cdot P (A)}{P (B)}

$P(A|B)=\frac{P(B|A) \cdot P(A)}{P(B)}$

P (c l a s s | f e a t u r e s) = \frac{P (f e a t u r e s | c l a s s) \cdot P (c l a s s)}{P (f e a t u r e s)}

$P(class|features)=\frac{P(features|class) \cdot P(class)}{P(features)}$

$P(features)$ $P(class|features)$ $class$ $P(features)$ $class$

P (c l a s s | f e a t u r e s) \propto P (f e a t u r e s | c l a s s) \cdot P (c l a s s)

$P(class|features) \propto P(features|class) \cdot P(class)$

$P(class)$

$P(features|class)$ $P(feature_1, feature_2, ..., feature_n|class)$

P (f e a t u r e_{1}, f e a t u r e_{2}, . . ., f e a t u r e_{n} | c l a s s) = \prod_{i} P (f e a t u r e_{i} | c l a s s)

$P(feature_1, feature_2, ..., feature_n|class) = \prod_i{P(feature_i|class})$

Ayrık Örnek Verileri .

Örnek: Sınıflandırıcının eğitimi

Sınıflandırmayı eğitmek için, çeşitli nokta alt kümelerini sayıyoruz ve bunları önceki ve koşullu olasılıkları hesaplamak için kullanıyoruz.

P (c l a s s = g r e e n) = \frac{40}{60} = 2 / 3 and P (c l a s s = r e d) = \frac{20}{60} = 1 / 3

$P(class=green)=\frac{40}{60} = 2/3 \text{ and } P(class=red)=\frac{20}{60}=1/3$

$feature_1$ $feature_2$

$P(feature_1=A|class=red)$
$P(feature_1=B|class=red)$
$P(feature_1=A|class=green)$
$P(feature_1=B|class=green)$
$P(feature_2=X|class=red)$
$P(feature_2=Y|class=red)$
$P(feature_2=X|class=green)$
$P(feature_2=Y|class=green)$
(bariz değilse, bunların hepsi olası özellik-değer ve sınıf çiftleridir)

$P(feature_1=A|class=red)=1$
$P(feature_1=B|class=red)=0$
$P(feature_1=A|class=green)=1/8$
$P(feature_1=B|class=green)=7/8$
$P(feature_2=X|class=red)=3/10$
$P(feature_2=Y|class=red)=7/10$
$P(feature_2=X|class=green)=8/10$
$P(feature_2=Y|class=green)=2/10$

Bu on olasılık (iki öncelik artı sekiz şartlı) bizim modelimiz.

Yeni Bir Örneği Sınıflandırma

$feature_1$ $feature_2$

P (c l a s s = r e d | e x a m p l e) \propto P (c l a s s = r e d) \cdot P (f e a t u r e_{1} = A | c l a s s = r e d) \cdot P (f e a t u r e_{2} = Y | c l a s s = r e d)

$P(class=red|example) \propto P(class=red) \cdot P(feature_1=A|class=red) \cdot P(feature_2=Y|class=red)$

P (c l a s s = r e d | e x a m p l e) \propto \frac{1}{3} \cdot 1 \cdot \frac{7}{10} = \frac{7}{30}

$P(class=red|example) \propto \frac{1}{3} \cdot 1 \cdot \frac{7}{10} = \frac{7}{30}$

P (c l a s s = g r e e n | e x a m p l e) \propto P (c l a s s = g r e e n) \cdot P (f e a t u r e_{1} = A | c l a s s = g r e e n) \cdot P (f e a t u r e_{2} = Y | c l a s s = g r e e n)

$P(class=green|example) \propto P(class=green) \cdot P(feature_1=A|class=green) \cdot P(feature_2=Y|class=green)$

$2/3 \cdot 0 \cdot 2/10$

notlar

$P(feature=value|class)$ Her sınıf için uygun ortalama ve varyansa takarak. Verilerinizin özelliklerine bağlı olarak diğer dağıtımlar daha uygun olabilir, ancak bir Gauss iyi bir başlangıç noktası olabilir.

DARPA veri setine pek aşina değilim, ama aslında aynı şeyi yapardınız. Muhtemelen P (attack = TRUE | service = finger), P (attack = false | service = finger), P (attack = TRUE | service = ftp), vb. Gibi şeyleri hesaplayacaksınız ve sonra bunları örnekle aynı şekilde. Bir yandan not olarak, buradaki hilenin bir kısmı iyi özellikler bulmaktır. Örneğin Kaynak IP, muhtemelen umutsuzca seyrek olacak - muhtemelen belirli bir IP için yalnızca bir veya iki örneğiniz olacaktır. IP'yi konumlandırıp "Source_in_same_building_as_dest (true / false)" veya bunun yerine bir özellik olarak kullanırsanız, çok daha iyisini yapabilirsiniz.

Umarım bu daha fazla yardımcı olur. Herhangi bir şeyin açıklığa kavuşturulması gerekiyorsa, tekrar denemekten mutluluk duyarım!

— Matt Krause
kaynak

Elbette. Eğer senin için uygunsa, cevabımı düzenleyeceğim, böylece daha fazla yer var (ve LaTex işlerini yapabilirim).

— Matt Krause,

Eğitim ve test bölümlerini genişletip kendi bölümlerine ayırdım. İlk çift paragraflar aynı ...

— Matt Krause

Matt, bu, karşılaştığım Naive Bayes'in herhangi bir kitap tanımından çok daha net. Muhtemelen bu web sitesinde şimdiye kadar gördüğüm herhangi bir sorunun en iyi cevabı budur.

— Zhubarb

@Berkan, teşekkürler; bu çok naziksiniz (başka bir sürü harika cevap olsa da!) Herhangi bir öneriniz varsa, onları ele almaya çalışmaktan mutlu olurum!

— Matt Krause

+ 1 ve stackoverflow.com/questions/10059594/… benzer bir açıklamanın olduğu yer

— Drey

$D$ $P(C_j\mid D)$

P (C_{j} ∣ D) = \frac{P (D ∣ C_{j}) P (C_{j})}{P (D)}, j = 1, 2, \dots

$P(C_j\mid D) = \frac{P(D\mid C_j)P(C_j)}{P(D)}, ~ j = 1, 2, \ldots$

j

$j$

P (C_{1} ∣ D)

$P(C_1\mid D)$

P (C_{2} ∣ D), \dots

$P(C_2\mid D), \ldots$

P (C_{j} ∣ D)

$P(C_j\mid D)$

P (D)

$P(D)$

P (D ∣ C_{j}) P (C_{j})

$P(D\mid C_j)P(C_j)$

P (D ∣ C_{j}) P (C_{j})

$P(D\mid C_j)P(C_j)$

P (D)

$P(D)$

C_{j}

$C_j$

P (C_{j} ∣ D)

$P(C_j\mid D)$ $P(D\mid C_j)$

P (C_{j})

$P(C_j)$

P (C_{j} ∣ D) \propto P (D ∣ C_{j}) P (C_{j}) .

$P(C_j\mid D) \propto P(D\mid C_j)P(C_j).$

D

$D$

(x_{1}, x_{2}, \dots, x_{d})

$(x_1, x_2, \ldots, x_d)$

C_{j})

$C_j)$

\begin{aligned} P (D ∣ C_{j}) & = P (x_{1}, x_{2}, \dots, x_{d} ∣ C_{j}) \\ = P (x_{1} ∣ C_{j}) P (x_{2} ∣ C_{j}) \dots P (x_{d} ∣ C_{j}) \\ = \prod_{1 = 1}^{d} P (x_{i} ∣ C_{j}) \end{aligned}

$\begin{align*} P(D\mid C_j) &= P(x_1, x_2, \ldots, x_d\mid C_j)\\ &= P(x_1\mid C_j)P(x_2\mid C_j)\cdots P(x_d\mid C_j)\\ &= \prod_{1=1}^d P(x_i\mid C_j) \end{align*}$

— Dilip Sarwate
kaynak

Saf bayes modelinin ardındaki temel varsayım, her bir özelliğin (x_i), sınıfa verilen diğer tüm özelliklerden şartlı olarak bağımsız olduğudur. Bu varsayım, olasılığını basit bir ürün olarak (gösterdiğiniz gibi) yazmamızı sağlayan şeydir.

Bu aynı zamanda saf bayes modelinin pratikte iyi bir şekilde genellenmesine yardımcı olan şeydir. Eğitim aşamasını göz önünde bulundurun: Bu varsayımı yapmazsak, öğrenme, karmaşık, yüksek boyutlu bir dağılımın tahmin edilmesini içerir: p (x1, x2, ..., xn, c) tüm özelliklerin birlikte dağıtıldığı. Bunun yerine, p (x1, c), p (x2, c), ..., p (xn, c) 'yi tahmin ederek eğitebiliriz, çünkü c değerini bilerek, diğer tüm özelliklerin değerlerini alakasız kılar. x_i hakkında ek bilgi yok).

Bunu görselleştirmenin iyi bir yolunu bilmiyorum (standart grafik model gösterimi dışında), ancak daha somut hale getirmek için bir Naive bayes modelini öğrenmek için bir kod yazabilirsiniz ( burada bazı örnek verileri alabilirsiniz ). Eğit ve test et. Şimdi koşullu bağımsızlık varsayımını bırakın ve kodu değiştirin. Önceki modele göre eğitim, test ve karşılaştırma yapın.

— Nick
kaynak