Saf Bayes ve multinomial saf Bayes arasındaki fark

Daha önce Naive Bayes sınıflandırıcı ile çalıştım . Son zamanlarda Multinomial Naive Bayes hakkında okudum .

Ayrıca Posterior Olasılık = (Önceki * Olabilirlik) / (Kanıt) .

Naive Bayes ve Multinomial Naive Bayes arasında bulduğum tek önemli fark (bu sınıflandırıcıları programlarken)

Multinominal Naif Bayes olasılık olarak hesaplar bir kelime / jeton sayımı (rastgele değişken) ve Naif Bayes aşağıdaki gibi hesaplar olabilirlik:

görüntü tanımını buraya girin

Yanlışsam düzelt!

— Garak
kaynak

Aşağıdaki pdf'de

— B_Miner

Christopher D. Manning, Prabhakar Raghavan ve Hinrich Schütze. “ Bilgi Edinme Girişine Giriş. ” 2009, Metin sınıflandırma ve Naive Bayes bölüm 13 de iyidir.

— Franck Dernoncourt

Genel Naive Bayes terimi, modeldeki her bir özelliğin belirli bir dağılımından ziyade güçlü bağımsızlık varsayımlarını ifade eder. Naive Bayes modeli, kullandığı özelliklerin her birinin, bir sınıfa verilen şartlı olarak birbirinden bağımsız olduğunu varsayar. Daha resmi olarak, eğer Naive Bayes varsayımı altında, bazı sınıf c verildiğinde, ile arasındaki özellikleri gözlemleme olasılığını hesaplamak istersem , aşağıdakiler geçerlidir: $f_1$ $f_n$

p (f_{1}, . . ., f_{n} | c) = \prod_{i = 1}^{n} p (f_{i} | c)

$p(f_1,..., f_n|c) = \prod_{i=1}^n p(f_i|c)$

Bunun anlamı, yeni bir örneği sınıflandırmak için Naive Bayes modelini kullanmak istediğimde, arka olasılığın çalışılması daha kolay olduğu anlamına geliyor:

p (c | f_{1}, . . ., f_{n}) \propto p (c) p (f_{1} | c) . . . p (f_{n} | c)

$p(c|f_1,...,f_n) \propto p(c)p(f_1|c)...p(f_n|c)$

Elbette, bu bağımsızlık varsayımları nadiren doğrudur, bu da neden bazılarının modeli "Idiot Bayes" modeli olarak adlandırdığını açıklayabilir, ancak pratikte Naive Bayes modelleri, güçlü olanın açık olduğu karmaşık görevlerde bile şaşırtıcı derecede iyi performans göstermiştir. bağımsızlık varsayımları yanlıştır.

Bu noktaya kadar, her bir özelliğin dağılımı hakkında hiçbir şey söylemedik. Başka bir deyişle, tanımsız bıraktık . Multinomial Naive Bayes terimi bize her nin başka bir dağıtımdan ziyade bir multinom dağılım olduğunu bilmemizi sağlar . Bu, metindeki sözcük sayıları gibi kolayca sayıma dönüştürülebilen veriler için işe yarar. $p(f_i|c)$ $p(f_i|c)$

Naive Bayes sınıflandırıcınızla kullandığınız dağıtım bir Guassian pdf'dir, bu yüzden sanırım bir Guassian Naive Bayes sınıflandırıcı diyebilirsiniz.

Özetle, Naive Bayes sınıflandırıcısı, modeldeki özelliklerin her birinin koşullu bağımsızlığını ifade eden genel bir terimdir; Multinomial Naive Bayes sınıflandırıcısı, özelliklerin her biri için bir multinom dağılımını kullanan bir Naive Bayes sınıflandırıcısının belirli bir örneğidir.

Referanslar:

Stuart J. Russell ve Peter Norvig. 2003. Yapay Zeka: Modern Bir Yaklaşım (2 ed.). Pearson Eğitimi. Bakınız s. 499 "salak Bayes" referansına ve ayrıca Naive Bayes modelinin genel tanımına ve bağımsızlık varsayımlarına atıfta bulunmak için

— jlund3
kaynak

Bağlantılar koptu

— sessiz,

@ jlund3, Güzel açıklama için teşekkürler. Sınıflandırmada dağıtıma ilişkin bilgileri nasıl kullanırız? Yani, p (c | f1, ..., fn) ∝p (c) p (f1 | c) ... p (fn | c) fomulalarının bir Guassian dağılımına göre multimodal olmasına bağlı olarak nasıl değişiyor

— David,

Kısa açıklama için teşekkürler, ancak NB ve Yapay Zeka Teknikleri hakkında daha fazla bilgi için yukarıda belirtilen kitabı (Stuart J. Russell ve Peter Norvig. 2003. Yapay Zeka: Modern Bir Yaklaşım (2 ed.)) Tavsiye ediyorum.

— Mirani

multinom dağılımının sayısı bağımsız değildir. burada sorumu görün

— Hanan Shteingart

$P(x_i | c_j)$ $1 \leq i \leq n$ $1 \leq j \leq k$ $(i,j)$ $P(x_i|c_{j_1})$ $P(x_i | c_{j_2})$

Multinomial Naive Bayes, bazı durumlarda makul bir varsayım gibi görünen tüm çiftler için multinom dağılımını varsayar, örneğin belgelerde kelime sayımı.

— sjm.majewski
kaynak