Naive Bayes modelinde yumuşatma

Bir Naif Bayes öngörüsü bu formülü kullanarak tahminlerini yapar:

P (Y = y | X = x) = α P (Y = y) \prod_{i} P (X_{i} = x_{i} | Y = y)

$P(Y=y|X=x) = \alpha P(Y=y)\prod_i P(X_i=x_i|Y=y)$

burada normalleştirici bir faktördür. Bu , verilerden parametrelerinin tahmin edilmesini gerektirir . Bunu -smoothing ile yaparsak, tahmini alırız $\alpha$ $P(X_i=x_i|Y=y)$ $k$

\hat{P} (X_{i} = x_{i} | Y = y) = \frac{# {X_{i} = x_{i}, Y = y} + k}{# {Y = y} + n_{i} k}

$\hat{P}(X_i=x_i|Y=y) = \frac{\#\{X_i=x_i,Y=y\} + k}{\#\{Y=y\}+n_ik}$

burada için olası değer vardır . Bununla iyiyim. Ancak, daha önce, $n_i$ $X_i$

\hat{P} (Y = y) = \frac{# {Y = y}}{N}

$\hat{P}(Y=y) = \frac{\#\{Y=y\}}{N}$

burada veri setinde örnek vardır . Neden öncekileri de düzeltmiyoruz? Daha doğrusu, do biz önce pürüzsüz? Eğer öyleyse, hangi düzeltme parametresini seçiyoruz? Farklı bir hesaplama yaptığımız için seçmek de biraz aptalca görünüyor . Bir fikir birliği var mı? Yoksa çok önemli değil mi? $N$ $k$

machine-learning probability-theory statistics

— Chris Taylor
kaynak

$\#\{X_i = x_i | Y = y\} = 0$ $P(Y=y|X=x) = 0$

Bu, örneğin, eğitim verilerinizde olmayan veya belirli bir sınıfta görünmeyen bir kelimeyle karşılaştığınız metin belgelerini sınıflandırdığınızda olur.

$P(Y = y)$

$k$

— alto
kaynak

Genel olarak düzgünleştirmenin nedeni, verilerin fazla takılmasını önlemektir. Bir sınıfın sayısının sıfır olduğu durum sadece belirli bir fazlalık durumudur (bu özellikle kötüdür). Her sınıf gözlemlendiğinde olasılıkları düzeltmek isteyebilirsiniz. Görünen asimetri tarafından rahatsız olduğumu düşünüyorum - Laplace yumuşatma veri kümenizde ekstra gözlemler olduğunu varsayar. Öncekine uyurken neden bu gözlemleri görmezden geliyorsun?

— Chris Taylor

P (Y = y)

$P(Y = y)$

P (X_{i} = x_{i} | Y = y)

$P(X_i = x_i | Y = y)$

"bu durum meydana gelmemelidir. Eğer böyle bir şey olursa, bu, eğitim verilerinde bile görünmeyen sınıflara nesne atamaya çalıştığınız anlamına gelir". Ahh ... bir sınıflandırıcı daha önce hiç görmediği bir sınıfa nasıl bir nesne atayacaktır (yani, eğitim verilerinde değil)?

— Jemenake

@Jemenake Sorun normal olarak Sıfır Atış öğrenme olarak adlandırılır, örneğin bkz. Anlamsal Çıktı Kodları ile Sıfır Atış Öğrenme

— alto

eğitim veri setini kullanarak modeli eğittiğimizde, eğitim veri setinde yer alan kelimeleri kullanarak bir kelime haznesi oluşturabiliriz, neden test setinde tahminler yaparken neden sadece kelime hazinesinde olmayan yeni kelimeleri kaldırmıyorsunuz?

— avokado