Bayes Sınıflandırıcı neden ideal sınıflandırıcıdır?

Kategorilerin altında yatan olasılık yapısının mükemmel olarak bilindiği ideal bir durum olarak kabul edilir.

Neden Bayes sınıflandırıcısı ile elde edilebilecek en iyi performansı elde ediyoruz?

Bunun resmi kanıtı / açıklaması nedir? Her zaman Bayes sınıflandırıcısını diğer tüm sınıflandırıcıların performansını karşılaştırmak için bir referans olarak kullandığımızdan.

Neden Bayes sınıflandırıcısı ile elde edilebilecek en iyi performansı elde ediyoruz? Bunun resmi kanıtı / açıklaması nedir?

Genellikle, bir veri kümesi $D$ oluşur düşünülmektedir $n$ IID örnekleri $x_i$ veri üreten bir dağılım. Daha sonra, belirli bir veri, bir tahmin modelini oluşturmak: örnek verilen $x_i$ , sınıf tahmin f ( x i ) numunenin gerçek sınıf ise f ( x i ) .$\hat{f}(x_i)$$f(x_i)$

Ancak, teorik olarak, bir belirli model seçmek için değil karar verebilir f seçilmiş değil, düşünün tüm olası modeller f defada ve bir içine nasılsa bunları birleştirmek büyük modeli F .$\hat{f}_\text{chosen}$$\hat{f}$$\hat F$

Tabii ki, veri verilmiş, birçok küçük MODELLS oldukça imkansız veya uygunsuz olabilir (örneğin, hedefin birden değerler veri kümesi içinde bulunmasına rağmen, hedefin yalnızca bir değer tahmin modelleri $D$ ).

Her durumda, $x_i$ s ile aynı dağılımdan alınan yeni örneklerin hedef değerini tahmin etmek istersiniz . İyi bir ölçü $e$ modeline performansı olacaktır

$$e(\text{model}) = P[f(X) = \text{model}(X)]\text{,}$$ örneğin, bir rastgele örneklenmiş için de geçerlidir hedef değeri tahmin olasılığı $X$ .

Bayes formülünü kullanarak, D verisi verildiğinde, yeni bir $x$ örneğinin $v$ hedef değerine sahip olma olasılığının ne olduğunu hesaplayabilirsiniz :$D$

$$P(v\mid D) = \sum_{\hat{f}} P(v\mid \hat{f}) P(\hat{f}\mid D)\text{.}$$ Kişi bunu vurgulamalı

• Genellikle $P(v\mid \hat{f})$ ya olduğu $0$ ya da $1$ , çünkü ön bir belirleyici fonksiyonu olan x ,$\hat{f}$$x$
• Genellikle, ancak hemen hemen tüm bu tahmin etmek imkansız zamandır $P(\hat{f}\mid D)$ (yukarıda bahsedilen önemsiz durumlar hariç),
• $\hat{f}$

$P(v\mid D)$

$x$

$$\hat{v} = \text{argmax}_v \sum_{\hat{f}} P(v\mid \hat{f}) P(\hat{f}\mid D)\text{.}$$ $v$$e(\hat{f})$

Her zaman Bayes sınıflandırıcısını diğer tüm sınıflandırıcıların performansını karşılaştırmak için bir referans olarak kullandığımızdan.

$P(v\mid D)$

$C_T$$C_P$

$X$$X$$x$

$$P(C_T=C_P) = \int_{\text{all possible $X$}} f(x)P(C_T=C_P|x) \text{d}x$$

$f(x)$$X$

$x$

$x$$P(C_T=C_P|x)$$x$