Saf bayes sınıflandırıcısı neden 0-1 kaybı için optimal?

Naive Bayes sınıflandırıcısı, sınıf üyeliği için arka değerini en üst düzeye çıkararak öğelerini bir sınıfına atayan ve öğelerin özelliklerinin bağımsız olduğunu varsayan sınıflandırıcıdır . $x$ $C$ $P(C|x)$

0-1 kaybı, herhangi bir yanlış sınıflandırmaya "1" kaybı ve doğru sınıflandırmaya "0" kaybı atayan kayıptır.

Sık sık (1) "Naive Bayes" Sınıflandırıcısının 0-1 kaybı için en uygun olduğunu okudum. Bu neden doğru?

(1) Örnek bir kaynak: Bayes sınıflandırıcısı ve Bayes hatası

" Sık sık" Naive Bayes "Sınıflandırıcısının 0-1 kaybı için en uygun olduğunu okudum " ifadesine referans verebilir misiniz? Geçmişte bu tür bir ifadeyi nerede okumuş olabilirsiniz

— Jon

düzenlenmiş, örnek bir kaynak eklenmiştir

Aslında bu oldukça basit: Bayes sınıflandırıcısı, posteriori meydana gelme olasılığı en yüksek olan sınıfı seçer ( maksimum posteriori tahmini olarak adlandırılır ). 0-1 kayıp fonksiyonu ceza verir Hatalı sınıflandırma, doğru sınıflandırmaların büyük numarası vardır çözümüne en küçük kaybı atar yani. Yani her iki durumda da tahmin etme modundan bahsediyoruz . Modun veri kümesindeki en yaygın değer veya en olası değer olduğunu hatırlayın , bu nedenle hem posterior olasılığı en üst düzeye çıkarmak hem de 0-1 kaybını en aza indirmek modu tahmin etmeye yol açar.

Resmi bir kanıta ihtiyacınız varsa, bu kanıt Angela J. Yu tarafından Bayesçi Karar Teorisine Giriş belgesinde verilmiştir :

0-1 ikili kayıp işlevi aşağıdaki forma sahiptir:

$l_{x} (\hat{s}, s^{*}) = 1 - δ_{\hat{s} s^{*}} = {\begin{cases} 1 & if \hat{s} \neq s^{*} \\ 0 & otherwise \end{cases}$ $l_\boldsymbol{x}(\hat s, s^*) = 1 - \delta_{\hat ss^*} = \begin{cases} 1 & \text{if} \quad \hat s \ne s^* \\ 0 & \text{otherwise} \end{cases}$
nerede Kronecker Delta işlevidir. (...) beklenen zarar: $\delta$

$\begin{aligned} L_{x} (\hat{s}) & = \sum_{s^{*}} l_{x} (\hat{s}, s^{*}) P (s = s^{*} ∣ x) \\ = \sum_{s^{*}} (1 - δ_{\hat{s} s^{*}}) P (s = s^{*} ∣ x) \\ = \sum_{s^{*}} P (s = s^{*} ∣ x) d s^{*} - \sum_{s^{*}} δ_{\hat{s} s^{*}} P (s = s^{*} ∣ x) \\ = 1 - P (s = s^{*} ∣ x) \end{aligned}$ $\begin{align} \mathcal{L}_\boldsymbol{x}(\hat s) &= \sum_{s^*} l_\boldsymbol{x}(\hat s, s^*) \; P(s = s^* \mid \boldsymbol{x}) \\ &= \sum_{s^*} (1 - \delta_{\hat ss^*}) \; P(s = s^* \mid \boldsymbol{x}) \\ &= \sum_{s^*} P(s = s^* \mid \boldsymbol{x}) ds^* - \sum_{s^*} \delta_{\hat ss^*} P(s = s^* \mid \boldsymbol{x}) \\ &= 1 - P(s = s^* \mid \boldsymbol{x}) \end{align}$

Bu, genel olarak maksimum posteriori tahmin için geçerlidir. Yani eğer bilirseniz geçmişteki dağılımı daha sonra 0-1 kaybını varsayarak en optimal sınıflandırma kuralı arka dağılımının modu almaktır, bir diyoruz optimum Bayes sınıflandırıcı . Gerçek hayatta genellikle posterior dağılımı bilmiyoruz, aksine tahmin ediyoruz. Naive Bayes sınıflandırıcısı ampirik dağılıma bakarak ve öngörücülerin bağımsızlığını varsayarak optimal sınıflandırıcıya yaklaşır. Bu yüzden saf Bayes sınıflandırıcısının kendisi optimal değildir, ancak en uygun çözüme yaklaşır. Sorunuzda bu iki şeyi karıştırıyorsunuz.

— Tim
kaynak

Sanırım anlıyorum: Yani resmi kanıt Kayıp çizgileri boyunca bir şey olurdu (action_1) = 1-P (action_2 | data) <--- bunu en aza indirmek istiyoruz. Bunu en aza indirmek, yine doğru sınıfın önceliğini en üst düzeye çıkarmak (yani P'yi (action_2 | data) en üst düzeye çıkarmak) eşittir. Bir veri örneğinin bir sınıfa atanması için Veri örneğimizi her zaman daha yüksek arkaya sahip sınıfa atamayı seçersek, otomatik olarak bu

@TestGuest resmi kanıt için düzenlememi kontrol et.

— Tim

Bu böyle bir kanıt için gördüğüm en karmaşık formalizm :)) teşekkür ederim, umarım başkalarına da yardımcı olur.