Makine öğreniminde Bayes Hatası nedir?

http://www.deeplearningbook.org/contents/ml.html Sayfa 116, bayes hatasını aşağıdaki gibi açıklar

İdeal model, verileri üreten gerçek olasılık dağılımını bilen bir kahin. Böyle bir model bile birçok problemde hala hataya neden olacaktır, çünkü dağıtımda hala gürültü olabilir. Denetimli öğrenme durumunda, x'den y'ye eşleme doğal olarak stokastik olabilir veya y, x'e dahil olanların yanı sıra diğer değişkenleri de içeren deterministik bir fonksiyon olabilir. Gerçek p (x, y) dağılımından tahminlerde bulunan bir kehanette meydana gelen hataya Bayes hatası denir.

Sorular

1. Lütfen Bayes hatasını sezgisel olarak açıklayınız?
2. İndirgenemez hatadan farkı nedir?
3. Toplam hata = Sapma + Varyans + Bayes hatası diyebilir miyim?
4. "Y doğal olarak stokastik olabilir" ne anlama gelir?

Bayes hatası, elde edilebilecek olası en düşük tahmin hatasıdır ve indirgenemez hata ile aynıdır. Kişi hangi sürecin veriyi ürettiğini tam olarak bilirse, işlem rastgele ise hatalar yine de yapılır. " doğal olarak stokastiktir" ile kastedilen de budur .$y$

Örneğin, adil bir parayı çevirirken, hangi sürecin sonucu ürettiğini tam olarak biliyoruz (binom dağılımı). Bununla birlikte, bir dizi madeni para sonucunun sonucunu tahmin edersek, yine de hatalar yaparız, çünkü süreç doğal olarak rastgele (yani stokastik).

Diğer sorunuza cevap vermek için, toplam hatanın (kare) sapma, varyans ve indirgenemez hatanın toplamı olduğunu belirtmeniz doğrudur. Bu üç kavramın anlaşılması kolay bir açıklama için bu makaleye de bakın .

Gönderen https://www.cs.helsinki.fi/u/jkivinen/opetus/iml/2013/Bayes.pdf . Sınıflandırma görevi için bayes hatası şu şekilde tanımlanır:

$min_f=Cost(f)$

Bayes Sınıflandırıcı şu şekilde tanımlanır: $argmin_f=Cost(f)$

Yani toplam hata = bayes hatası + modelinizin bayes hatasından ne kadar kötü olduğu Önyargı + Varyans + Bayes hatası, modelinize ve "dağıtım gürültüsünün" doğasına bağlı olabilir$\not\equiv$

"Y doğal olarak stokastik olabilir" ne anlama gelir? Örneğin, . Ancak y olarak topladığınız şey her zaman olarak kirlenir , burada Yani gerçek y'yi bilmenin hiçbir yolu yoktur ve sahip olduğunuz maliyet tahmini doğal olarak kirlenmiş. Oracle bile size doğru cevabı verir, yanlış olduğunu düşünürsünüz.$y=f(x)=sin(x)$$\tilde{y}=y+t$$t\sim N(0, \sigma^2)$