Bir kayıp fonksiyonu ile karar fonksiyonu arasındaki fark nedir?

Her iki fonksiyon gibi veri madenciliği yöntemlerinin bir parçası olduğu görülmektedir Gradyan regressors arttırma. Bunların da ayrı nesneler olduğunu görüyorum.

Genel olarak ikisi arasındaki ilişki nasıl?

Bir karar işlevi , girdi olarak bir veri kümesi alır ve çıktı olarak bir karar veren bir fonksiyonudur. Kararın ne olabileceği eldeki soruna bağlıdır. Örnekler şunları içerir:

• Tahmin sorunları: "karar" tahmindir.
• Hipotez test problemleri: Karar, boş hipotezi reddetmek veya reddetmektir.
• Sınıflandırma problemleri: Karar, yeni bir gözlemi (veya gözlemleri) bir kategoriye sınıflandırmaktır.
• Model seçimi problemleri: Karar, aday modellerden birini seçmektir.

Genellikle, bir sorun için sınırsız sayıda karar işlevi vardır. Örneğin, İsveçli erkeklerin on gözlemine dayalı yüksekliğini tahmin etmekle ilgileniyorsak , aşağıdaki karar işlevlerinden herhangi birini kullanabiliriz d ( x ) :$\mathbf{x}=(x_1,x_2,\ldots,x_{10})$$d(\mathbf{x})$

• Örnek ortalama: .$d(\mathbf{x})=\frac{1}{10}\sum_{i=1}^{10}x_i$
• Numunenin ortancası: $d(\mathbf{x})=\mbox{median}(\mathbf{x})$
• Numunenin geometrik ortalaması: $d(\mathbf{x})=\sqrt[10]{x_1\cdots x_{10}}$
• İşlevi, her zaman 1 döndürür: olursa değerinin, x . Aptal, evet, ama yine de geçerli bir karar işlevidir.$d(\mathbf{x})=1$$\mathbf{x}$

O zaman bu karar işlevlerinden hangisinin kullanılacağını nasıl belirleyebiliriz? Bunun bir yolu, olası tüm kararlarla ilgili kaybı (veya maliyeti) tanımlayan bir kayıp işlevi kullanmaktır . Farklı karar fonksiyonları farklı tür hatalara yol açma eğilimindedir. Kayıp işlevi bize hangi tür hatalardan daha fazla endişe etmemiz gerektiğini söyler. En iyi karar işlevi, beklenen en düşük zararı veren işlevdir . Beklenen kayıp ile kastedilen, ayara bağlıdır (özellikle, sık veya Bayesian istatistiklerinden bahsettiğimizden ).

Özetle:

• Karar fonksiyonları verilere göre karar vermek için kullanılır.
• Kayıp fonksiyonları, hangi karar fonksiyonunun kullanılacağını belirlemek için kullanılır.

Kayıp fonksiyonu, bir anlamda optimal olan bir model elde etmek için en aza indirgenmiş olandır. Modelin kendisinin tahmin etmek için kullanılan bir karar işlevi vardır.

Örneğin, SVM sınıflandırıcılarında:

• kayıp fonksiyonu: Ayırıcı hiper düzlem hata ve kare normlarını en aza indirir$\mathcal{L}(\mathbf{w}, \xi) =\frac{1}{2}\|\mathbf{w}\|^2 + C\sum_i \xi_i$
• $f(\mathbf{x}) = \mathbf{w}^T\mathbf{x} + b$