Scikit Binom Sapma Kaybı İşlevi

Bu scikit GradientBoosting'in binom sapma kaybı fonksiyonudur,

   def __call__(self, y, pred, sample_weight=None):
        """Compute the deviance (= 2 * negative log-likelihood). """
        # logaddexp(0, v) == log(1.0 + exp(v))
        pred = pred.ravel()
        if sample_weight is None:
            return -2.0 * np.mean((y * pred) - np.logaddexp(0.0, pred))
        else:
            return (-2.0 / sample_weight.sum() *
                    np.sum(sample_weight * ((y * pred) - np.logaddexp(0.0, pred))))

Bu kayıp fonksiyonları 0 ile sınıf ve 1 ile sınıf arasında benzer değildir. Herkes bunun nasıl iyi kabul edildiğini açıklayabilir.

Örneğin, herhangi bir örnek ağırlığı olmadan, sınıf 1 için kayıp fonksiyonu

-2(pred - log(1 + exp(pred))

vs sınıf 0

-2(-log(1+exp(pred))

Bu ikisinin konusu maliyet açısından benzer değildir. Biri anlamama yardımcı olabilir mi?

Bu uygulamayı anlamak için iki gözlem gereklidir.

İlk olmasıdır predolduğu değil bir günlük oran ise, bir olasılık.

$P$sklearnpred$-2$

$$y \log(p) + (1-y) \log(1 - p) = \log(1 - p) + y \log \left( \frac{p}{1-p} \right)$$

$p = \frac{e^{P}}{1 + e^{P}}$$1-p = \frac{1}{1 + e^{P}}$$1$

$$\log(1-p) = \log \left( \frac{1}{1 + e^{P}} \right) = - \log(1 + e^{P})$$

ve

$$\log \left( \frac{p}{1-p} \right) = \log ( e^{P} ) = P$$

Tamamen, binom sapması eşittir

$$y P - \log( 1 + e^{P} )$$

Hangi denklemi sklearnkullanıyor.