Lojistik kayıp fonksiyonu için gradyan

Ben ilgili bir soru sormak istiyorum bu bir .

Burada xgboost için özel kayıp fonksiyonu yazma bir örnek buldum :

loglossobj <- function(preds, dtrain) {
  # dtrain is the internal format of the training data
  # We extract the labels from the training data
  labels <- getinfo(dtrain, "label")
  # We compute the 1st and 2nd gradient, as grad and hess
  preds <- 1/(1 + exp(-preds))
  grad <- preds - labels
  hess <- preds * (1 - preds)
  # Return the result as a list
  return(list(grad = grad, hess = hess))
}

Lojistik kayıp fonksiyonu

l o g (1 + e^{- y P})

$log(1+e^{-yP})$

burada log-olasılıktır ve etiketlerdir (0 veya 1). $P$ $y$

Benim sorum: nasıl degrade (birinci türev) sadece gerçek değerler ve tahmin edilen olasılıklar arasındaki farka (log-odds olarak hesaplanır) nasıl eşit olabiliriz preds <- 1/(1 + exp(-preds))?

— Ogurtsov
kaynak

Bunu başarmak için kare hata kaybını kullanmalısınız. Notasyonunuz kafa karıştırıcıdır ve yayında tanımlanmalıdır. Eğer öngörülen risk ise, o zaman kaybı istediğinizdir. Kafam karıştı, çünkü asla log-odds demek için kullanmıyoruz .

p

$p$

(y - p)^{2}

$(y-p)^2$

p

$p$

— AdamO

p

$p$ , sermaye sabitlendi . Log-odds'dur ve soruda açıkça belirtilmiştir. I fonksiyon kaybı bu gradyan biliyoruz olduğu ancak squred kaybı, lojistik değildir.

P

$P$

(y - f (x))^{2}

$(y-f(x))^2$

f (x) - y

$f(x)-y$

— Ogurtsov

"Degrade" dediğinizde, ne degrade demek istiyorsun? Kaybın gradyanı? Bir ifadenin türevi doğrusal bir farksa, ifadenin kuadratik bir fark veya kare şeklinde hata kaybı olduğu basit bir matematiksel ilişkidir.

— AdamO

Evet, her şey kaybın gradyanı ile ilgilidir. Kayıp fonksiyonu kare hatası olduğunda basittir. Bu durumda kayıp fonksiyonu lojistik kayıptır ( en.wikipedia.org/wiki/LogitBoost ) ve bu fonksiyonun gradyanı ile verilen kod örneği arasındaki ilişkiyi bulamıyorum.

— Ogurtsov

Soruma cevabım: evet, lojistik kayıp için eğimin gerçek değerler ile öngörülen olasılıklar arasındaki farka eşit olduğu gösterilebilir. Burada kısa bir açıklama bulundu .

Birincisi, lojistik kayıp sadece negatif log-olabilirliktir, bu yüzden log-olasılığının ifadesi ile başlayabiliriz ( s. 74 - bu ifade negatif log-olasılık olabilir, log-olasılık olabilir):

L = y_{i} \cdot l o g (p_{i}) + (1 - y_{i}) \cdot l o g (1 - p_{i})

$L=y_{i}\cdot log(p_{i})+(1-y_{i})\cdot log(1-p_{i})$

$p_{i}$ lojistik fonksiyonudur: ; burada öngörülen değerler lojistik dönüşümden önce (yani, log-odds): $p_{i}=\frac{1}{1+e^{-\hat{y}_{i}}}$ $\hat{y}_{i}$

L = y_{i} \cdot l o g (\frac{1}{1 + e^{- {\hat{y}}_{i}}}) + (1 - y_{i}) \cdot l o g (\frac{e^{- {\hat{y}}_{i}}}{1 + e^{- {\hat{y}}_{i}}})

$L=y_{i}\cdot log\left(\frac{1}{1+e^{-\hat{y}_{i}}}\right)+(1-y_{i})\cdot log\left(\frac{e^{-\hat{y}_{i}}}{1+e^{-\hat{y}_{i}}}\right)$

Wolfram Alpha kullanılarak elde edilen ilk türev:

L^{'} = \frac{y_{i} - (1 - y_{i}) \cdot e^{{\hat{y}}_{i}}}{1 + e^{{\hat{y}}_{i}}}

${L}'=\frac{y_{i}-(1-y_{i})\cdot e^{\hat{y}_{i}}}{1+e^{\hat{y}_{i}}}$

İle çarpılması sonra : $\frac{e^{-\hat{y}_{i}}}{e^{-\hat{y}_{i}}}$

L^{'} = \frac{y_{i} \cdot e^{- {\hat{y}}_{i}} + y_{i} - 1}{1 + e^{- {\hat{y}}_{i}}} = \frac{y_{i} \cdot (1 + e^{- {\hat{y}}_{i}})}{1 + e^{- {\hat{y}}_{i}}} - \frac{1}{1 + e^{- {\hat{y}}_{i}}} = y_{i} - p_{i}

${L}'=\frac{y_{i}\cdot e^{-\hat{y}_{i}}+y_{i}-1}{1+e^{-\hat{y}_{i}}}= \frac{y_{i}\cdot (1+e^{-\hat{y}_{i}})}{1+e^{-\hat{y}_{i}}}-\frac{1}{1+e^{-\hat{y}_{i}}}=y_{i}-p_{i}$

İşareti değiştirdikten sonra lojistik kayıp fonksiyonunun gradyanı için ifademiz var:

p_{i} - y_{i}

$p_{i}-y_{i}$

— Ogurtsov
kaynak

Ne diyorsun burada değil bir öngörü ama belirleyicileri doğrusal bir kombinasyonudur. Genelleştirilmiş doğrusal modellemede gösterimini kullanırız ve bu terimi "doğrusal yordayıcı" olarak adlandırırız. Mantıksallık (puan) türeviniz yanlış, paydada kare bir terim olmalı, çünkü bernoullis üstel bir olasılık oluşturur. Skor

\hat{y}

$\hat{y}$

y

$y$

ν

$\nu$

\frac{1}{p_{i} (1 - p_{i})} (y_{i} - p_{i})

$\frac{1}{p_i(1-p_i)}(y_i - p_i)$

— AdamO