Lojistik regresyon ortamında kare kayıp kullandığımda ne oluyor?

Bir oyuncak veri kümesi üzerinde ikili sınıflandırma yapmak için kare kaybı kullanmaya çalışıyorum.

mtcarsVeri seti kullanıyorum , iletim tipini tahmin etmek için galon başına mil ve ağırlık kullanıyorum. Aşağıdaki grafik, farklı renkteki iki tür iletim tipi verisini ve farklı kayıp fonksiyonu tarafından oluşturulan karar sınırını göstermektedir. Kare kayıp burada temel doğruluk etiketi (0 veya 1) ve tahmin edilen olasılık . Başka bir deyişle, lojistik kaybı sınıflandırma ortamında kare kaybı ile değiştiriyorum, diğer bölümler aynı. $\sum_i (y_i-p_i)^2$ $y_i$ $p_i$ $p_i=\text{Logit}^{-1}(\beta^Tx_i)$

mtcarsVerileri olan bir oyuncak örneği için , çoğu durumda, lojistik regresyona "benzer" bir model aldım (rasgele tohum 0 ile aşağıdaki şekle bakın).

Ancak bazı yerlerde (eğer yaparsak set.seed(1)), kare kaybı iyi çalışmıyor gibi görünüyor. Burada ne oluyor? Optimizasyon birleşmiyor mu? Lojistik kaybın karesi alınmış kayda göre optimize edilmesi daha mı kolay? Herhangi bir yardım mutluluk duyacağız.

kod

d=mtcars[,c("am","mpg","wt")]
plot(d$mpg,d$wt,col=factor(d$am))
lg_fit=glm(am~.,d, family = binomial())
abline(-lg_fit$coefficients[1]/lg_fit$coefficients[3],
       -lg_fit$coefficients[2]/lg_fit$coefficients[3])
grid()

# sq loss
lossSqOnBinary<-function(x,y,w){
  p=plogis(x %*% w)
  return(sum((y-p)^2))
}

# ----------------------------------------------------------------
# note, this random seed is important for squared loss work
# ----------------------------------------------------------------
set.seed(0)

x0=runif(3)
x=as.matrix(cbind(1,d[,2:3]))
y=d$am
opt=optim(x0, lossSqOnBinary, method="BFGS", x=x,y=y)

abline(-opt$par[1]/opt$par[3],
       -opt$par[2]/opt$par[3], lty=2)
legend(25,5,c("logisitc loss","squared loss"), lty=c(1,2))

— Haitao Du
kaynak

Belki de rastgele başlangıç değeri zayıftır. Neden daha iyi bir tane seçmiyorsunuz?

— whuber

@whuber lojistik kaybı dışbükeydir, bu nedenle başlangıç önemli değildir. p ve y'de kare kaybı ne olacak? dışbükey mi?

— Haitao Du

Tarif ettiğin şeyi çoğaltamıyorum. optimbitmediğini söyler, hepsi bu: yakınsama. Kodunuzu ek argümanla yeniden çalıştırarak control=list(maxit=10000), uyumunu çizerek ve katsayılarını orijinal kodlarla karşılaştırarak çok şey öğrenebilirsiniz .

— whuber

@amoeba yorumlarınız için teşekkür ederim, soruyu revize ettim. umarım daha iyidir.

— Haitao Du

@amoeba Efsaneyi gözden geçireceğim, ancak bu ifade düzeltilmeyecek mi (3)? "Mtcars veri seti kullanıyorum, şanzıman tipini tahmin etmek için galon başına mil ve ağırlık kullanıyorum. Aşağıdaki grafikte, farklı renklerde iki tür iletim tipi verisi ve farklı kayıp fonksiyonu tarafından oluşturulan karar sınırı gösterilmektedir."

— Haitao Du

Yanıtlar:

Sorunu kendi örneğinizde çözdüğünüz anlaşılıyor, ancak bence en küçük kareler ile maksimum olabilirlik lojistik regresyonu arasındaki farkın daha dikkatli bir şekilde incelenmesine değer.

Biraz gösterim alalım. Let ve . Maksimum olabilirlik (veya burada yaptığım gibi minimum negatif günlük olasılığı) yapıyorsak, ile bağlantı fonksiyonumuzdur . $L_S(y_i, \hat y_i) = \frac 12(y_i - \hat y_i)^2$ $L_L(y_i, \hat y_i) = y_i \log \hat y_i + (1 - y_i) \log(1 - \hat y_i)$

{\hat{β}}_{L} := {argmin}_{b \in R^{p}} - \sum_{i = 1}^{n} y_{i} \log g^{- 1} (x_{i}^{T} b) + (1 - y_{i}) \log (1 - g^{- 1} (x_{i}^{T} b))

$\hat \beta_L := \text{argmin}_{b \in \mathbb R^p} -\sum_{i=1}^n y_i \log g^{-1}(x_i^T b) + (1-y_i)\log(1 - g^{-1}(x_i^T b))$

g

$g$

Alternatif olarak en küçük kareler çözeltisi olarak. Böylece minimize eder için ve benzer .

{\hat{β}}_{S} := {argmin}_{b \in R^{p}} \frac{1}{2} \sum_{i = 1}^{n} (y_{i} - g^{- 1} (x_{i}^{T} b))^{2}

$\hat \beta_S := \text{argmin}_{b \in \mathbb R^p} \frac 12 \sum_{i=1}^n (y_i - g^{-1}(x_i^T b))^2$

{\hat{β}}_{S}

$\hat \beta_S$

L_{S}

$L_S$

L_{L}

$L_L$

Let ve minimize tekabül objektif fonksiyonları olmak ve sırasıyla için yapılır ve . Son olarak, öyleyse . Standart bağlantıyı kullanırsak, geldiğini unutmayın $f_S$ $f_L$ $L_S$ $L_L$ $\hat \beta_S$ $\hat \beta_L$ $h = g^{-1}$ $\hat y_i = h(x_i^T b)$

h (z) = \frac{1}{1 + e^{- z}} ⟹ h^{'} (z) = h (z) (1 - h (z)) .

$h(z) = \frac{1}{1+e^{-z}} \implies h'(z) = h(z) (1 - h(z)).$

Düzenli lojistik regresyon için Kullanma biz bu basitleştirebilir yani

\frac{\partial f_{L}}{\partial b_{j}} = - \sum_{i = 1}^{n} h^{'} (x_{i}^{T} b) x_{i j} (\frac{y_{i}}{h (x_{i}^{T} b)} - \frac{1 - y_{i}}{1 - h (x_{i}^{T} b)}) .

$\frac{\partial f_L}{\partial b_j} = -\sum_{i=1}^n h'(x_i^T b)x_{ij} \left( \frac{y_i}{h(x_i^T b)} - \frac{1-y_i}{1 - h(x_i^T b)}\right).$

h^{'} = h \cdot (1 - h)

$h' = h \cdot (1 - h)$

\frac{\partial f_{L}}{\partial b_{j}} = - \sum_{i = 1}^{n} x_{i j} (y_{i} (1 - {\hat{y}}_{i}) - (1 - y_{i}) {\hat{y}}_{i}) = - \sum_{i = 1}^{n} x_{i j} (y_{i} - {\hat{y}}_{i})

$\frac{\partial f_L}{\partial b_j} = -\sum_{i=1}^n x_{ij} \left( y_i(1 - \hat y_i) - (1-y_i)\hat y_i\right) = -\sum_{i=1}^n x_{ij}(y_i - \hat y_i)$

\nabla f_{L} (b) = - X^{T} (Y - \hat{Y}) .

$\nabla f_L(b) = -X^T (Y - \hat Y).$

Sonra ikinci türevleri yapalım. Hessen

H_{L} := \frac{\partial^{2} f_{L}}{\partial b_{j} \partial b_{k}} = \sum_{i = 1}^{n} x_{i j} x_{i k} {\hat{y}}_{i} (1 - {\hat{y}}_{i}) .

$H_L:= \frac{\partial^2 f_L}{\partial b_j \partial b_k} = \sum_{i=1}^n x_{ij} x_{ik} \hat y_i (1 - \hat y_i).$

Bu araçlarının . , mevcut takılmış değerlere bağlı, ancak düştü ve . Dolayısıyla optimizasyon problemimiz .

H_{L} = X^{T} A X

$H_L = X^T A X$

A = diag (\hat{Y} (1 - \hat{Y}))

$A = \text{diag} \left(\hat Y (1 - \hat Y)\right)$

H_{L}

$H_L$

\hat{Y}

$\hat Y$

Y

$Y$

H_{L}

$H_L$

b

$b$

Bunu en küçük karelerle karşılaştıralım.

\frac{\partial f_{S}}{\partial b_{j}} = - \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i}) h^{'} (x_{i}^{T} b) x_{i j} .

$\frac{\partial f_S}{\partial b_j} = - \sum_{i=1}^n (y_i - \hat y_i) h'(x^T_i b)x_{ij}.$

Bu demektir ki Bu hayati bir noktadır: degrade tüm dışında neredeyse aynıdır , bu nedenle temelde degradeyi göre düzleştiriyoruz . Bu, yakınsamayı yavaşlatacaktır.

\nabla f_{S} (b) = - X^{T} A (Y - \hat{Y}) .

$\nabla f_S(b) = -X^T A (Y - \hat Y).$

i

$i$

{\hat{y}}_{i} (1 - {\hat{y}}_{i}) \in (0, 1)

$\hat y_i (1 - \hat y_i) \in (0,1)$

\nabla f_{L}

$\nabla f_L$

Hessian için önce

\frac{\partial f_{S}}{\partial b_{j}} = - \sum_{i = 1}^{n} x_{i j} (y_{i} - {\hat{y}}_{i}) {\hat{y}}_{i} (1 - {\hat{y}}_{i}) = - \sum_{i = 1}^{n} x_{i j} (y_{i} {\hat{y}}_{i} - (1 + y_{i}) {\hat{y}}_{i}^{2} + {\hat{y}}_{i}^{3}) .

$\frac{\partial f_S}{\partial b_j} = - \sum_{i=1}^n x_{ij}(y_i - \hat y_i) \hat y_i (1 - \hat y_i) = - \sum_{i=1}^n x_{ij}\left( y_i \hat y_i - (1+y_i)\hat y_i^2 + \hat y_i^3\right).$

Bu bizi

H_{S} := \frac{\partial^{2} f_{S}}{\partial b_{j} \partial b_{k}} = - \sum_{i = 1}^{n} x_{i j} x_{i k} h^{'} (x_{i}^{T} b) (y_{i} - 2 (1 + y_{i}) {\hat{y}}_{i} + 3 {\hat{y}}_{i}^{2}) .

$H_S:=\frac{\partial^2 f_S}{\partial b_j \partial b_k} = - \sum_{i=1}^n x_{ij} x_{ik} h'(x_i^T b) \left( y_i - 2(1+y_i)\hat y_i + 3 \hat y_i^2 \right).$

Let . Şimdi $B = \text{diag} \left( y_i - 2(1+y_i)\hat y_i + 3 \hat y_i ^2 \right)$

H_{S} = - X^{T} A B X .

$H_S = -X^T A B X.$

Ne yazık ki, bizim için ağırlıklar negatif olmayan olmasını garanti değildir: eğer sonra pozitif olan iff . Benzer şekilde, daha sonra pozitif olduğunda ( için de olumludur, ancak bu mümkün değildir). Bu, mutlaka PSD olmadığı anlamına gelir , bu yüzden sadece öğrenmeyi zorlaştıracak degradelerimizi , aynı zamanda problemimizin dışbükeyliğini de bozduk. $B$ $y_i = 0$ $y_i - 2(1+y_i)\hat y_i + 3 \hat y_i ^2 = \hat y_i (3 \hat y_i - 2)$ $\hat y_i > \frac 23$ $y_i = 1$ $y_i - 2(1+y_i)\hat y_i + 3 \hat y_i ^2 = 1-4 \hat y_i + 3 \hat y_i^2$ $\hat y_i < \frac 13$ $\hat y_i > 1$ $H_S$

Sonuçta, lojistik regresyonun bazen en az kareler ile veya yakın yeterli değerlere sahip böylece oldukça küçük olabilir ve bu nedenle gradyan oldukça düzleştirilmiş. $0$ $1$ $\hat y_i (1 - \hat y_i)$

Bunu sinir ağlarına bağlamak, mütevazı bir lojistik regresyon olmasına rağmen, kare kayıpla Goodfellow, Bengio ve Courville'in aşağıdakileri yazarken Derin Öğrenme kitabında ne gibi bir şey yaşadığını düşünüyorum :

Sinir ağı tasarımı boyunca tekrar eden bir tema, maliyet fonksiyonunun gradyanının, öğrenme algoritması için iyi bir rehber görevi görecek kadar büyük ve öngörülebilir olması gerektiğidir. Doygunluğu çok küçük hale getirdikleri için doygun (çok düz hale gelen) işlevler bu hedefi zayıflatır. Çoğu durumda bu, gizli birimlerin veya çıkış birimlerinin çıktısını üretmek için kullanılan etkinleştirme işlevlerinin doymuş olması nedeniyle olur. Negatif log olasılığı, birçok model için bu sorunun önlenmesine yardımcı olur. Birçok çıktı birimi, argümanı çok olumsuz olduğunda doyurabilecek bir exp işlevi içerir. Negatif log olabilirlik maliyeti işlevindeki log işlevi, bazı çıktı birimlerinin sürekliliğini geri alır. Maliyet fonksiyonu ile çıktı birimi seçimi arasındaki etkileşimi Sn. 6.2.2.

ve 6.2.2'de,

Ne yazık ki, ortalama kare hatası ve ortalama mutlak hata, gradyan tabanlı optimizasyonla kullanıldığında genellikle kötü sonuçlara yol açar. Doymuş olan bazı çıktı birimleri, bu maliyet fonksiyonları ile birleştirildiğinde çok küçük eğimler üretir. Çapraz entropi maliyet fonksiyonunun, dağılımının tamamını tahmin etmek gerekli olmasa bile ortalama kare hatadan veya ortalama mutlak hatadan daha popüler olmasının bir nedeni budur . $p(y|x)$

(her iki alıntı da bölüm 6'dan alınmıştır).

— JLD
kaynak

Türev ve kendir türetmemde bana gerçekten yardımcı oldum. Yarın daha dikkatli kontrol edeceğim.

— Haitao Du

@ hxd1011 çok hoş geldiniz ve bu eski sorunuzun bağlantısı için teşekkürler! Ben gerçekten bu daha dikkatli geçmesi için anlam oldu bu yüzden bu harika bir bahane oldu :)

— jld

Matematiği dikkatlice okudum ve kodla doğruladım. Kare kaybı için Hessian'ın sayısal yaklaşımla eşleşmediğini buldum. Kontrol edebilir misin? İsterseniz kodu göstermekten çok mutluyum.

— Haitao Du

@ hxd1011 Tekrar türetme işlemini gerçekleştirdim ve bir işaret hatası olduğunu düşünüyorum : için olduğu her yerde . Tekrar kontrol edip düzeltip düzeltmediğini söyleyebilir misiniz? Düzeltme için çok teşekkürler.

H_{S}

$H_S$

y_{i} - 2 (1 - y_{i}) {\hat{y}}_{i} + 3 {\hat{y}}_{i}^{2}

$y_i - 2(1-y_i)\hat y_i + 3 \hat y_i^2$

y_{i} - 2 (\underset{⏟}{1 + y_{i}}) {\hat{y}}_{i} + 3 {\hat{y}}_{i}^{2}

$y_i - 2(\underbrace{1+y_i})\hat y_i + 3 \hat y_i^2$

— jld

@ hxd1011 düzeltti sevindim! bulduğunuz için tekrar teşekkürler

— jld

Yardım için @whuber ve @Chaconne'a teşekkür ederim. Özellikle @Chaconne, bu türev yıllarca olmasını istediğim şey.

Sorun optimizasyon bölümünde. Rastgele çekirdeği 1 olarak ayarlarsak, varsayılan BFGS çalışmaz. Ancak algoritmayı değiştirir ve maksimum yineleme numarasını değiştirirsek, tekrar çalışır.

@Chaconne'den bahsedildiği gibi, problem sınıflandırma için kare kaybı dışbükey değildir ve optimize edilmesi daha zordur. @ Chaconne'nin matematiğini eklemek için, lojistik kayıp ve kare kayıp üzerine bazı görselleştirmeler sunmak istiyorum.

mtcarsOrijinal oyuncak örneğinin kesişme dahil katsayısı olduğu için demo verilerini değiştireceğiz . Bu veri setinde üretilen başka bir oyuncak veri seti kullanacağız , görselleştirme için daha iyi olan parametre ayarladık . $3$ mlbench $2$

İşte demo

Veriler sol şekilde gösterilmektedir: iki renkte iki sınıfımız var. x, y veri için iki özelliktir. Ek olarak kırmızı çizgiyi lojistik kayıptan doğrusal sınıflandırıcıyı, mavi çizgi ise kare kayıptan doğrusal sınıflandırıcıyı temsil eder.
Ortadaki şekil ve sağdaki şekil lojistik kayıp (kırmızı) ve kare kayıp (mavi) için konturu gösterir. x, y taktığımız iki parametredir. Nokta, BFGS tarafından bulunan en uygun noktadır.

Konturdan, kare kaybını optimize etmenin neden daha zor olduğunu kolayca görebiliriz: Chaconne'nin belirttiği gibi, dışbükey değildir.

İşte persp3d'den bir görünüm daha.

kod

set.seed(0)
d=mlbench::mlbench.2dnormals(50,2,r=1)
x=d$x
y=ifelse(d$classes==1,1,0)

lg_loss <- function(w){
  p=plogis(x %*% w)
  L=-y*log(p)-(1-y)*log(1-p)
  return(sum(L))
}
sq_loss <- function(w){
  p=plogis(x %*% w)
  L=sum((y-p)^2)
  return(L)
}

w_grid_v=seq(-15,15,0.1)
w_grid=expand.grid(w_grid_v,w_grid_v)

opt1=optimx::optimx(c(1,1),fn=lg_loss ,method="BFGS")
z1=matrix(apply(w_grid,1,lg_loss),ncol=length(w_grid_v))

opt2=optimx::optimx(c(1,1),fn=sq_loss ,method="BFGS")
z2=matrix(apply(w_grid,1,sq_loss),ncol=length(w_grid_v))

par(mfrow=c(1,3))
plot(d,xlim=c(-3,3),ylim=c(-3,3))
abline(0,-opt1$p2/opt1$p1,col='darkred',lwd=2)
abline(0,-opt2$p2/opt2$p1,col='blue',lwd=2)
grid()
contour(w_grid_v,w_grid_v,z1,col='darkred',lwd=2, nlevels = 8)
points(opt1$p1,opt1$p2,col='darkred',pch=19)
grid()
contour(w_grid_v,w_grid_v,z2,col='blue',lwd=2, nlevels = 8)
points(opt2$p1,opt2$p2,col='blue',pch=19)
grid()


# library(rgl)
# persp3d(w_grid_v,w_grid_v,z1,col='darkred')

— Haitao Du
kaynak

İlk figürünüzün üçüncü alt bölümünde herhangi bir dışbükeylik görmüyorum ...

— amip diyor Reinstate Monica

@amoeba Dışbükey konturun elips gibi olduğunu düşündüm, iki U şekilli eğri arka arkaya dışbükey değil, doğru mu?

— Haitao Du

Hayır neden? Belki daha büyük bir elips benzeri konturun bir parçasıdır? Yani, çok dışbükey olmayabilir, sadece bu özel figürde görmediğimi söylüyorum.

— amip: Reinstate Monica