L1 kayıp fonksiyonunu kullanarak R'de (lojistik?) Regresyonu nasıl eğitebilirim?

RKullanarak lojistik regresyon eğitebilirim

glm(y ~ x, family=binomial(logit)))

ancak, IIUC, bu günlük olasılığını optimize eder.

Modeli doğrusal ( ) kayıp fonksiyonunu kullanarak eğitmenin bir yolu var mı (bu durumda toplam varyasyon mesafesi ile aynıdır )? $L_1$

Yani, sayısal bir vektör ve bir bit (mantıksal) vektör verildiğinde , monotonik (aslında artan) bir işlev kisimge durumuna küçültülür. $x$ $y$ $f$ $\sum |f(x)-y|$

Ayrıca bakınız

L1 kayıp fonksiyonunu kullanarak R'de lojistik regresyonu nasıl eğitebilirim?

logistic

— sds
kaynak

İstediğiniz şey mevcut değildir ve açık sözlü olmak pek mantıklı değildir. Alternatifleri tartışabiliriz, ancak ne yapmaya çalıştığınızı daha ayrıntılı bir şekilde belirtmeniz gerekir. Neden L1 kaybı olan bir lojistik modele uyum sağlamak istiyorsunuz?

— user603

@ user603: Kullandığım Modelimin değerlendirmek istiyoruz TVD

— sds

Binom olarak dağıtılmış verilere uymak yerine verilere lojistik bir eğri yerleştirmekten bahsediyorsunuz , yani bir tür doğrusal olmayan regresyon , ancak normundan ziyade kullanmaktan . Gerçekten, kayıp fonksiyonumaksimum değerin olmadığını gösterir (bu durumda binom GLM'yi yanıltıcıya gönderme yapar). Gerçekten eğer Öte yandan, bir 0-1 kısıtlı, kayıp fonksiyonu mantıklı değil. Gerçek durumunuzun detaylarını verir misiniz lütfen?

L_{1}

$L_1$

L_{2}

$L_2$

\sum | f (x) - y |

$\sum |f(x)-y|$

1

$1$

— Glen_b

Lütfen bu notu yardım bunu sormak yok birden çok siteye çapraz postayı aynı soruyu, ancak bunun yerine tek site seçin. Daha sonra hangi sitenin en iyi olduğuna dair fikrinizi değiştirirseniz, moderatörlerin dikkatini çekmek için işaretleyin ve taşınmasını isteyin.

— Glen_b-Monica'yı

@ Glen_b: Bence "bit (mantıksal) vektörü y" 0/1 yanıtı anlamına geliyor.

— sds

Yanıtlar:

Yapmak istediğiniz şey mevcut değil çünkü daha iyi bir kelime eksikliği nedeniyle, matematiksel olarak kusurlu.

Ama önce, sorunuzun önermesinin neden sağlam olduğunu düşündüğümü vurgulayacağım. Daha sonra onlardan aldığınız sonuçların neden lojistik modelin yanlış anlaşılmasına dayandığını düşündüğümü açıklamaya çalışacağım ve son olarak alternatif bir yaklaşım önereceğim.

Ben göstereceğiz içingözlemleri (daha koyu harfler vektörleri ifade) içerisinde yalanboyutlu uzayda (birinci giriş $\{(\pmb x_i,y_i)\}_{i=1}^n$ $n$ $p$ 1),ve $\pmb x_i$ $p<n$ $y_i\in [0,1]$ monoton bir fonksiyonudur $f(\pmb x_i)= f(\pmb x_i'\pmb\beta)$ ,fikirleri düzeltmekiçinlojistik eğrigibi söyleyin. Çıkarlar için, sadece o üstlenecek iseyeterincekıyasla büyük . $\pmb x_i'\pmb\beta$ $n$ $p$

TVD'yi takılan modeli değerlendirmek için kriter olarak kullanmak istiyorsanız , verilerinizde aynı kriteri tüm olası adaylar arasında optimize etmesini beklemek mantıklıdır. bundan dolayı

β β^{*} = \underset{β β \in R^{p}}{\arg min} | | y y - f (x x_{i}^{'} β β) | |_{1}

$\pmb\beta^*=\underset{\pmb\beta\in\mathbb{R}^{p}}{\arg\min}\;\;\;\;\;||\pmb y-f(\pmb x_i'\pmb\beta)||_1$

Sorun şu hata terimidir : ve (modelimizin asimptotik olarak tarafsız olmasını isteriz ), gerekir olmak heteroskedastic . Bunun nedeni, sadece iki değeri, 0 ve alabilir 1. Bu nedenle, belirli bir , de sadece iki değerler alabilir: , bu olasılık ortaya çıkar ve $\epsilon_i=y_i-f(\pmb x_i'\pmb\beta)$ $E(\pmb\epsilon)=0$ $\epsilon_i$ $y_i$ $\pmb x_i$ $\epsilon_i$ $1-f(\pmb x_i'\pmb\beta)$ $y_i=1$ $f(\pmb x_i'\pmb\beta)$ $-f(\pmb x_i'\pmb\beta)$ $y_i=1$ olasılık . $1-f(\pmb x_i'\pmb\beta)$

Bu düşünceler birlikte şunu ifade eder:

var (ϵ ϵ) = E (ϵ ϵ^{2}) = (1 - f (x x^{'} β β))^{2} f (x x^{'} β β) + (- f (x x^{'} β β))^{2} (1 - f (x x^{'} β β)) = (1 - f (x x^{'} β β)) f (x x^{'} β β) = E (y y | x x) E (1 - y y | x x)

$\text{var}(\pmb\epsilon)=E(\pmb\epsilon^2)=(1-f(\pmb x'\pmb\beta))^2f(\pmb x'\pmb\beta)+(-f(\pmb x'\pmb\beta))^2(1-f(\pmb x'\pmb\beta))\\ \;\;\;\;\;\;\;\;\;\;\;\;\;=(1-f(\pmb x'\pmb\beta))f(\pmb x'\pmb\beta)=E(\pmb y|\pmb x)E(1-\pmb y|\pmb x)$

dolayısıyla sabit, fakat içbükey parabol şeklinde değildir ve zaman maksimize edilir gibi olduğu . $\text{var}(\pmb\epsilon)$ $\pmb x$ $E(y|\pmb x)\approx .5$

Kalıntıların bu doğal heteroskedastisitesinin sonuçları vardır . Diğer şeylerin yanı sıra, kaybı işlevini en aza indirirken, asimptotik olarak aşırı olduğunuz anlamına gelir . Yani, takılan verilere hiç uymaz, sadece in . Buna karşılık, bunlar numunenizdeki en az bilgilendirici veri noktalarıdır : gürültü bileşeninin en büyük olduğu gözlemlere karşılık gelirler. Bu nedenle, , örn. Alakasız. $l_1$ $\pmb\beta^*$ $\pmb x$ $E(\pmb y|\pmb x)\approx .5$ $\pmb\beta^*=\pmb\beta:f(\pmb x'\pmb\beta)\approx .5$

Yukarıdaki açıklamadan da anlaşılacağı gibi bir çözüm tarafsızlık gerekliliğini düşürmektir. Tahminciye (bazı Bayes yorumları eklenmiş olarak) ağırlık vermenin popüler bir yolu, bir büzülme terimi eklemektir. Yanıtı yeniden ölçeklendirirsek:

y_{i}^{+} = 2 (y_{i} - .5), 1 \leq i \leq n

$y^+_i=2(y_i-.5),1\leq i\leq n$

ve hesaplamalı için, yerine başka bir monoton işlev - devamı için parametre vektörünün ilk bileşenini ve kalan olanları ve bir büzülme terimi (örneğin formundan birini) ), ortaya çıkan optimizasyon sorunu şöyle olur: $f(\pmb x'\pmb\beta)$ $g(\pmb x,[c,\pmb\gamma])=\pmb x'[c,\pmb\gamma]$ $c$ $p-1$ $\pmb\gamma$ $||\pmb\gamma||_2$

[c^{*}, γ γ^{*}] = \underset{[[c, γ γ] \in R^{p}}{\arg min} \sum_{i = 1}^{n} max (0, 1 - y_{i}^{+} x x_{i}^{'} [[c, γ γ]) + \frac{1}{2} | | γ γ | |_{2}

$[c^*,\pmb\gamma^{*}]=\underset{\pmb[c,\pmb\gamma]\in\mathbb{R}^{p}}{\arg\min}\;\;\sum_{i=1}^n\max(0,1-y_i^+\pmb x_i'\pmb[c,\pmb\gamma])+\frac{1}{2}||\pmb\gamma||_2$

Bu yeni (ayrıca dışbükey) optimizasyon probleminde, doğru sınıflandırılmış gözlemlerin cezasının 0 olduğunu ve yanlış sınıflandırılmış bir gözlem için ile doğrusal olarak büyüdüğünü - olduğu gibi kaybı. bu ikinci optimizasyon problemine çözüm katsayıları (mükemmel ayırma) ile ünlü doğrusal SVM vardır. aksine , bu ' türü ceza içeren verilerden (önyargı nedeniyle 'tür') öğrenmek mantıklıdır . Sonuç olarak, bu çözüm yaygın olarak uygulanmaktadır. Örneğin bkz. R paketi LiblineaR . $\pmb x'\pmb[c,\gamma]$ $l_1$ $[c^*,\pmb\gamma^*]$ $\pmb\beta^*$ $[c^*,\pmb\gamma^{*}]$

— user603
kaynak

Keşke size 25'ten fazla puan

— verebilsem

@sds; teşekkürler: bu harika bir soruydu :) Ben gün boyunca geri gelip ayrıntıları doldurun, bazı yazım hatalarını düzeltmek.

— user603

Neden 0 ile 1 arasında kısıtlanmış bir şey için L1 kaybını kullanmak istediğinizden emin değilim. Hedefinizin ne olduğuna bağlı olarak, bunun yerine menteşe kaybı gibi bir yönde ve düz bir şekilde L1 kaybına benzer bir şey düşünmek isteyebilirsiniz. diğerinde.

Her durumda, aşağıdaki kod sizin istediğinizi yapmalıdır. Optimum yanıtın temelde bir adım fonksiyonu olduğunu unutmayın.

set.seed(1)

# Fake data
x = seq(-1, 1, length = 100)
y = rbinom(100, plogis(x), size = 1) # plogis is the logistic function

# L1 loss
loss = function(y, yhat){
  sum(abs(y - yhat))
}

# Function to estimate loss associated with a given slope & intercept
fn = function(par){
  a = par[1]
  b = par[2]
  loss(y = y, yhat = plogis(a + b * x))
}

# Find the optimal parameters
par = optim(
  par = c(a = 0, b = 0),
  fn = fn
)$par

# Plot the results
plot(y ~ x)
curve(plogis(par[1] + par[2] * x), add = TRUE, n = 1000)

— David J. Harris
kaynak

Glmnet paketini L1, L2 modellerini takmak için kullanabilirsiniz. Lojistik regresyon ile sınırlı değil, onu içeriyor.

İşte skeç: http://web.stanford.edu/~hastie/glmnet/glmnet_alpha.html

Bir webminarı da var: https://www.youtube.com/watch?v=BU2gjoLPfDc

Liblinear iyi, ama başlamak için glmnet'i daha kolay buldum. Glmnet, çapraz doğrulama yapan ve AUC gibi farklı metriklere dayalı olarak sizin için bir düzenleme parametresi seçen bir işlev içerir.

Teori ile ilgili olarak, kement (L1 düzenlenmesi) ile ilgili tibshiarini belgesini ve istatistiksel öğrenme unsurlarındaki bölümü okuyacağım. http://statweb.stanford.edu/~tibs/lasso/lasso.pdf

Günlük kaybı hakkında, sadece modelleri değerlendirmek. Model montajı için bir kayıp fonksiyonu değildir.

— marbel
kaynak