Lojistik regresyon için düzenlileştirme yöntemleri

Ridge, Lasso, ElasticNet gibi yöntemler kullanılarak yapılan düzenlileştirme doğrusal regresyon için oldukça yaygındır. Aşağıdakileri bilmek istedim: Bu yöntemler lojistik regresyon için uygulanabilir mi? Öyleyse, lojistik regresyon için kullanılması gereken farklılıklar var mı? Bu yöntemler uygulanabilir değilse, lojistik regresyon nasıl düzenlenir?

regression logistic regularization

— TAK
kaynak

Belirli bir veri kümesine mi bakıyorsunuz ve bu nedenle verileri hesaplama için izlenebilir hale getirmeyi düşünmelisiniz, örneğin ilk hesaplamanın başarılı olması için verilerin seçilmesi, ölçeklenmesi ve dengelenmesi. Ya da bu hesaplama against0 için belirli bir veri kümesine olmadan hows ve whys de daha genel bir bakış (nedir?

— Philip Oakley

Bu düzenlileşmenin nasıl ve niçin olduğuna daha genel bir bakış. Düzenlileştirme metotları için tanıtım metinleri (sırt, Kement, Elastiknet vb.) Özellikle karşılaştığım lineer regresyon örnekleri. Tek bir tanesi özellikle lojistikten söz etmedi, bu yüzden soru.

— TAK

Lojistik Regresyon, kimliksiz bir link işlevi kullanan bir GLM şeklidir, hemen hemen her şey geçerlidir.

— Firebug

Andrew Ng'in konuyla ilgili videosuna rastladın mı ?

— Antoni Parellada

Sırt, kement ve elastik net regresyon popüler seçeneklerdir, ancak bunlar sadece düzenleme seçenekleri değildir. Örneğin, düzleştirme matrisleri büyük ikinci türevlere sahip işlevleri cezalandırır, böylece normalleştirme parametresi, verileri aşan ve uygun olmayan bir taviz olan bir regresyonu "çevirmenizi" sağlar. Sırt / lasso / elastik net regresyonda olduğu gibi, bunlar lojistik regresyon ile de kullanılabilir.

— Monica

Yanıtlar:

Evet, Düzenleme, hem regresyon hem de sınıflandırma dahil olmak üzere tüm doğrusal yöntemlerde kullanılabilir. Size, regresyon ve sınıflandırma arasında çok fazla bir fark olmadığını göstermek isterim : tek fark, kayıp fonksiyonudur.

Spesifik olarak, lineer yöntemin üç ana bileşeni vardır: Kayıp Fonksiyonu, Düzenleme, Algoritmalar . Kayıp fonksiyonu artı düzenlileştirme, optimizasyon formundaki problemde amaç fonksiyonu ve algoritma bunu çözmenin yolu (amaç fonksiyonu dışbükey, bu yazıda tartışmayacağız).

Kayıp fonksiyonu ayarında hem regresyon hem de sınıflandırma durumlarında farklı kayıplar olabilir. Örneğin, en küçük kareler ve en az mutlak sapma kaybı regresyon için kullanılabilir. Ve matematik temsilidir ve . (Fonksiyon iki sayısal alan üzerinde tanımlanır, kesin referans değer $L(\hat y,y)=(\hat y -y)^2$ $L(\hat y,y)=|\hat y -y|$ $L( \cdot )$ $y$ öngörülen değerdir.) $\hat y$

Diğer taraftan, lojistik kayıp ve menteşe kaybı sınıflandırma için kullanılabilir. Matematik temsilleridir ve . (Burada, yer gerçeği de etiket ve $L(\hat y, y)=\log (1+ \exp(-\hat y y))$ $L(\hat y, y)= (1- \hat y y)_+$ $y$ $\{-1,1\}$ $\hat y$ "puan" tahmin edilir. Tanımı biraz sıradışı, yorum bölümüne bakın.) $\hat y$

Düzenleme ayarlarında, L1 ve L2 düzenlenmesi hakkında bahsettiniz, bu yazıda tartışılmayacak başka biçimler de var.

Bu nedenle, yüksek düzeyde bir doğrusal yöntem

\underset{w}{küçültmek} \underset{x, y}{Σ} L (w^{⊤} x, y) + λ h (w)

$\underset{w}{\text{minimize}}~~~ \sum_{x,y} L(w^{\top} x,y)+\lambda h(w)$

Kayıp işlevini regresyon ayarından lojistik kaybına değiştirirseniz, regresyonda lojistik regresyon elde edersiniz.

Örneğin, sırt regresyonunda, optimizasyon problemi

\underset{w}{küçültmek} \underset{x, y}{Σ} (w^{⊤} x - y)^{2} + λ w^{⊤} w

$\underset{w}{\text{minimize}}~~~ \sum_{x,y} (w^{\top} x-y)^2+\lambda w^\top w$

Kayıp fonksiyonunu lojistik kayıp ile değiştirirseniz, sorun

\underset{w}{küçültmek} \underset{x, y}{Σ} günlük (1 + tecrübe (- w^{⊤} x \cdot y)) + λ w^{⊤} w

$\underset{w}{\text{minimize}}~~~ \sum_{x,y} \log(1+\exp{(-w^{\top}x \cdot y)})+\lambda w^\top w$

Burada L2 düzenli hale getirme ile lojistik regresyon var.

Oyuncak sentezlenmiş ikili veri setinde böyle gözüküyor. Soldaki rakam, doğrusal modeldeki verilerdir (karar sınırı). Sağdaki şekil objektif fonksiyon dağılımıdır (x ve y ekseni 2 parametrenin değerlerini temsil eder.). Veri seti iki Gaussian'dan üretildi ve lojistik regresyon modeline müdahale etmeden uyduk, bu yüzden sağ alt şekilde görselleştirebileceğimiz sadece iki parametre var.

Mavi çizgiler, düzenli hale getirilmemiş lojistik regresyondur ve siyah çizgiler, L2 düzenli hale getirilmiş lojistik regresyondur. Sağ rakamdaki mavi ve siyah noktalar objektif fonksiyon için en uygun parametrelerdir.

Bu deneyde büyük bir belirledik , böylece iki katsayının yakın olduğunu görebilirsiniz . Ek olarak, konturdan düzenlileştirme teriminin baskın olduğunu ve tüm fonksiyonun ikinci dereceden bir kase gibi olduğunu gözlemleyebiliriz. $\lambda$ $0$

İşte L1 düzenlenmesi ile başka bir örnek.

Unutmayın, bu deneyin amacı, regülasyonun lojistik regresyonda nasıl çalıştığını göstermeye çalışmakta, ancak regüle edilmiş modelin daha iyi olduğunu tartışmamaktır.

İşte L1 ve L2 düzenlenmesi ve bunun lojistik kayıp hedefini nasıl etkilediği ile ilgili bazı animasyonlar. Her karede, başlık düzenleme türünü ve , arsa objektif fonksiyondur (lojistik kayıp + düzenlileştirme) dağılımı. Her karede normalleştirme parametresini arttırırız ve en uygun çözüm kareye göre kareye düşer. $\lambda$ $\lambda$ $0$

Bazı gösterim açıklamaları. ve sütun vektörleridir, bir skalerdir. Lineer model Yani . Intercept terimini dahil etmek istiyorsak , verilere sütun olarak ekleyebiliriz . $w$ $x$ $y$ $\hat y = f(x)=w^\top x$ $1$

$y$ $y \in \{-1,1\}$

$\hat y=w^{\top} x$ $\hat y$ $y$ $\hat y = w^{\top} x$ $\{-1,1\}$ $\hat y$

$y \in \{0,1\}$

Kod, diğer cevabımda burada bulunabilir.

Lojistik regresyonun mükemmel ayrılma durumu için neden işe yaramayacağına dair sezgisel bir açıklama var mı? Ve neden düzenlileştirme eklemek sorunu çözecektir?

— Haitao Du
kaynak

w^{T} x

$w^Tx$

f (x)

$f(x)$

@ Hxd1011 cevabı için teşekkürler, kontur grafiğindeki düz siyah çizgilerin neyi temsil ettiğini açıklayabilir misiniz? Daha kesin olmak gerekirse, (açıkladığınız gibi) x ve y ekseninin kullandığımız 2 parametreyi gösterdiğini biliyorum. Ama ne katı çizgiler ve 8000, 10000, 12000 gibi sayıları hakkında. Teşekkürler!

— Jespar

@Jespar en.m.wikipedia.org/wiki/Contour_line

— Haitao Du

l^{*} (β) = l (β) + \frac{1}{2} \ln | ben (β) |

$l^*(\beta) = l(\beta) + \frac12 \ln |i(\beta)|$

i (β) = \frac{1}{n} \sum_{i} p_{i} (1 - p_{i}) x_{i} x_{i}^{'}

$i(\beta) = \frac1n \sum_i p_i (1-p_i) x_i x_i'$

{(y_{i}, x_{i}) ‖ = {(1, 1), (0, 0)}

$\{(y_i,x_i)\| = \{(1,1),(0,0)\}$ sözde sonsuz ML tahminler üretmek ve olurdu glmiçinde Rhala soruna duyarlı olduğunu, inanıyorum.

— StasK
kaynak

Evet, bunun için R paketlerini logistf veya brglm kullanabilirsiniz! Belki de söz etmeye değer ...

— Tom Wenseleers

i (β)

$i(\beta)$

Acı, yavaş, gerçekten, @appletree

— StasK

h / 2

$h/2$

1 / 2

$1/2$

Evet, lojistik regresyon için geçerlidir. R'de, glmnet kullanarak, lojistik regresyon için "binom" olan uygun aileyi belirtmeniz yeterlidir. Verilerinize ve ele aldığınız soruna bağlı olarak belirleyebileceğiniz birkaç kişi (zehir, çok terimli, vb.) Vardır.

— godspeed
kaynak

Bunun için sadece glmnet kullanmanın olumsuz tarafı, bu yaklaşımın size anlamlılık düzeyleri vermeyeceğidir. Eğer bunlarla ilgileniyorsanız, R paketleri logistf veya brglm daha iyi bir yol olacaktır ...

— Tom Wenseleers 5:17

@TomWenseleers ayrıca, p-değerleri elde etmek için glmnet'i önyükleme yöntemleri de vardır. Ancak, "normal" bootstrap kement katsayıları için işe yaramazsa biraz karışıktır

— godspeed

Bunu bana bildirdiğiniz için teşekkür ederiz, başkalarının da bundan bahsettiğini gördüm, örneğin burada: stats.stackexchange.com/questions/34859/… , ancak bazı R paketlerinde uygulanan standart bir şey bulamıyor gibi görünüyor. Herhangi bir işaretçi olur mu? Ya da bu konuda iyi birincil literatür? Bootstrapping'ın

— dezavantajı

Hdi, cran.r-project.org/web/packages/hdi/index.html R paketinde uygulananlar gibi yöntemlerden mi bahsediyorsunuz ?

— Tom Wenseleers