Regresyon analizinde kement nedir?

81

Kementin teknik olmayan bir tanımını ve ne için kullanıldığını arıyorum.

— Paul Vogt
kaynak

Robert Tibshirani'nin (orijinal kement makalesinin yazarı) sayfasından: Kement ve En Az Açı Regresyonu hakkında basit bir açıklama .

112

LASSO (En Az Mutlak Çekme ve Seçme Operatörü), regresyon katsayılarının mutlak boyutunun cezalandırılmasını içeren bir regresyon yöntemidir.

Cezalandırmak (veya tahminlerin mutlak değerlerinin toplamını eşit olarak sınırlamak), parametre tahminlerinin bazılarının tamamen sıfır olabileceği bir durumda sonuçlanır. Uygulanan ceza ne kadar büyük olursa, başka tahminler de sıfıra doğru küçülür.

Bazı otomatik özellik / değişken seçimi istediğimizde veya yüksek düzeyde korelasyonlu prediktörlerle çalışırken standart regresyonun genellikle 'çok büyük' olan regresyon katsayılarına sahip olacağı durumlarda bu uygundur.

https://web.stanford.edu/~hastie/ElemStatLearn/ (Ücretsiz indirme), LASSO ve ilgili yöntemlerin iyi bir tanımına sahiptir.

— dCL
kaynak

Sitede yeniyim; bu tam olarak aradığım bilgi; çok teşekkürler.

— Paul Vogt

İkili Sorunu kullanarak nasıl çözeceğinizi gösteren bir PDF var mı?

— Royi

Bağlantı koptu

— Oliver Angelil

3

LASSO regresyonu, hem değişken seçim hem de regülizasyonun aynı anda gerçekleştiği bir regresyon analizi türüdür. Bu yöntem, regresyon katsayılarının değerini etkileyen bir ceza kullanır. Ceza arttıkça, katsayılar sıfır olur ve Versa da geçerlidir. Ayar parametresinin büzülme miktarı olarak kullanıldığı L1 normalizasyon tekniğini kullanır. Ayar parametresi arttıkça yanlılık artar, azaldıkça değişkenlik artar. Eğer sabittirse, o zaman hiçbir katsayı sıfır değildir ve sonsuzluğa meyilli olduğu için tüm katsayılar sıfır olacaktır.

— Shweta
kaynak

2

"Normal" regresyonda (OLS) amaç, katsayıları tahmin etmek için artık kareler toplamını (RSS) en aza indirmektir.

\underset{β \in R^{p}}{argmin} \sum_{i = 1}^{n} (Y_{i} - \sum_{j = 1}^{p} X_{i j} β_{j})^{2}

$\underset{\beta \in \mathbb{R}^p}{\operatorname{argmin}} \sum_{i=1}^{n} (Y_{i} - \sum_{j=1}^{p}X_{ij}\beta_{j})^{2}$

LASSO regresyonu durumunda katsayıları biraz farklı bir yaklaşımla tahmin edersiniz:

\underset{β \in R^{p}}{argmin} \sum_{i = 1}^{n} (Y_{i} - \sum_{j = 1}^{p} X_{i j} β_{j})^{2} + λ \sum_{j = 1}^{p} | β_{j} |

$\underset{\beta \in \mathbb{R}^p}{\operatorname{argmin}} \sum_{i=1}^{n} (Y_{i} - \sum_{j=1}^{p}X_{ij}\beta_{j})^{2} \color{red}{+ \lambda \sum_{j=1}^{p}|\beta_{j}|}$

Yeni parça tarafından cezalandırılmış mutlak katsayı değerlerinin bir toplamı olan, kırmızı highlitened edilir , yani (L1) regulazation miktarını kontrol eder. $\lambda$ $\lambda$

Eğer unutmayın , bu basit doğrusal regresyon ile aynı katsayılar içine sonuçlanacaktır. Formül, LASSO olması durumunda, hem RSS hem de L1 düzenlemesinin (yeni kırmızı bölüm) minimum olmasını gerektirir. Eğer , kırmızı L1 ceza katsayılarının büyüklüğünü kısıtlar katsayısı sadece artırabilir böylece eğer RSS azalma aynı miktarda bu kurşun. Daha genel olarak, katsayıların artmasının tek yolu, artık kareler toplamında (RSS) karşılaştırılabilir bir düşüş yaşarsak olur. Böylece, yüksek ayarladığınız $\lambda = 0$ $\operatorname{argmin}$ $\lambda = 1$ $\lambda$ ne kadar fazla ceza katsayılara uygulanır ve o kadar küçük katsayılar o kadar küçük olur, bazıları sıfır olabilir. Bu, LASSO'nun özellik seçimi yaparak temelli modellere yol açabileceği ve modelin fazla takılmasını önlediği anlamına gelir. Bununla birlikte, birçok özelliğiniz varsa ve amacınız modelinizin katsayılarını yorumlamaktan ziyade verileri öngörmekse LASSO'yu kullanabilirsiniz.

— aşınmış kaya parçası
kaynak

1

Cevabınız için teşekkürler (+1). Bu site destekliyor , formülleri gönderebilir misiniz ? Bu, görme engelli kullanıcılar için onları okunabilir hale getirir. Renkleri burada olduğu gibi kullanabildiğinize dikkat edin (ham cevabı görmek için "düzenle" yi tıklayın) ve benzer rakamlar elde etmek için burada olduğu gibi undercraces . Teşekkürler.

T E X

$\TeX$

T E X

$\TeX$

— Tim

@Tim: Bunun için çok teşekkür ederim! Nasıl yapıldığını görmek için düzenlemeye tıklamak harika bir ipucuydu.

— Boulder