Sırtı, kement ve elastik ağ

Sırt, LASSO ve esnek ağ regülasyon metotları nasıl karşılaştırılır? Avantajları ve dezavantajları nelerdir? Herhangi bir iyi teknik makale veya ders notu da takdir edilecektir.

In İstatistiksel Öğrenme Unsurları kitabında, Hastie vd. bu büzülme tekniklerinin çok iyi anlaşılır ve ayrıntılı bir şekilde karşılaştırılmasını sağlar. Kitap çevrimiçi ( pdf ). Karşılaştırma bölüm 3.4.3, sayfa 69'da yapılmıştır.

Kement ve Ridge arasındaki temel fark, kullandıkları ceza terimdir. Ridge , katsayı vektörünün boyutunu sınırlayan ceza terimini kullanır . Lasso , katsayılar arasında seyreklik yaratan ve böylece takılan modeli daha fazla yorumlanabilen kılan cezasını kullanıyor . Elasticnet, bu iki teknik arasında bir uzlaşma olarak ortaya ve ve normlarının karışımı olan bir cezaya sahiptir .$L_2$$L_1$$L_1$$L_2$

Özetlemek gerekirse, Kement, Ridge ve Elastic-net arasındaki bazı belirgin farklar şunlardır:

1. Kement, seyrek bir seçim yapar , Ridge ise değildir.
2. Eğer varsa yüksek korelasyon değişkenleri , Ridge regresyon birbirlerine karşı iki katsayılarını küçülür. Kement biraz kayıtsızdır ve genellikle birini diğerinden seçer. Bağlama bağlı olarak, hangi değişkenin seçildiği bilinmemektedir. Elastik-net, küçülmeye çalışan ve aynı anda bir seyrek seçim yapmaya çalışan arasında bir uzlaşmadır.
3. Ridge tahmin edicileri , verilerin çarpımsal ölçeklendirilmesine kayıtsızdır . Yani, hem X hem de Y değişkenleri sabitlerle çarpılırsa, verilen bir parametresi için katsayıları değişmez . Ancak, Kement için, uyum ölçeklemeden bağımsız değildir. Aslında, aynı sonucu elde etmek için parametresinin çarpanı tarafından ölçeklendirilmesi gerekir. Elastik ağ için daha karmaşıktır.$\lambda$$\lambda$
4. Ridge , en büyük 'in$\beta$ küçüklerini cezalandırdığından daha fazla cezalandırır (ceza döneminde kareler olduğu gibi). Kement onları daha düzenli olarak cezalandırır. Bu önemli olabilir veya olmayabilir. Güçlü bir tahminciye sahip bir tahmin probleminde, tahmincinin etkinliği, Kemente kıyasla Ridge tarafından azaltılır.

İstatistiki öğrenme kitaplarına giriş konusuna bir göz atmanızı şiddetle tavsiye ederim (Tibshirani ve diğ., 2013).

Bunun nedeni , istatistiksel öğrenme kitabının Elementleri'nin matematik bilimlerinde ileri düzeyde eğitimi olan bireylere yönelik olmasıdır. ISL'ye önsözde, yazarlar şunları yazar:

Bir İstatistiksel Öğrenmeye Giriş Bu konuların daha geniş ve daha az teknik tedavisi için algılanan ihtiyaçtan doğdu. [...]

İstatistiksel Öğrenmeye Giriş, yüksek lisans öğrencileri veya yüksek lisans öğrencilerinin istatistik veya ilgili kantitatif alanlar için veya verilerini analiz etmek için istatistiksel öğrenme araçlarını kullanmak isteyen diğer disiplinlerdeki kişiler için uygundur.

Yukarıdaki cevaplar çok açık ve bilgilendirici. İstatistiksel açıdan küçük bir nokta eklemek istiyorum. Sırt regresyonunu örnek olarak alın. Çok sayıda doğrusallık problemini, birbiriyle ilişkili birçok özellik olduğunda çözmek, sıralı en küçük kare regresyonun bir uzantısıdır. Doğrusal regresyon

Y=Xb+e

Çoklu doğrusal regresyon için normal denklem çözümü

b=inv(X.T*X)*X.T*Y

Sırt regresyonu için normal denklem çözümü

b=inv(X.T*X+k*I)*X.T*Y. 

B için önyargılı bir tahmin edicidir ve her zaman Ridge regresyonunun ortalama kare hatasını OLS regresyonundan daha küçük yapan bir ceza terimi k bulabiliriz.

LASSO ve Elastic-Net için böyle bir analitik çözüm bulamadık.