Özellikler ilişkilendirildiğinde neden Kement veya Elastik Ağ Ridge'den daha iyi performans gösterir?

Bir dizi 150 özelliğim var ve bunların birçoğu birbiriyle yüksek derecede korelasyonlu. Amacım aralığı 1-8 olan ayrık bir değişkenin değerini tahmin etmektir . Örneklem boyutum 550 ve 10 kat çapraz doğrulama kullanıyorum.

AFAIK, düzenlileştirme yöntemleri (Kement, Elastik Ağ ve Sırt) arasında Ridge, özellikler arasındaki korelasyon için daha titizdir. Bu yüzden Ridge ile daha doğru bir tahmin almamı bekliyordum. Ancak, benim sonuçlar Lasso veya Elastic ortalama mutlak hata etrafında olduğunu göstermek 0,61 bu puan ise 0,97 sırt regresyon için. Bunun için ne bir açıklama olacağını merak ediyorum. Bu, birçok özelliğe sahip olduğum için ve Lasso daha iyi performans gösterdiğinden, bir tür özellik seçimi yaparak gereksiz özelliklerden kurtuluyor mu?

Varsayalım ki, iki yüksek korelasyonlu yordayıcı değişkeni ve her ikisinin de ortalanmış ve ölçeklendirilmiş olduğunu varsayalım (sıfıra, varyans birine). Daha sonra, parametre vektörü üzerindeki sırt cezası β 2 1 + β 2 2 iken, kement ceza süresi ∣ β 1 ∣ + ∣ β 2 ∣ 'dir . Şimdi, modelin yüksek derecede lineer olduğu varsayıldığından, x ve z az ya da çok Y'yi tahmin etmede birbirinin yerine geçebilir , sadece kısmen ikame ettiğimiz x , z'nin birçok doğrusal kombinasyonu$x,z$$\beta_1^2 + \beta_2^2$$\mid \beta_1 \mid + \mid \beta_2 \mid$$x$$z$$Y$$x, z$z için x , öngörücülerle çok benzer şekilde çalışacaktır, örneğin 0,2 x + 0,8 x , 0,3 x + 0,7 z veya 0,5 x + 0,5 $x$$z$$0.2 x + 0.8 x, 0.3 x + 0.7 z$$0.5 x + 0.5 z$tahminciler kadar eşit derecede iyi olacaktır. Şimdi bu üç örneğe bakın, her üç durumda da kement cezası eşittir, 1'dir, sırt cezası farklılık gösterirken, sırasıyla 0.68, 0.58, 0.5'dir, bu nedenle sırt cezası, kement cezası sırasında lineer değişkenlerin eşit ağırlıklandırılmasını tercih edecektir. seçim yapamayacak. Bu, sırtın (veya daha genel olarak, kement ve sırt cezalarının lineer bir kombinasyonu olan elastik ağ) doğrusal çizgisel öngörücülerle daha iyi çalışmasının bir nedenidir: Veriler, doğrusal doğrusal öngörücülerin farklı doğrusal kombinasyonları arasında seçim yapmak için çok az neden verdiğinde, kement sırt eşit ağırlıklandırma eğiliminde iken "dolaş". Sonuncusu gelecekteki verilerle kullanmak için daha iyi bir tahmin olabilir! Ve eğer bu, mevcut verilerle böyleyse, çapraz doğrulamayla sırt ile daha iyi sonuçlar olarak ortaya çıkabilir.

Bunu bayesci bir şekilde görebiliriz: Sırt ve kement farklı önceki bilgileri ima eder ve sırt tarafından ima edilen önceki bilgiler bu gibi durumlarda daha makul olma eğilimindedir. (Bu açıklamayı az çok, kitabından öğrendim: Trevor Hastie, Robert Tibshirani ve Martin Wainwright'ın "Kıtlıkla İstatistiksel Öğrenme Kement ve Genellemeler", ama şu anda doğrudan bir alıntı bulamadım).

Kement ve sırt arasındaki en önemli fark, kementin doğal olarak, özellikle ortak değişkenlerin çok ilişkili olduğu bir seçim yapmasıdır. yerleştirilmiş katsayıları görmeden gerçekten emin olmak imkansızdır, ancak bu ilişkili özellikler arasında birçoğunun sadece işe yaramaz olduğunu düşünmek kolaydır.