Kement vs sırtını ne zaman kullanmalıyım?

Diyelim ki çok sayıda parametre tahmin etmek istiyorum ve bazılarını cezalandırmak istiyorum çünkü diğerlerine kıyasla daha az etkili olmaları gerektiğine inanıyorum. Hangi ceza planının kullanılacağına nasıl karar verebilirim? Sırt regresyonu ne zaman daha uygun olur? Kement'i ne zaman kullanmalıyım?

Sırt regresyonunun katsayıları sıfırlayamayacağını unutmayın; bu nedenle, modeldeki tüm katsayıları da dahil edersiniz ya da hiçbiri. Buna karşılık, LASSO hem parametre büzüşmesini hem de değişken seçimini otomatik olarak yapar. Değişkenlerinizden bazıları yüksek düzeyde korelasyon gösteriyorsa, LASSO yerine Elastik Ağa [3] bakmak isteyebilirsiniz.

Kişisel olarak, Negatif Olmayan Garotte (NNG) [1] 'i, tahmin ve değişken seçimi [2] açısından tutarlı olduğu gibi kullanmanızı öneririm. LASSO ve çıkıntı regresyonunun aksine, NNG başlangıçta tahmin edilmesini gerektirir ve daha sonra orijine doğru küçülür. Orijinal makalede, Breiman ilk tahminde bulunabilecek en küçük kareler çözümünü önermektedir (ancak aramayı bir ridge regresyon çözeltisinden başlatmak ve ceza parametresini seçmek için GCV gibi bir şey kullanmak isteyebilirsiniz).

Kullanılabilir yazılım açısından, orijinal NNG'yi MATLAB'da (Breiman'ın orijinal FORTRAN koduna dayanarak) uyguladım. Şuradan indirebilirsiniz:

http://www.emakalic.org/blog/wp-content/uploads/2010/04/nngarotte.zip

BTW, eğer bir Bayesian çözümünü tercih ederseniz, [4,5] 'e bakın.

Referanslar:

[1] Breiman, L. Negatif Olmayan Garrote Tekniğini Kullanarak Daha İyi Bir Alt Regresyon Ayarladı, 1995, 37, 373-384

[2] Yuan, M. ve Lin, Y. Negatif olmayan garrotte tahmincisi hakkında Kraliyet İstatistik Kurumu Dergisi (B Serisi), 2007, 69, 143-161

[3] Zou, H. & Hastie, T. Elastik ağ üzerinden düzenlileştirme ve değişken seçimi Kraliyet İstatistik Kurumu Dergisi (Seri B), 2005, 67, 301-320

[4] Park, T. & Casella, G. Amerikan İstatistik Kurumu Bayesian Lasso Dergisi, 2008, 103, 681-686

[5] Kyung, M .; Gill, J.; Ghosh, M. & Casella, G. Cezalı Regresyon, Standart Hatalar ve Bayesian Lassos Bayesian Analizi, 2010, 5, 369-412

Sırtı veya kement düzenli regresyonların formlarıdır. Düzenleme ayrıca bir posteriori tahmin yönteminde önceden olduğu gibi yorumlanabilir. Bu yorum altında, sırt ve kement, girdi ve çıktı verilerini ilişkilendirmek için çıkardıkları lineer dönüşüm sınıfında farklı varsayımlar yapar. Sırtta, lineer dönüşümün katsayıları normal dağılmış ve kementte Laplace dağılmıştır. Kementte bu, katsayıların sıfır olmasını kolaylaştırır ve bu nedenle, giriş değişkeninizin bazılarını çıkışa katkıda bulunmadığından ortadan kaldırmak için kolaylaştırır.

Bazı pratik düşünceler de var. Sırt, sahip olduğunuz veri türüne bağlı olarak önemli olan biraz daha kolaydır ve hesaplanması daha kolaydır.

Her ikisini de uyguladıysanız, sırtı ve kementi bulmak için verilerinizin altkümelerini kullanın ve solda bırakılmış verilerde ne kadar iyi çalıştıklarını karşılaştırın. Hatalar size hangisinin kullanılacağına dair bir fikir vermelidir.

Genel olarak, birçok küçük / orta boy efektiniz olduğunda, sırt ile devam etmelisiniz. Orta / büyük etkiye sahip sadece birkaç değişkeniniz varsa, kemente gidin. Hastie, Tibshirani, Friedman