Eğer sadece tahminler ilgiliyse, neden sırt üstü kement kullanılmalı?

İstatistiksel Öğrenmeye Giriş bölümündeki 223. Sayfada yazarlar ridge regresyonu ile kement arasındaki farkları özetlemektedir. "Kementin önyargı, varyans ve MSE açısından sırt regresyonundan daha iyi performans gösterme eğiliminde olduğu" bir örnek (Şekil 6.9).

Kementin neden arzu edildiğini anlıyorum: çok sayıda katsayıyı 0'a daralttığı için basit ve yorumlanabilen modeller ile sonuçlanan seyrek çözümlerle sonuçlanır. Ancak yalnızca tahminler ilgi çekerken sırtın nasıl daha iyi performans gösterdiğini anlamıyorum (örn., Örnekte önemli ölçüde daha düşük bir MSE nasıl elde edilir?).

Sırtıma göre, birçok tahminci cevap üzerinde neredeyse hiçbir etkiye sahip değilse (birkaç tahminci büyük bir etkiye sahipken), katsayıları basitçe sıfıra çok yakın küçük bir sayıya daralmaz ... sonuçta kemente çok benzer ? Öyleyse neden son model kemente göre daha kötü bir performans göstersin?

Bu soruyu sormakta haklısın. Genel olarak, uygun bir doğruluk puanlama kuralı kullanıldığında (örneğin, ortalama kare tahmin hatası), sırt regresyonu kementten daha iyi bir performans gösterecektir. Lasso, bazı bilgileri “doğru” tahmincileri bulmaya çalışırken harcıyor ve çoğu durumda bunu yapmak bile iyi değil. İkisinin nispi performansı, gerçek regresyon katsayılarının dağılımına bağlı olacaktır. Gerçekte sıfır olmayan katsayıların küçük bir kısmı varsa, kement daha iyi performans gösterebilir. Şahsen, öngörücü doğrulukla ilgilendiğimde hemen hemen her zaman sırt kullanırım.

Referans verdiğiniz örneğin özel kurulumunun, kementin neden sırttan daha iyi performans gösterdiğini anlamanın anahtarı olduğunu düşünüyorum: 45 öngörücünün sadece 2'si aslında ilgilidir.

Bu patolojik bir durumla sınırlıdır: Kement, özellikle sıfıra indirgenmeleri kolaylaştırmak için özel olarak tasarlanmıştır, aynen amaçlandığı gibi gerçekleştirilirken, sırt çok sayıda işe yaramaz terimle uğraşmak zorunda kalacakken (etkileri sıfıra yakın olsa bile, yine de sıfır olmayan etki).