LASSO, eş doğrusal öngörücüler arasından nasıl seçim yapar?

Bir GLM LASSO modelinin yüksek derecede korelasyonlu olanlardan oluşan bir gruptan belirli bir yordayıcıyı neden seçtiğini ve neden en iyi alt küme özellik seçiminden farklı olduğunu sezgisel bir cevap arıyorum.

Tibshirani 1996'daki Şekil 2'de gösterilen LASSO'nun geometrisinden, LASSO'nun yordayıcıyı daha büyük varyansla seçtiğine inanıyorum.

Şimdi bir lojistik regresyon modeli için 2 öngörücü elde etmek için 10 kat CV ile en iyi alt küme seçimini kullandığımı ve bu 2 öngörücünün optimal (0-1 kayıp anlamında) olduğu konusunda makul ön bilgiye sahip olduğumu varsayalım.

LASSO çözümü, daha büyük tahmin hatasına sahip daha az cimri (5 tahminci) çözümü tercih eder. Sezgisel olarak, farkın ortaya çıkmasına ne sebep olur? LASSO'nun ilişkili öngörücüler arasından seçim yapma biçimi yüzünden mi?

LASSO, cezalandırma ve yol bağımlılığı açısından en iyi alt küme seçiminden farklıdır.

En iyi alt küme seçiminde, muhtemelen 2 öngörücünün en iyi performansı verdiğini belirlemek için CV kullanılmıştır. CV sırasında, kaç değişkenin dahil edileceğini değerlendirmek için cezalandırılmamış tam büyüklükteki regresyon katsayıları kullanılırdı. 2 öngörücüyü kullanmaya karar verildikten sonra, son öngörücünün 2'sini bulmak için paralel olarak 2 öngörücünün tüm kombinasyonları tam veri setinde karşılaştırılır. Bu 2 son yordayıcıya, sanki baştan beri tek seçenekmiş gibi, cezalandırılmadan tam büyüklükteki regresyon katsayıları verilecekti.

LASSO'yu, regresyon katsayılarının büyüklüğüne ilişkin büyük bir ceza ile başlayarak, ceza yavaş yavaş gevşetilmiş olarak düşünebilirsiniz. Sonuç olarak, değişkenler her seferinde bir tane girer ve gevşeme sırasında her bir noktada, modelde bulunan değişkenlerin katsayılarını arttırmanın veya başka bir değişken eklemenin daha değerli olup olmadığı kararı verilir. Ancak, örneğin, 2 değişkenli bir modele geldiğinizde, LASSO tarafından izin verilen regresyon katsayıları, aynı değişkenlerin, 2 değişkenli ve 3 değişkenli modelleri karşılaştırmak için kullanılan standart cezalandırılmamış regresyonlarda sahip olacağından daha düşük olacaktır. en iyi alt küme seçimi.

Bunun, yeni değişkenlerin LASSO'ya girmesini en iyi alt küme seçiminden daha kolay hale getirdiği düşünülebilir. Sezgisel olarak, LASSO, kaç değişkenin dahil edilmesi gerektiği konusundaki belirsizliğe karşı potansiyel olarak gerçek değerinden düşük regresyon katsayılarını işlemektedir. Bu, LASSO modelinde daha fazla değişken ve yalnızca 2 değişkenin dahil edilmesi gerektiğinden eminseniz LASSO için potansiyel olarak daha kötü performans içermeye meyillidir. Ancak, kaç modelin doğru modele dahil edilmesi gerektiğini zaten biliyorsanız, muhtemelen LASSO kullanmazsınız.

Şimdiye kadar hiçbir şey, LASSO'ya karşı en iyi alt kümede değişken seçiminde farklı keyfilik türlerine yol açan kolineariteye bağlı değildi. Bu örnekte, en iyi alt küme 2 öngörücünün olası tüm kombinasyonlarını inceledi ve bu kombinasyonlar arasında en iyisini seçti. Bu belirli veri örneği için en iyi 2 kazanır.

LASSO, her seferinde bir değişken eklemedeki yol bağımlılığı ile, bir değişkenin erken seçiminin, onunla ilişkili diğer değişkenlerin gevşeme sürecine daha sonra girmesi durumunda etkilenebileceği anlamına gelir. Bir değişkenin erken girmesi ve daha sonra LASSO katsayısının diğer ilişkili değişkenler girerken düşmesi de mümkündür.

Uygulamada, her iki yöntemle de son modellerde korelasyonlu öngörücüler arasından seçim, aynı modelin önyükleme örnekleri üzerinde bu model oluşturma süreçlerinin tekrarlanmasıyla kontrol edilebileceği gibi, büyük ölçüde numuneye bağlıdır. Çok fazla yordayıcı yoksa ve birincil ilginiz yeni veri kümelerini tahmin ediyorsa, tüm yordayıcıları tutma eğiliminde olan sırt regresyonu daha iyi bir seçim olabilir.