LASSO değişken seçiminden sonra OLS yapmak ne kadar mantıklı?

20

Son zamanlarda, uygulanan ekonometri literatüründe, özellik seçim problemleri ile uğraşırken, LASSO ve ardından seçilen değişkenleri kullanarak bir OLS regresyonu gerçekleştirmenin nadir olmadığını gördüm.

Böyle bir prosedürün geçerliliğini nasıl nitelendirebileceğimizi merak ediyordum. Atlanan değişkenler gibi sorunlara neden olur mu? Daha etkili olduğunu veya sonuçların daha yorumlanabilir olduğunu gösteren kanıtlar var mı?

İlgili bazı tartışmalar:

LASSO ile değişken seçim

Kement / Rastgele kullanarak değişken seçiminden sonra ağaçları kullanma

Belirtildiği gibi, böyle bir prosedür genel olarak doğru değilse, o zaman neden hala bu kadar çok araştırma var? LASSO tahmincisinin huzursuz özelliklerinden ve insanların OLS'a olan düşkünlüğünden dolayı bunun sadece bir kural, uzlaşmacı bir çözüm olduğunu söyleyebilir miyim?

— ZLIU
kaynak

LASSO'yu yaptıktan sonra "OLS regresyonu" yapmanın ne anlama geldiğini açıklayabilir misiniz? Bu OLS adımı LASSO'nun tahmin etmediğini tahmin etmeye çalışan nedir?

— whuber

2

Konuyla ilgili son birkaç çalışma belgesi bulunmaktadır. Çoğu, geçerli değişkenler kümesinin seyrek olduğu varsayımını gerektirmektedir. Eğer bu varsayım geçerli olmazsa, evet atlanan değişkenler sapması mevcut olacaktır. Ve insanlar ols'i severler, çünkü insanları örnek marjinal etkilerin tarafsız olarak yorumlamak isterler. Ekonometri bu paradigmada oldukça sıkışmış durumda.

— generic_user

4

Gelen bu (ücretsiz çevrimiçi) son LASSO kitabı, bölüm 11.4 görünür bu sorunu çözmek için. Bunu ayrıntılı olarak okumadım, ancak giriş desteğini doğru bir şekilde geri kazandıran "[LASSO tahmini] verildiğinde çok iyi tahmin edebiliriz ... sadece bu altkümeyle sınırlı sıradan bir en küçük kareler regresyonu gerçekleştirerek. "

\hat{β}

$\hat{\beta}$

β^{*}

$\beta^*$

β^{*}

$\beta^*$

— GeoMatt22

12

Birkaç gün önce ilgili referansa sahip benzer bir soru vardı:

Belloni, A., Chernozhukov, V. ve Hansen, C. (2014) "Yüksek Boyutlu Kontroller Arasında Seçimden Sonra Tedavi Etkileri Üzerine Çıkarım", Ekonomik Çalışmaların Gözden Geçirilmesi, 81 (2), s. 608-50 ( bağlantı )

En azından benim için makale oldukça zor bir okuma çünkü bu nispeten basit olanın ardındaki kanıtlar oldukça ayrıntılı. gibi bir modeli tahmin etmek istediğinizde

y_{i} = α T_{i} + X_{i}^{'} β + ϵ_{i}

$y_i = \alpha T_i + X_i'\beta + \epsilon_i$

burada sonucunuz, ilgilenilen bir tedavi etkisidir ve potansiyel kontrollerin bir vektörüdür. Hedef parametre . Sonuçlarınızdaki varyasyonların çoğunun tedavi ve seyrek kontrollerle açıklandığı varsayılarak, Belloni ve ark. (2014), doğru nokta tahminleri ve geçerli güven aralıkları sağlayan çift-sağlam bir seçim yöntemi geliştirmiştir. Ancak bu azlık varsayımı önemlidir. $y_i$ $T_i$ $X_i$ $\alpha$

Eğer birkaç önemli belirleyicilerini içeren ama onlar (ya tek değişkenler, onların daha yüksek dereceden polinomlar veya diğer değişkenlerle etkileşim) hangi bilmiyorum, bir üç adım seçme işlemlerini gerçekleştirebilir: $X_i$ $y_i$

, karelerini ve etkileşimlerini gerileme ve kullanarak önemli tahmincileri seçme $y_i$ $X_i$
regress üzerinde Kement kullanarak kendi kareler ve etkileşimler ve seçmek önemli belirleyiciler $T_i$ $X_i$
gerileme üzerinde ilk iki adım her iki seçildi ve tüm değişkenlerin $y_i$ $T_i$

Bunun neden işe yaradığına ve neden bu yöntemden doğru güven aralıkları vb. Aldığınıza dair kanıtlar sağlarlar. Ayrıca, sadece yukarıdaki regresyon üzerinde bir LASSO seçimi yaparsanız ve daha sonra tedavinin sonucunu ve seçilen değişkenleri geri çekerseniz, Björn'in zaten söylediği gibi yanlış nokta tahminleri ve yanlış güven aralıkları aldığınızı gösterirler.

Bunu yapmanın amacı iki yönlüdür: Değişken seçiminin sezgi veya teori tarafından yönlendirildiği ilk modelinizi çift güçlü seçim modeliyle karşılaştırmak, ilk modelinizin ne kadar iyi olduğu hakkında bir fikir verir. Belki de ilk modeliniz bazı önemli kare veya etkileşim terimlerini unutmuş ve dolayısıyla yanlış tanımlanmış fonksiyonel form veya atlanmış değişkenlerden muzdariptir. İkinci olarak, Belloni ve ark. (2014) yöntemi, fazladan regresörler prosedürlerinde cezalandırıldığı için hedef parametrenizdeki çıkarımı artırabilir.

— Andy
kaynak

"Doğru" nokta tahminleri?

— Richard Hardy

3

Bir değişken seçimi gerçekleştirmek ve daha sonra, bir değişken seçimi olmamış gibi ve seçilen model başlangıçtan amaçlanmış gibi bir anslizi yeniden çalıştırmak için, tipik olarak abartılı efekt boyutları, geçersiz p değerleri ve nominal kapsamın altında olan güven aralıklarına yol açar. Belki örnek boyutu çok büyükse ve birkaç büyük etki ve çok sayıda boş etki varsa, LASSO + OLS bundan çok kötü etkilenmeyebilir, ancak bunun dışında makul bir gerekçe göremiyorum ve bu durumda LASSO tahminler de iyi olmalı.

— Björn
kaynak

1

Ama neden ikinci model sıfırdan başlar, sanki değişken bir seçim olmamış gibi? LASSO en iyi tahmin gücüne sahip açıklayıcı değişkeni seçmiyor mu? BTW LASSO seyrek matris değişkenini tekrar glm'ye dönüştürmeyi düşündüm. Şimdi LASSO'nun kendi başına bir gerileme olduğunu anladım.

— SIslam