LASSO'nun (düzenlileşme) nasıl çalıştığını gerçekten anlamadığımızı söylediklerinde istatistikçiler ne anlama geliyor?

Son zamanlarda Kement üzerinde birkaç istatistik görüşmesi yaptım (düzenlileştirme) ve ortaya çıkmaya devam eden bir nokta, Kement'in neden çalıştığını veya neden bu kadar iyi çalıştığını gerçekten anlamamamız. Bu ifadenin ne anlama geldiğini merak ediyorum. Açıkçası, Lasso'nun teknik olarak neden çalıştığını, parametrelerin daralmasıyla aşırı sığmayı önleyerek, ama böyle bir ifadenin arkasında daha derin bir anlam olup olmadığını merak ediyorum. Herhangi bir fikri olan var mı? Teşekkürler!

machine-learning lasso regularization

— user321627
kaynak

"Eserleri" tanımlayın. Tam olarak ne yapmaya çalışır? Seyrekliği artırmak için çalışıyor mu? Aşırı takılmayı önlemek için çalışıyor mu? Makul istatistiksel testler üretmek için çalışıyor mu? - Ya da başka bir deyişle, bu bağlamda "işe yaramaz" ne anlama gelir? - Şu anki cevabın yorumlarından da görebileceğiniz gibi, peşinde olduğunuz şeyle ilgili bazı karışıklıklar var.

— RM

@RM, aslında sadece OP, IMHO'yu yeniden yazıyorsunuz. OP muhtemelen tanımlamakta zorlandığınız ile aynı bilinmiyor.

— Richard Hardy

@RichardHardy Durumun nasıl olabileceğini görüyorum, ancak öyleyse, OP'nin en azından noktanın ortaya çıktığı istatistik görüşmelerinde bağlamı genişletebileceğini umuyorum, umarım bu konuşmacıların neler olabileceğine odaklanmamıza yardımcı oluruz. düşünüyor.

— RM

@RM, iyi o zaman.

— Richard Hardy

Yanıtlar:

Kement gibi yöntemlerin temellerini inceleyen çalışan istatistikçiler ve öğrenme teorisi topluluğu arasında bazen iletişim eksikliği vardır. Kementin teorik özellikleri aslında çok iyi anlaşılmıştır.

Bu belgenin, sahip olduğu birçok mülkün 4. Bölümünde bir özeti vardır. Sonuçlar oldukça teknik olmakla birlikte aslında:

Yüksek olasılıkla, yeterince büyük veri kümeleri için, bazı hafif varsayımlar altında seyrek ağırlık vektörünün gerçek desteğini (sıfır olmayan girişler kümesi) kurtarır.
sütunları çok ilişkili olmadığı sürece, örnek boyutu arttıkça doğru ağırlık vektörüne en uygun oranda yakınsar . $X$

— AaronDefazio
kaynak

Lasso'nun neden çalıştığını anlayarak neden özellik seçimi gerçekleştirdiğini (yani bazı özellikler için ağırlıkları tam olarak 0'a ayarlayarak) anlamaya çalışıyorsanız, bunu çok iyi anlıyoruz:

— rinspy
kaynak

Güzel bir örnek için teşekkürler, ancak OP'nin ilgilendiği bölüm olmadığından şüpheleniyorum. Tabii ki, bunu netleştirmek OP'ye kalmış.

— Richard Hardy

Diyagramınızın noktalarını anlayamıyorum.

— Michael R.Chickick

L_{1}

$L_1$

\hat{λ}

$\hat \lambda$

@Chaconne, puanlarınız bir cevap için mükemmel bir temel oluşturur!

— Richard Hardy

@Chaconne, biz neyi belirleyerek olsa faydalı bir görüşme oluşturmak için görünüyordu do Lasso hakkında anlamak!

— rinspy

Model seçim tutarlılığının ( istatistikçiler tarafından cevaplanan ) işaret kurtarma sorunu var ve

bir araştırma konusu olan çıkarım sorunu (tahminler için iyi güven aralıkları oluşturmak) vardır.

Çalışmanın çoğu "öğrenme teorisi topluluğu" yerine istatistikçiler tarafından yapılır.

— Gao Zheng
kaynak

Bu zaten verilmiş olana nasıl katkıda bulunur?

— Michael R. Chernick

Kimse burada çıkarım sorunundan bahsetmedi, ki bu da iddianın ("iyi anlaşılmadı") ilk etapta yapılmasının sebebi olduğuna inanıyorum.

— Gao Zheng