Neden kement yerine grup kement kullanmalıyım?

Grup kementinin bir değişken grubunda değişken seçimi ve seyrekliği için kullanıldığını okudum. Bu iddianın ardındaki sezgiyi bilmek istiyorum.

• Kement grubu neden kemente tercih edilir?
• Grup kement çözüm yolu neden parça parça doğrusal değil?

Sezgisel olarak, grup kement kemente tercih edilebilir, çünkü gerçek katsayı için tahminimize ek bilgileri (belirli bir tür) dahil etmemiz için bir araç sağlar . Aşırı bir senaryo olarak, aşağıdakileri göz önünde bulundurarak:$\beta^*$

İle , koyun desteği olarak . "Oracle" tahmincisi iki gruplu grup kementidir - biri gerçek destek ve biri tamamlayıcı. Let en küçük değeri yapar . Grubun kement ceza doğası nedeniyle, bildiğimiz en gelen hareket için bazı küçük için ($y \sim \mathcal{N} (X \beta^*, \sigma^2 I )$$S = \{j : \beta^*_j \neq 0 \}$$\beta^*$ λ m, bir x λ β =0λ λ m bir x λ m bir x -ss>0 β S

$$\hat{\beta} = \arg\min_{\beta} \|y - X \beta\|_2^2 + \lambda \left( |S|^{1/2} \|\beta_S\|_2 + (p-|S|)^{1/2} \|\beta_{S^C}\|_2 \right),$$ $\lambda_{max}$$\lambda$$\hat{\beta} = 0$$\lambda$$\lambda_{max}$$\lambda_{max} - \epsilon$$\epsilon > 0$ ), tam olarak bir grup , popüler olarak için bir tahmin olarak kabul edilen desteğine girecektir . Grubumuz, yüksek olasılıkla, seçilen grup olacak ve mükemmel bir iş başaracağız .$\hat{\beta}$$S$$S$

Uygulamada, grupları bu kadar iyi seçmiyoruz. Bununla birlikte, gruplar, yukarıdaki aşırı senaryodan daha ince olmasına rağmen, hala bize yardımcı olacaktır: bir grup gerçek ortak değişken ve bir grup gerçek olmayan ortak değişken arasında seçim yapılacaktır. Hala güç borçluyuz.

Bu burada resmileşmiştir . Bazı koşullar altında, grup kementinin tahmin hatası üzerindeki bir üst sınırın, düz kementin tahmin hatası üzerindeki bir alt sınırdan daha düşük olduğunu gösterirler. Yani gruplamanın tahminimizi daha iyi hale getirdiğini kanıtladılar.

İkinci sorunuz için: (düz) kement cezası parçalı doğrusaldır ve bu parçalı doğrusal çözüm yoluna yol açar. Sezgisel olarak, grup kement durumunda, ceza artık parçalı doğrusal değildir, bu yüzden artık bu mülke sahip değiliz. Çözüm yollarının parçalı doğrusallığına büyük bir referans burada . Tekliflerine bakın 1. ve . Kement grubunun çözüm yolunun yalnızca durumunda doğrusal olduğunu gösterirler. parçalı sabittir. Elbette, bu ceza küresel eğriliğinden beri değil . J ( β ) = ∑ g ∈ G | g | 1 / 2 ‖ β g ‖ 2 ( ∇ 2 L ( β ) + A, ∇ 2 J ( β ) ) - 1 ∇ J ( β ) $L(\beta) = \|y - X \beta\|_2^2$$J(\beta) = \sum_{g \in G} |g|^{1/2} \|\beta_g\|_2$

$$\left( \nabla^2L(\hat{\beta}) + \lambda \nabla^2 J(\hat{\beta}) \right)^{-1} \nabla J(\hat{\beta})$$ $J$

Ben'in cevabı en genel sonuçtur. Ancak OP'ye sezgisel cevap, genellikle çoklu kukla değişkenler olarak kodlanan kategorik öngörücüler durumunda motive edilir: her kategori için bir tane. Birçok analizde bu kukla değişkenleri (bir kategorik öngörücüyü temsil eden) ayrı ayrı değil birlikte düşünmek mantıklıdır.

Örneğin beş seviyeli kategorik bir değişkeniniz varsa, düz bir kement iki içeri ve üç dışarıda bırakabilir. Bunu ilkeli bir şekilde nasıl ele alırsınız? Oy vermeye karar verdiniz mi? Kelimenin tam anlamıyla daha anlamlı kategorik yerine kukla değişkenleri kullanın? Kukla kodlamanız seçimlerinizi nasıl etkiler?

Lojistik regresyon için grup kementinin tanıtımında söyledikleri gibi :

Zaten sadece sürekli değil, aynı zamanda kategorik öngörücüler (faktörler) mevcut olduğunda doğrusal regresyondaki özel durum için, kement çözümü, tüm faktörler yerine sadece bireysel kukla değişkenleri seçtiği için tatmin edici değildir. Ayrıca, kement çözümü kukla değişkenlerin nasıl kodlandığına bağlıdır. Kategorik bir öngörücü için farklı kontrastlar seçmek genel olarak farklı çözümler üretecektir.

Ben'in de belirttiği gibi, öngörücüler arasında, birlikte veya dışarıda olmaları gerektiğini gösterebilecek daha ince bağlantılar da vardır. Ancak kategorik değişkenler grup kementinin poster çocuğudur.