LASSO'nun serbestlik dereceleri için sezgi

Zou ve diğ. "Kementin" serbestlik dereceleri " (2007), sıfır olmayan katsayıların sayısının, kementin serbestlik dereceleri için tarafsız ve tutarlı bir tahmin olduğunu göstermektedir.

Bana biraz mantıksız geliyor.

Bir regresyon modelimiz olduğunu varsayalım (değişkenlerin sıfır ortalaması olduğu yerlerde)

y = β x + ε .

$y=\beta x + \varepsilon.$

değerinin sınırsız OLS tahmini olduğunu varsayalım . Çok düşük ceza yoğunluğu için kabaca bir LASSO tahmini ile çakışabilir . $\beta$ $\hat\beta_{OLS}=0.5$ $\beta$
Belirli bir ceza yoğunluğu için bir LASSO Tahmin, daha varsayalım olduğu . Örneğin, , çapraz doğrulama kullanılarak bulunan veri kümesi için "optimal" olabilir . $\lambda^*$ $\hat\beta_{LASSO,\lambda^*}=0.4$ $\lambda^*$ $\lambda$
Doğru anlarsam, her iki durumda da serbestlik derecesi 1'dir, çünkü her iki kez de sıfır olmayan bir regresyon katsayısı vardır.

Soru:

, daha az "özgürlük" her iki durumda da özgürlük dereceleri nasıl aynıdır ? $\hat\beta_{LASSO,\lambda^*}=0.4$ $\hat\beta_{OLS}=0.5$

Referanslar:

Zou, Hui, Trevor Hastie ve Robert Tibshirani. "Kementin" serbestlik derecesi "nde." Yıllık İstatistikler 35.5 (2007): 2173-2192.

— Richard Hardy
kaynak

büyük soru, bu daha fazla dikkat hak!

— Matifou

, bir dizi boyutlu gözlem verildiğini varsayın . Şu formun bir modelini varsayalım: burada , ve iç ürünü gösteren . Let bir tahmin olarak montaj yöntemi kullanılarak (bizim için OLS veya kement olarak). Makalede verilen serbestlik dereceleri için formül (denklem 1.2): $n$ $p$ $x_i \in \mathbb{R}^p$ $i = 1, \dotsc, n$

\begin{aligned} Y_{i} = ⟨ β, x_{i} ⟩ + ϵ \end{aligned}

$\begin{align} Y_i = \langle \beta, x_i\rangle + \epsilon \end{align}$

ϵ \sim N (0, σ^{2})

$\epsilon \sim N(0, \sigma^2)$

β \in R^{p}

$\beta \in \mathbb{R}^p$

⟨ \cdot, \cdot ⟩

$\langle \cdot, \cdot \rangle$

\hat{β} = δ ({Y_{i}}_{i = 1}^{n})

$\hat{\beta} = \delta(\{Y_i\}_{i=1}^n)$

β

$\beta$

δ

$\delta$

\begin{aligned} df (\hat{β}) = \sum_{i = 1}^{n} \frac{Cov (⟨ \hat{β}, x_{i} ⟩, Y_{i})}{σ^{2}} . \end{aligned}

$\begin{align} \text{df}(\hat{\beta}) = \sum_{i=1}^n \frac{\text{Cov}(\langle\hat{\beta}, x_i\rangle, Y_i)}{\sigma^2}. \end{align}$

Sizin sezgi uygun olarak, biz yürütebiliriz bu formülü teftiş ederek, gerçek kement için DOF gerçekten az olacak gerçek OLS DOF; LASSO tarafından etkilenen katsayılı büzülme, kovaryansları azaltma eğiliminde olmalıdır.

Şimdi, sorunuzu cevaplamak için, LASSO için DOF'un örneğinizdeki OLS için DOF ile aynı olmasının nedeni, sadece modelden örneklenmiş belirli bir veri kümesinden elde edilen tahminlerle (tarafsız olanlar da) ilgileniyor olmanızdır. , gerçek DOF değerlerinin. Herhangi bir belirli veri kümesi için, böyle bir tahmin gerçek değere eşit olmayacaktır (özellikle de tahminin bir tam sayı olması gerektiğinden, gerçek değer genel olarak gerçek bir sayıdır).

Bununla birlikte, bu tür tahminlerin modelden örneklenen birçok veri seti üzerinde ortalaması alındığında, tarafsızlık ve çok sayıda yasa ile böyle bir ortalama gerçek DOF'a yakınlaşacaktır. LASSO söz konusu olduğunda, bu veri kümelerinin bazıları katsayının aslında 0 olduğu bir tahmin ediciyle sonuçlanır (ancak küçükse bu tür veri kümeleri nadir olabilir ). OLS durumunda, DOF'un tahmini, sıfır olmayan katsayıların sayısı değil , her zaman katsayıların sayısıdır ve bu nedenle OLS vakasının ortalaması bu sıfırları içermeyecektir. Bu, tahmincilerin nasıl farklı olduğunu ve LASSO DOF için ortalama tahmincinin, OLS DOF için ortalama tahminciden daha küçük bir şeye nasıl yakınlaşabileceğini gösterir. $\lambda$

— e2crawfo
kaynak

Hatalarımı ve kesin olmayan formülasyonlarımı düzelttiğiniz için teşekkürler. Bakalım seni iyi anladıysam. Temel olarak, deneyi birçok kez tekrarlarsak (veya aynı popülasyondan birçok kez örnek alırsak), zaman zaman (katsayı sıfıra kadar küçülür) ve ortalama olarak (deneyler arasında) OLS için DoF (belli ki) iken LASSO için DoF elde ederim .

{\hat{β}}_{L A S S O} = 0

$\hat\beta_{LASSO}=0$

< 1

$<1$

= 1

$=1$

— Richard Hardy

Bu arada, serbestlik derecesi tahmininin neden tam sayı olması gerekiyor? Gerçekten mi? Ayrıca, iç ürün gösteriminin gereksiz yere karmaşık göründüğünü ve bu sitede nadiren kullanıldığını da belirteyim; matris notasyonu yeterli olacaktır. Ama elbette bu senin seçimin.

— Richard Hardy

Evet bu özetliyor. Serbestlik derecesi tahmini, yalnızca sıfır olmayan katsayıların sayısı olduğu için LASSO (en azından tek bir veri kümesi için) bir tam sayı olmalıdır.

— e2crawfo

İfadesi Serbestlik derecesi tahmin tahmin sıfır olmayan katsayı sayısını sırf kement için bir tamsayı olmak zorunda bana son derece totolojik görünüyor. Genel olarak, yazdığınız df'nin tanımından df'nin tamsayı olması gerektiğini düşünmüyorum. Benzer şekilde, sırt durumunda, zorunlu olarak sıfır değildir.

— Matifou