Tam olarak hangi koşullar altında sırt regresyonu sıradan en küçük kareler regresyonuna göre bir gelişme sağlayabilir?

Ridge regresyon tahminleri parametreleri doğrusal bir model içinde ile burada bir düzenleme parametresidir. İlişkili pek çok yordayıcı olduğunda genellikle OLS regresyonundan ( ) daha iyi performans gösterdiği iyi bilinmektedir . $\boldsymbol \beta$ $\mathbf y = \mathbf X \boldsymbol \beta$

{\hat{β}}_{λ} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y,

$\hat{\boldsymbol \beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y,$

λ

$\lambda$

λ = 0

$\lambda=0$

Sırt regresyonu için bir varlık teoremi , ortalama kare hatası OLS'nin ortalama kare hatasından kesinlikle daha küçük olacak şekilde her zaman parametresi bulunduğunu söyler. tahmin . Başka bir deyişle, optimal bir değeri her zaman sıfır değildir. Bu görünüşe göre ilk kez Hoerl ve Kennard, 1970'de kanıtlanmıştır ve çevrimiçi bulduğum birçok ders notunda tekrarlanır (örneğin burada ve burada ). Benim sorum bu teoremin varsayımları hakkında: $\lambda^* > 0$ $\hat{\boldsymbol \beta}_\lambda$ $\hat{\boldsymbol \beta}_\mathrm{OLS}=\hat{\boldsymbol \beta}_0$ $\lambda$

Kovaryans matrisi hakkında herhangi bir varsayım var $\mathbf X^\top \mathbf X$ mı?
boyutsallığı hakkında herhangi bir varsayım var $\mathbf X$ mı?

Özellikle, öngörücüler dikey ise (yani $\mathbf X^\top \mathbf X$ diyagonal ise) veya olsa bile teorem hala geçerli $\mathbf X^\top \mathbf X=\mathbf I$ midir? Ve sadece bir veya iki öngörücü (örneğin, bir öngörücü ve kesişme) varsa hala doğru mu?

Teorem bu gibi varsayımlarda bulunmazsa ve bu durumlarda bile doğru kalırsa, o zaman sırt regresyonu genellikle sadece ilişkili öngörücülerde tavsiye edilir ve basit (yani çoklu değil) regresyon için asla (?) Önerilmez?

Bu büzülmeye ilişkin Birleşik görüş hakkındaki sorumla ilgili: Stein'in paradoksu, sırt regresyonu ve karışık modellerde rastgele etkiler arasındaki ilişki (varsa) nedir? , ama şimdiye kadar hiçbir cevap bu noktayı netleştirmiyor.

regression ridge-regression shrinkage

— amo diyor Reinstate Monica
kaynak

Son soru hariç hepsi doğrudan Hoerl & Kennard gazetesinde, özellikle Giriş'in ilk cümlesinde ve Sonuçların ilk cümlesinde ele alınmaktadır. Son soru, sabit bir vektör ile herhangi bir tek öngörücü arasındaki kovaryansın her zaman sıfır olduğunu belirterek cevaplanabilir, bu da bir kişinin (standart bir şekilde) i matrisine indirmesine izin verir .

X^{'} X

$\mathbf{X^\prime X}$

1 \times 1

$1\times 1$

— whuber

Teşekkürler, @whuber. Hoerl & Kennard gazetesinin sorularıma cevap verdiğine inanıyorum (en azından teknik olanlar) - kanıtları takip edebilmeli ve varsayımları kontrol edebilmeliyim (henüz yapmadım). Ama bahsettiğiniz cümleler karşısında tam olarak ikna olmadım. Giriş'in ilk cümlesi sorumla nasıl bağlantılı? Sonuçların ilk cümlesi yok önermek eğer tekdüze spektrumu vardır (örneğin eşittir o zaman teoremi geçerli değildir). Ama% 100 emin değilim, çünkü bu varsayımın kanıttan önce açıkça ifade edildiğini görmüyorum.

X^{⊤} X

$\mathbf X^\top \mathbf X$

I

$\mathbf I$

— amip diyor Reinstate Monica

Bu tür sorular sorduğu edilebilir ne Look yüksek temsilcisi kullanıcıları (genellikle yalnızca kim cevap onları) (ve aynı şekilde diğer bağlantılı soru için bana gönderdi buraya stats.stackexchange.com/questions/122062/... !

— javadba

Hem 1 hem de 2'nin yanıtı hayırdır, ancak varoluş teoreminin yorumlanmasına özen gösterilmelidir.

Ridge Tahmincisi Varyansı

Let ceza altında sırt tahmini olarak ve izin modeli için de geçerlidir parametre . Let özdeğerlerinin olmak . Hoerl & Kennard denklemleri 4.2-4.5'ten risk ( hatanın beklenen normu açısından) $\hat{\beta^*}$ $k$ $\beta$ $Y = X \beta + \epsilon$ $\lambda_1, \dotsc, \lambda_p$ $X^T X$
$L^2$

\begin{aligned} E ({[\hat{β^{*}} - β]}^{T} [\hat{β^{*}} - β]) & = σ^{2} \sum_{j = 1}^{p} λ_{j} / {(λ_{j} + k)}^{2} + k^{2} β^{T} {(X^{T} X + k I_{p})}^{- 2} β \\ = γ_{1} (k) + γ_{2} (k) \\ = R (k) \end{aligned}

$\begin{align*} E \left( \left[ \hat{\beta^*} - \beta \right]^T \left[ \hat{\beta^*} - \beta \right] \right)& = \sigma^2 \sum_{j=1}^p \lambda_j/ \left( \lambda_j +k \right)^2 + k^2 \beta^T \left( X^T X + k \mathbf{I}_p \right)^{-2} \beta \\ & = \gamma_1 (k) + \gamma_2(k) \\ & = R(k) \end{align*}$ nerede söyleyebileceğim kadar, Onlar söylüyoruz, iç ürünün varyans yorumu vardır iken, önyargı iç ürünüdür.

{(X^{T} X + k I_{p})}^{- 2} = {(X^{T} X + k I_{p})}^{- 1} {(X^{T} X + k I_{p})}^{- 1} .

$\left( X^T X + k \mathbf{I}_p \right)^{-2} = \left( X^T X + k \mathbf{I}_p \right)^{-1} \left( X^T X + k \mathbf{I}_p \right)^{-1}.$

γ_{1}

$\gamma_1$

\hat{β^{*}} - β

$\hat{\beta^*} - \beta$

γ_{2}

$\gamma_2$

Varsayalım ki , o zaman Let riskin w / r / t türevi olmalıdır . Yana , orada olduğu sonucuna bir öyle ki . $X^T X = \mathbf{I}_p$

R (k) = \frac{p σ^{2} + k^{2} β^{T} β}{(1 + k)^{2}} .

$R(k) = \frac{p \sigma^2 + k^2 \beta^T \beta}{(1+k)^2}.$

R^{'} (k) = 2 \frac{k (1 + k) β^{T} β - (p σ^{2} + k^{2} β^{T} β)}{(1 + k)^{3}}

$R^\prime (k) = 2\frac{k(1+k)\beta^T \beta - (p\sigma^2 + k^2 \beta^T \beta)}{(1+k)^3}$

k

$k$

lim_{k \to 0^{+}} R^{'} (k) = - 2 p σ^{2} < 0

$\lim_{k \rightarrow 0^+} R^\prime (k) = -2p \sigma^2 < 0$

k^{*} > 0

$k^*>0$

R (k^{*}) < R (0)

$R(k^*)<R(0)$

Yazarlar, ortogonalitenin risk açısından ümit edebileceğiniz en iyisi olduğunu ve koşul sayısı arttıkça yaklaşımlar . $k=0$ $X^T X$ $\lim_{k \rightarrow 0^+} R^\prime (k)$ $- \infty$

Yorum Yap

Burada bir çelişki var gibi görünüyor, çünkü ve sabitse, o zaman sadece Normal değişkenlerinin bir dizisinin ortalamasını tahmin ediyoruz ve vanilya tarafsız tahminini biliyoruz bu durumda kabul edilebilir. Bu, yukarıdaki akıl yürütmenin yalnızca sabit için değerinin en aza indirilmesini sağladığını fark ederek çözülür . Ancak herhangi bir , büyük yaparak riski patlatabiliriz , bu nedenle bu argüman tek başına sırt tahmini için kabul edilebilirlik göstermez. $p=1$ $X$ $(\beta, \sigma^2)$ $k$ $\beta^T \beta$ $k$ $\beta^T \beta$

Sırt regresyonu neden genellikle sadece ilişkili öngörücülerde önerilmektedir?

H & K'nin risk türevi, küçük olduğunu düşünürsek ve tasarımı neredeyse tekil ise, tahminin riskinde büyük düşüşler elde edebileceğimizi gösterir. Bence sırt regresyonu her yerde kullanılmıyor çünkü OLS tahmini güvenli bir varsayılan ve değişmezlik ve tarafsızlık özelliklerinin çekici olması. Başarısız olduğunda dürüstçe başarısız olur - kovaryans matrisiniz patlar. Belki de felsefi / çıkarımsal bir nokta vardır, eğer tasarımınız neredeyse tekilse ve gözlemsel verileriniz varsa, o zaman birim değişiklikler için değişiklik verdiği şeklinde yorumlanması şüphelidir - büyük kovaryans matrisi bir belirtisi. $\beta ^T \beta$ $X^T X$ $\beta$ $E Y$ $X$

Ancak hedefiniz yalnızca tahmin ise, çıkarımsal kaygılar artık geçerli değildir ve bir tür büzülme tahmincisi kullanmak için güçlü bir argümanınız vardır.

— Andrew M
kaynak

Vay canına, teşekkürler! "Yorum" bölümünüz hakkındaki anlayışımı kontrol edeyim: herhangi bir , optimum sıfırdan farklıdır, ancak değeri farklı betalar için farklıdır ve sabit bir , tüm betalar için geçemez; kabul edilebilirlik için gerekenler. Doğru? Bunun dışında, genel sorum hakkında yorum yapabilir misiniz: [Teorem böyle bir varsayımda bulunmazsa, o zaman] sırt regresyonu genellikle sadece ilişkili öngörücüler için tavsiye edilir ve asla basit (çoklu değil) regresyon için önerilmez? Olumlu etkinin rahatsız edici olmak için çok küçük olduğu ampirik olarak bilindiği için mi?

β

$\beta$

k

$k$

k

$k$

k = 0

$k=0$

— amoeba Reinstate Monica

H&K, sürekli olarak tam rütbeli olduğunu varsayar . 1 numaralı cevabın "hayır" olduğunu belirterek, sonuçlarının doğru olmadığında doğru olmaya devam ettiğini mi iddia ediyorsunuz?

X^{'} X

$X^\prime X$

— whuber

@whuber: Risk türetmelerinin merkezinde, sırt tahmini , burada , OLS tahmini ve . sıralaması yetersiz olduğunda bu açıkça görülemez . Ancak OLS tahmini mevcut değildir - bu nedenle sonlu riskli herhangi bir tahmin ( yeterince büyük alın ve , risk ile elde edersiniz ) bir tahmin ediciden daha iyi? Risk türetme hala devam ediyor gibi: Emin değilim. Farklı bir kanıt gerekli olacaktır.

\hat{β^{*}} = Z \hat{β}

$\hat{\beta^*} = Z \hat{\beta}$

\hat{β}

$\hat{\beta}$

Z = {((X^{T} X)^{- 1} + k I_{p})}^{- 1}

$Z = \left( (X^TX)^{-1} + k I_p \right)^{-1}$

X^{T} X

$X^TX$

k

$k$

\hat{β^{*}} \approx 0

$\hat{\beta^*} \approx 0$

β^{T} β

$\beta^T \beta$

— Andrew M

@ amoeba: evet, düzeltmen doğru görünüyor. OLS tahmincisine hükmetmek için, verilerin bir fonksiyonu olduğu bir çeşit uyarlanabilir prosedüre ihtiyacımız var . Diğer iş parçacığında, Xi'an adaptif sırt tahminleri hakkında bir yorum yaptı, bu yüzden bakmak için bir yer olabilir. RE: dikey tasarımlar için sırt tahminleri - Kanıtlarından alacağım rehberliğe kadar başka bir yorum ekledim.

λ

$\lambda$

— Andrew M