Regresyonda sırt düzeneğinin yorumlanması

25

En küçük kareler bağlamında sırt cezası ile ilgili birkaç sorum var:

β_{r i d g e} = (λ I_{D} + X^{'} X)^{- 1} X^{'} y

$\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y$

1) İfade, X'in kovaryans matrisinin köşegen bir matrise doğru küçüldüğünü, yani (değişkenlerin işlemden önce standartlaştırıldığı varsayılarak) girdi değişkenleri arasındaki korelasyonun azaltılacağını önermektedir. Bu yorum doğru mu?

2) Eğer büzülme uygulamasıysa neden satırlarına formüle , normalleştirme ile bir şekilde [0,1] aralığına sınırlayabileceğimizi . $(\lambda I_D + (1-\lambda)X'X)$

3) için normalleştirme olabilir, böylece [0,1] gibi standart bir aralıkla sınırlandırılabilir. $\lambda$

4) Köşegene sabit eklemek tüm özdeğerleri etkiler. Sadece tekil veya yakın tekil değerlere saldırmak daha iyi olur mu? Bu, PCA'yı X'e uygulamak ve regresyondan önce en üstteki N ana bileşenlerini tutmakla aynı mıdır yoksa farklı bir adı mı var (çapraz kovaryans hesaplamasını değiştiremediğinden)?

5) Çapraz kovaryansı düzenleyebilir miyiz veya herhangi bir kullanımı var mı, yani

β_{r i d g e} = (λ I_{D} + X^{'} X)^{- 1} (γ X^{'} y)

$\beta_{ridge} = (\lambda I_D + X'X)^{-1}(\gamma X'y)$

Küçük bir çapraz kovaryansı düşürür. Açıkçası bu düşürür ancak, aynı s belki de sert / yumuşak eşik kovaryans değerine bağlı olarak gibi akıllı bir yolu yoktur. $\gamma$ $\beta$

— Çağdaş Özgenç
kaynak

Sırp cezası , MSE objektif fonksiyonunda bir Lagrange çarpanı yoluyla kısıtlamasıyla elde edilir . LASSO aynı, fakatyerine. Telefonumdayım, şu an kolayca bir türev gönderemiyorum. Ancak bunlar harika sorular

\sum β^{2} \leq T

$\sum \beta^2 \leq T$

| β |

$|\beta|$

— shadowtalker

19

Güzel sorular!

Evet, bu kesinlikle doğru. Sırtı cezalandırmayı, birçok kestiricinin yüksek oranda ilişkili olduğu durumlarda ortaya çıkan çoklu bağlanma problemi ile başa çıkmanın olası bir yolu olarak görebilirsiniz . Sırtı ceza vermek, bu korelasyonları etkili bir şekilde azaltır.
Bunun kısmen gelenek olduğunu düşünüyorum, kısmen ilk denkleminizde belirtilen sırt regresyon formülünün aşağıdaki maliyet fonksiyonundan kaynaklandığı gerçeği: Eğer , ikinci dönem düştü ve ilk terimi ( "yeniden hatası") standart En Küçük Kareler formüle açar minimize edilebilir . Formülü ile ikinci dönem potansiyel tutulması
$L = ‖ y - X β ‖^{2} + λ ‖ β ‖^{2} .$ $L=\| \mathbf y - \mathbf X \beta \|^2 + \lambda \|\beta\|^2.$ $\lambda=0$ $\beta$ $\beta_\mathrm{ridge}$ . Bu maliyet fonksiyonu, matematiksel olarak uğraşmak için çok uygundur ve bu "normalleşmemiş" lambda tercih edilmesinin sebeplerinden biri olabilir.
Normalleştirmek için muhtemel bir yöntem toplam varyans ile ölçeklemek için , örneğin, kullanımı yerine . Bu olmaz ille confine için , ancak "boyutsuz" yapacak ve muhtemelen en uygun yol açacağı az sonra olmak tüm pratik durumlarda (NB: Bu sadece bir tahmin olduğunu!). $\lambda$ $\mathrm{tr}(\mathbf X^\top \mathbf X)$ $\lambda \mathrm{tr}(\mathbf X^\top \mathbf X)$ $\lambda$ $\lambda$ $[0,1]$ $\lambda$ $1$
"Sadece küçük özdeğerlere saldırmak" ayrı bir isme sahiptir ve ana bileşenlerin regresyonu olarak adlandırılır. PCR ve sırt regresyonu arasındaki bağlantı, PCR'de etkin bir şekilde belirli bir sayıdan sonra tüm özdeğerleri kesen bir "kademeli cezaya" sahip olmanızdır; oysa regresyon, "öz ceza" uygulayarak tüm özdeğerleri cezalandırır, daha küçük olanlar daha fazla cezalandırılır. Bu güzel açıklanmıştır İstatistiksel Öğrenme Element Hastie ve ark. (çevrimiçi olarak ücretsiz kullanılabilir), bölüm 3.4.1. Ayrıca , ridge regresyonu ve PCA regresyonu arasındaki ilişkideki cevabımıma bakınız .
Bunu daha önce hiç görmedim, ancak şeklinde bir maliyet fonksiyonunu değerlendirebileceğinizi unutmayın Bu küçülür sıfıra değil, ama başka önceden tanımlanmış bir değere . Matematik birinin eserler optimal için gelecek olursa tarafından verilen
$L = ‖ y - X β ‖^{2} + λ ‖ β - β_{0} ‖^{2} .$ $L=\| \mathbf y - \mathbf X \beta \|^2 + \lambda \|\beta-\beta_0\|^2.$ $\beta$ $\beta_0$ $\beta$ olan belki de "çapraz kovaryans regularizing" olarak görülebilir? $β = (X^{⊤} X + λ I)^{- 1} (X^{⊤} y + λ β_{0}),$ $\beta = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} (\mathbf X^\top \mathbf y + \lambda \beta_0),$

— amip Reinstate Monica diyor
kaynak

1

Ekleyerek neden açıklayabilir misiniz

için

kovaryans matrisi olduğu araçlarla

diyagonal matris doğru büzülür? Bu sanırım tamamen doğrusal bir cebir sorusu.

λ I_{D}

$\lambda I_D$

X^{'} X

$X'X$

X

$X$

— Heisenberg

3

@Heisenberg, iyi,

kovaryans matrisidir

(a kadar

ölçekleme faktörü). Hesaplama

bu kovaryans matrisinin ters çevrilmesini gerektirir. Mahya regresyon, biz invert

bunun yerine, tek görebilmesi için

kovaryans matrisinin bir regularize tahmini olarak. Şimdi

terimi , diyagonal üzerinde

olan bir diyagonal matristir . Düşünün

çok büyük; o zaman toplam

çapraz terimi tarafından yönlendirilir

X^{⊤} X

$X^\top X$

X

$X$

1 / N

$1/N$

β

$\beta$

X^{⊤} X + λ I

$X^\top X + \lambda I$

X^{⊤} X + λ I

$X^\top X + \lambda I$

λ I

$\lambda I$

λ

$\lambda$

λ

$\lambda$

ve böylece düzenli kovaryans,

büyüdükçedaha fazla diyagonal hale gelir.

λ I

$\lambda I$

λ

$\lambda$

— amip diyor Reinstate Monica

wrt Q5, İstatistiksel Öğrenme Öğeleri, görüntü işleme uygulamaları için düzgünlük sınırlamalarına bakar (PDA - sayfa 447)

— seanv507

10

4. soruya ilişkin bir başka yorum. Aslında, sırt regresyonu küçük özdeğerlerini oldukça etkin bir şekilde ele alırken, çoğunlukla büyük özdeğerleri tek başına bırakır. $X^{T}X$

Bunu görmek için, tekil değer ayrışması açısından ridge regresyon tahmin edicisini ifade edin , $X$

X = \sum_{i = 1}^{n} σ_{i} u_{i} v_{i}^{T}

$X=\sum_{i=1}^{n} \sigma_{i}u_{i}v_{i}^{T}$

$u_{i}$ $v_{i}$ $X^{T}X$ $\sigma_{i}^{2}$ $i=1, 2, \ldots, n$

O zaman bunu gösterebilirsin

β_{ridge} = \sum_{i = 1}^{n} \frac{σ_{i}^{2}}{σ_{i}^{2} + λ} \frac{1}{σ_{i}} (u_{i}^{T} y) v_{i} .

$\beta_{\mbox{ridge}}=\sum_{i=1}^{n} \frac{\sigma_{i}^{2}}{\sigma_{i}^{2}+\lambda}\frac{1}{\sigma_{i}} (u_{i}^{T}y) v_{i}.$

$\sigma_{i}^{2}/(\sigma_{i}^{2}+\lambda)$ $\lambda=0$ $\lambda > 0$ $\sigma_{i}^{2} \gg \lambda$ $\sigma_{i}^{2} \ll \lambda$

Karşılaştırmada, temel bileşenler regresyonu, bu formülde 1 (daha büyük özdeğerler için) veya 0 (daha küçük özdeğerler için düşmüş) faktörlerini kullanır.

— Brian Borchers
kaynak

1

Cevabımda kısaca bahsettiğim şey tam olarak buydu, ancak matematiksel olarak ayrıntılı bir şekilde gösterip göstermesi çok güzel, +1.

— amip diyor Reinstate Monica

5

$X$ $X$

λ x + y = κ (α x + (1 - α) y),

$\lambda x + y = \kappa \left( \alpha x + (1-\alpha) y\right),$

α = \frac{λ}{1 + λ}

$\alpha=\frac{\lambda}{1+\lambda}$

κ = 1 + λ

$\kappa = 1+\lambda$

0 \leq λ < + \infty

$0 \leq \lambda < + \infty$

0 < α \leq 1

$0 < \alpha \leq 1$

"Yalnızca tekil veya yakın tekil değerlere saldırmak" olarak tanımladığınız teknik aynı zamanda Tekil Spektrum Analizi (doğrusal regresyon için) olarak da bilinir (bkz. Denk 19), eğer "saldırı" derken "kaldırma" ". Çapraz kovaryans değişmez.

$X$

— Vincent Guillemot
kaynak

Teşekkür ederim. Y ile PCR kovaryansı, boyut küçültme yapıldıktan sonra hesaplanır, değil mi? PCR ve SSA arasındaki fark bu mu? Gama (benim değil), alfanın [0,1] sınırlanmasını nasıl seçersiniz?

— Cagdas Ozgenc

1

γ

$\gamma$

κ

$\kappa$

SSA ve PCR arasındaki fark konusunda haklı olduğunuzu düşünüyorum, emin olmak için yazmalıyız.

— Vincent Guillemot