Özyinelemeli (çevrimiçi) düzenli en küçük kareler algoritması

12

Birisi beni Tikhonov Düzenlemesi (düzenli en küçük kareler) için çevrimiçi (özyinelemeli) bir algoritma yönünde gösterebilir mi?

Çevrimdışı bir ayarda, n katlama çapraz doğrulaması kullanılarak bulunduğu orijinal veri $\hat\beta=(X^TX+λI)^{−1}X^TY$ kullanarak hesaplardım $λ$ . kullanılarak belirli bir için yeni bir $y$ değeri tahmin edilebilir . $x$ $y=x^T\hat\beta$

Çevrimiçi ortamda sürekli olarak yeni veri noktaları çiziyorum. Tüm veri kümesinde (orijinal + yeni) tam bir yeniden hesaplama yapmadan yeni ek veri örnekleri nasıl güncelleyebilirim $\hat\beta$ ?

— rnoodle
kaynak

1

Tikhonov tarafından düzenlenmiş en küçük kareleriniz, belki de daha yaygın olarak , saf doğrusal problemlere (burada olduğu gibi) uygulandığında bile istatistiksel çevrelerde Levenberg-Marquardt olarak adlandırılır . Burada çevrimiçi Levenberg Marquardt hakkında bir makale var . Bunun herhangi bir yardım olup olmadığını bilmiyorum.

— Glen_b

11

$\hat\beta_n=(XX^T+λI)^{−1} \sum\limits_{i=0}^{n-1} x_iy_i$

Let $M_n^{-1} = (XX^T+λI)^{−1}$ , daha sonra

$\hat\beta_{n+1}=M_{n+1}^{−1} (\sum\limits_{i=0}^{n-1} x_iy_i + x_ny_n)$ ve

$M_{n+1} - M_n = x_nx_n^T$ , alabiliriz

$\hat\beta_{n+1}=\hat\beta_{n}+M_{n+1}^{−1} x_n(y_n - x_n^T\hat\beta_{n})$

Woodbury formülüne göre ,

$M_{n+1}^{-1} = M_{n}^{-1} - \frac{M_{n}^{-1}x_nx_n^TM_{n}^{-1}}{(1+x_n^TM_n^{-1}x_n)}$

Sonuç olarak,

$\hat\beta_{n+1}=\hat\beta_{n}+\frac{M_{n}^{−1}}{1 + x_n^TM_n^{-1}x_n} x_n(y_n - x_n^T\hat\beta_{n})$

Polyak ortalama kullanabilirsiniz gösterir yaklaştığı ile aralıklar için . Sizin durumunuzda , yinelemeniz için en iyi seçmeyi deneyebilirsiniz . $\eta_n = n^{-\alpha}$ $\frac{M_{n}^{−1}}{1 + x_n^TM_n^{-1}x_n}$ $\alpha$ $0.5$ $1$ $\alpha$

Toplu degrade algoritması uygularsanız da işe yaradığını düşünüyorum:

$\hat\beta_{n+1}=\hat\beta_{n}+\frac{\eta_n}{n} \sum\limits_{i=0}^{n-1}x_i(y_i - x_i^T\hat\beta_{n})$

— lennon310
kaynak

Regressörümü her seferinde ardışık her partinin biraz farklı bir dağıtımdan alındığı yeni veri toplu örnekleri ile güncellersem ne olur? yani IID olmayan. Bu durumda regresörün yeni verileri hesaba katmasını isterim, ancak eski verilerin (önceki gruplar) yerindeki tahminlerini etkilemez mi? Bana yararlı olabileceğini düşündüğünüz herhangi bir literatüre yönlendirebilir misiniz?

— rnoodle

İyi soru, ama şu anda cevapta hala toplu degrade formülünü kullanıyorsanız veya matris formunu doğrudan uygulayarak yaklaşık ise modelinizi ne kadar etkileyeceğini söyleyemem: eta ^ (- alpha) * X (Y-X 'beta_n) burada X, Y yeni parti örneklerinizdir

— lennon310

merhaba, normalleştirme katsayısı özyinelemeli güncelleme formülünde yer almıyor gibi görünüyor? ya da sadece M matrisinin tersinin başlatılmasında önemli midir?

— Peng Zhao

4

Şimdiye kadar hiç kimsenin nokta, veri noktaları eklendikçe normalleştirme parametresini sabit tutmanın genellikle mantıklı olmamasıdır . Bunun nedeni normalde veri noktası sayısı ile doğrusal olarak büyürken, normalleştirme terimi olmayacak. $\lambda$ $\| X \beta -y \|^{2}$ $\| \lambda\beta \|^{2}$

— Brian Borchers
kaynak

Bu ilginç bir nokta. Ama tam olarak neden "mantıklı değil"? sabit tutmak kesinlikle matematiksel olarak geçerlidir, bu nedenle "mantıklı gelmeme" bir tür istatistiksel bağlamda anlaşılmalıdır. Ama hangi bağlam? Ne yanlış gidiyor? Karelerin toplamlarını ortalama karelerle değiştirmek gibi bir tür kolay düzeltme olur mu?

λ

$\lambda$

— whuber

Karelerin toplamını ölçeklendirilmiş bir sürümle değiştirmek (örneğin ortalama kare hatası) mantıklı olacaktır, ancak yalnızca özyinelemeli en küçük kareler kullanmak bunu başaramaz.

— Brian Borchers

Neyin yanlış gideceğine gelince, seçiminize bağlı olarak, çok sayıda veri noktası olan çok düşük düzenli bir çözüm ya da az sayıda veri noktası olan çok düzenli bir çözüm elde edersiniz.

λ

$\lambda$

— Brian Borchers

Şüphelenilir, ancak veri noktası alındıktan sonra başlangıçta ayarlanırsa ve daha sonra daha fazla veri noktası eklenirse, daha fazla veri noktası ve aynı ile sonuçlanan çözümlerin aşırı veya düşük düzenli olup olmadığı bu yeni Veri noktaları. Bu, veri noktalarının çok değişkenli bir dağılımdan bir iid örneği gibi davrandığı varsayılarak analiz edilebilir; bu durumda , aşamasında olarak ayarlanmalıdır . Bu, güncelleme formüllerini değiştirir, ancak düzenli ve basit bir şekilde, etkili hesaplama hala mümkün olabilir. (+1)

λ

$\lambda$

n

$n$

λ

$\lambda$

λ

$\lambda$

N / n

$N/n$

N

$N$

— whuber

3

Belki de Stokastik gradyan inişi gibi bir şey burada işe yarayabilir. Başlangıç veri kümenizdeki yukarıdaki denkleminizi kullanarak yı hesaplayın , bu başlangıç tahmininiz olacaktır. Her yeni veri noktası için, parametre tahmininizi güncellemek üzere bir degrade iniş adımı gerçekleştirebilirsiniz. $\hat{\beta}$

— Max S.
kaynak

O zamandan beri SGD'nin (belki de minibatch) bu gibi çevrimiçi sorunlara gitmek için bir yol olduğunu fark ettim yani işlev yaklaşımlarını güncelleme.

— rnoodle

1

Doğrusal regresyonda, bir olasılık, burada açıklandığı gibi QR ayrışmasını doğrudan güncellemektir . Her yeni veri noktası eklendikten sonra yeniden tahmin etmek istemiyorsanız , sırt regresyonu ile çok benzer bir şey yapılabileceğini tahmin ediyorum . $X$ $\lambda$

— Matteo Fasiolo
kaynak

0

İşte Woodbury formülünü kullanmaya kıyasla alternatif (ve daha az karmaşık) bir yaklaşım. Not ve olarak yazılabilir toplamlar . Bazı şeyleri çevrimiçi olarak hesapladığımız ve toplamın patlamasını istemediğimiz için alternatif olarak araçlar ( ve ) kullanabiliriz. $X^TX$ $X^Ty$ $X^TX/n$ $X^Ty/n$

ve şöyle yazarsanız : $X$ $y$

X = (\begin{matrix} x_{1}^{T} \\ ⋮ \\ x_{n}^{T} \end{matrix}), y = (\begin{matrix} y_{1} \\ ⋮ \\ y_{n} \end{matrix}),

$X = \begin{pmatrix} x_1^T \\ \vdots \\ x_n^T \end{pmatrix}, \quad y = \begin{pmatrix} y_1 \\ \vdots \\ y_n \end{pmatrix},$

çevrimiçi güncellemeleri ve ( satırına kadar hesaplanır ) olarak şöyle yazabiliriz : $X^TX/n$ $X^Ty/n$ $t$

A_{t} = (1 - \frac{1}{t}) A_{t - 1} + \frac{1}{t} x_{t} x_{t}^{T},

$A_t = \left(1 - \frac{1}{t}\right) A_{t-1} + \frac{1}{t}x_t x_t^T,$

b_{t} = (1 - \frac{1}{t}) b_{t - 1} + \frac{1}{t} x_{t} y_{t} .

$b_t = \left(1 - \frac{1}{t}\right) b_{t-1} + \frac{1}{t}x_t y_t.$

Sizin çevrimiçi tahmin sonra olur $\beta$

{\hat{β}}_{t} = (A_{t} + λ I)^{- 1} b_{t} .

$\hat\beta_t = (A_t + \lambda I)^{-1}b_t.$

Bu, gözlemler ekledikçe sabit kalmasının yorumlanmasına da yardımcı olduğunu unutmayın ! $\lambda$

Bu prosedür https://github.com/joshday/OnlineStats.jl doğrusal / sırt regresyonunun çevrimiçi tahminlerini nasıl hesaplar.

— joshday
kaynak