Verimli çevrimiçi doğrusal regresyon

53

Sıradan doğrusal regresyon yapmak istediğim bazı verileri analiz ediyorum, ancak sürekli veri girişi akışı (çevrimiçi olarak bellek için çok büyük olacak) ve ihtiyaç duyulan çevrimiçi bir ayar ile uğraşırken bu mümkün değil tüketilirken parametre tahminlerini güncellemek için. yani hepsini hafızaya yükleyemiyorum ve veri setinin tamamında doğrusal regresyon yapamıyorum.

Basit bir doğrusal çok değişkenli regresyon modelini, yani

y = A x + b + e

$\mathbf y = \mathbf A\mathbf x + \mathbf b + \mathbf e$

Doğrusal regresyon parametrelerinin ve sürekli güncellenen bir tahminini oluşturmak için en iyi algoritma nedir ? $\mathbf A$ $\mathbf b$

İdeal:

Güncelleme başına en çok alan ve zaman karmaşıklığı olan bir algoritma istiyorum ; burada , bağımsız değişkenin boyutsallığıdır ( ) ve , bağımlı değişkenin boyutluluğudur ( ). $\mathcal O(N\cdot M)$ $N$ $\mathbf x$ $M$ $\mathbf y$
Her yeni örnek tarafından parametrelerin ne kadar güncellendiğini belirlemek için bazı parametreler belirleyebilmek istiyorum, örneğin 0.000001, bir sonraki örneğin parametre tahmininin milyonda birini sağlayacağı anlamına gelir. Bu, uzak geçmişte örneklerin etkisi için bir çeşit üstel bozulma sağlayacaktır.

— Mikera
kaynak

2

(1) Esnek doğrusal regresyon (2) Kalman Filtreleri.

— Jase

31

Maindonald, Givens rotasyonlarına dayanan sıralı bir yöntemi açıklar . (Bir Givens dönüşü, vektörlerden birinde belirli bir girişi sıfırlayan iki vektörün ortogonal bir dönüşümüdür.) Önceki adımda, tasarım matrisini bir matris ile bir matris ortogonal dönüşüm böylece . (Bu üçgen matrisinden regresyon sonuçları elde etmek için hızlı ve kolaydır.) Yeni bir satır bitişik üzerine altında , etkili uzanır sıfır olmayan bir satırdaki da say $\mathbf{X}$ $\mathbf{T}$ $\mathbf{Q}$ $\mathbf{Q}\mathbf{X} = (\mathbf{T}, \mathbf{0})'$ $v$ $\mathbf{X}$ $(\mathbf{T}, \mathbf{0})'$ $t$ . Görev, girişleri diyagonal konumunda tutarken bu satırı sıfırlamaktır . Bir Givens dönüşleri dizisi bunu yapar: nin ilk satırındaki dönüş ilk elemanını sıfırlar ; daha sonra, nin ikinci satırındaki dönüş , ikinci elemanı sıfırlar ve benzerleri. Bunun etkisi, ortogonalitesini değiştirmeyen bir dizi döndürmeyle önceden ortaya koymak dır . $\mathbf{T}$ $\mathbf{T}$ $t$ $\mathbf{T}$ $\mathbf{Q}$

Tasarım matrisi sütunlara sahipse ( değişkenlerine artı bir sabit gerileme uygulandığı zaman ), gereken rotasyon sayısı geçmez ve her rotasyon iki -vektör değiştirir. İçin gerekli depolama olduğu . Bu nedenle, bu algoritma hem zaman hem de uzaydaki hesaplamalı maliyetine sahiptir . $p+1$ $p$ $p+1$ $p+1$ $\mathbf{T}$ $O((p+1)^2)$ $O((p+1)^2)$

Benzer bir yaklaşım, bir satır silme işleminin regresyon üzerindeki etkisini belirlemenizi sağlar. Maindonald formül verir; öyleyse Belsley, Kuh ve Welsh . Bu nedenle, regresyon için hareketli bir pencere arıyorsanız, pencerenin verilerini dairesel bir arabellek içinde tutabilir, yeni veriye bitişik hale getirebilir ve eskisini her güncellemeyle bırakabilirsiniz. Bu güncelleştirme süresini iki katına ve ek gerektirir eni bir pencere için depolama . Görünüşe göre , darbe parametresinin analogu gibi görünüyor . $O(k (p+1))$ $k$ $1/k$

Üstel çürüme için, (spekülatif), bu yaklaşımı ağırlıklı en küçük karelere uyarlayabileceğinizi, her yeni değere 1'den daha büyük bir ağırlık verebileceğinizi düşünüyorum. Önceki değerleri içeren bir arabellek tutmaya veya eski verileri silmeye gerek olmamalıdır.

Referanslar

JH Maindonald, İstatistiksel Hesaplama. J. Wiley & Sons, 1984. Bölüm 4.

DA Belsley, E. Kuh, RE Welsch, Regresyon Teşhisleri: Etkili Verilerin ve Yeterlilik Kaynaklarının Belirlenmesi. J. Wiley ve Sons, 1980.

— whuber
kaynak

1

Maindonald'ın tarif ettiği yöntem Gentleman algoritmasıyla ilgili veya aynı mı? jstor.org/stable/2347147

— 46'da

6

Bu durumda ayrıca Alan Miller jstor.org/stable/2347583 adresindeki uzantılara bakın . Fortran yazılım sitesinin bir arşivi şimdi jblevins.org/mirror/amiller adresinde

— 05

5

P'nin altında açık bir algoritma belirir. 4 saba.kntu.ac.ir/eecd/people/aliyari/NN%20%20files/rls.pdf . Bu Googling "özyinelemeli en küçük kareler" tarafından bulunabilir. Gentleman / Maindonald yaklaşımında bir gelişme gibi görünmüyor, ancak en azından açıkça ve açıkça tanımlanmış.

— whuber

2

Son bağlantı önereceğim yönteme benziyor. Kullandıkları matris kimliği, diğer yerlerde Sherman - Morrison - Woodbury kimliği olarak bilinir. Ayrıca uygulanması oldukça sayısal olarak etkilidir, ancak bir Givens rotasyonu kadar stabil olmayabilir.

— kardinal

2

@suncoolsu Hmm ... Maindonald'ın kitabı, kullanmaya başladığımda yeni yayımlandı :-).

— whuber

8

Doğrusal regresyon modelinizi bir durum-uzay modeline sokmak size neyin peşinde olduğunuzu verecektir. Eğer R kullanıyorsanız, dlm paketini kullanmak ve arkadaş kitabına Petris ve ark.

— F. Tusell
kaynak

belki kafam karıştı ama bu bir zaman serisi modeline gönderme yapıyor gibi görünüyor? benim modelim aslında örneklerin bir zaman serisi olmadıklarından daha basit (etkili bir şekilde bağımsız (x-> y) örnekler, sadece zamanla büyük hacimlerde

— toplanıyorlar

1

Evet, genel durumda bu bağımsız olmayan gözlemleri olan zaman serileri için kullanılır; ancak, her zaman sizin ilginizi çeken özel durum olan ardışık gözlemler arasında bir ilişki olduğunu varsayabilirsiniz.

— F. Tusell

7

$E$ $W$

$E(i; W)$ $W$

W_{j} \leftarrow W_{j} + α \frac{\partial E (i; W)}{\partial W_{j}}

$W_{j} \leftarrow W_j + \alpha \frac{\partial{E(i; W)}}{\partial{W_j}}$

$\alpha$

Bu çok verimli ve sinir ağlarının tipik olarak eğitilme şekli. Çok sayıda örneği bile paralel olarak (örneğin 100 veya daha fazla) verimli bir şekilde işleyebilirsiniz.

Elbette daha sofistike optimizasyon algoritmaları (momentum, eşlenik gradyan, ...) uygulanabilir.

— bayerj
kaynak

Bu makaleye çok benziyor eprints.pascal-network.org/archive/00002147/01/… . Jubatus adında açık kaynaklı bir projede uygulandı.

— sakarin

3

Şu ana kadar kimsenin dokunmadığına şaşırdım. Doğrusal regresyonun ikinci dereceden bir nesnel işlevi vardır. Bu nedenle, herhangi bir başlangıç noktasından itibaren yeni bir Raphson adımı sizi doğrudan optimaya yönlendirir. Şimdi, doğrusal regresyonunuzu zaten yaptınız diyelim. Amaç işlevi:

L (β) = (y - X β)^{t} (y - X β)

$L(\beta) = (y - X \beta)^t (y - X \beta)$

\nabla L (β) = - 2 X^{t} (y - X β)

$\nabla L (\beta) = -2 X^t (y - X \beta)$

\nabla^{2} L (β) = X^{t} X

$\nabla^2 L (\beta) = X^t X$

$\beta$ $x_{new}, y_{new}$

\nabla L_{n e w} (β) = - 2 x_{n e w} (y_{n e w} - x_{n e w}^{T} β)

$\nabla L_{new}(\beta) = -2 x_{new} (y_{new}-x_{new}^T \beta)$

\nabla^{2} L_{n e w} = x_{n e w} x_{n e w}^{T}

$\nabla^2 L_{new} = x_{new}x_{new}^T$

Bunu yukarıda verilen eski kendir kuşuna ekleyin. O zaman sadece bir Newton Raphson adımı atın.

β_{n e w} = β_{o l d} + (\nabla^{2} L)^{- 1} \nabla L_{n e w}

$\beta_{new} = \beta_{old} + (\nabla^2L)^{-1} \nabla L_{new}$

Ve bitti.

— ryu576
kaynak

1

\nabla L_{n e w}

$\nabla L_{new}$

p,

$p,$

O (p^{3})

$O(p^3)$

O (p^{3})

$O(p^3)$

p

$p$

(I - A)^{- 1} = I + A + A^{2} + \dots

$(I-A)^{-1}=I+A+A^2+ \dots$

2

Standart en küçük karelere uyum regresyon katsayılarını verir

$\beta = ( X^T X )^{-1} X^T Y$

$\beta$

$X^T X$ $X^T Y$ $M^2+M$ $\beta$

Örneğin, M = 1 ise, bir katsayısı

$\beta = \frac{\sum_{i=1}^N{x_i y_i}}{\sum_{i=1}^N{x_i^2}}$

böylece her yeni veri noktasını elde ettiğinizde hem toplamları günceller hem de oranı hesaplar ve güncellenmiş katsayıyı elde edersiniz.

$X^T X$ $X^T Y$ $(1-\lambda)$ $\lambda$

— Mark Higgins
kaynak

2

β

$\beta$

X^{T} X

$X^T X$

X^{T} Y

$X^T Y$

6

X^{'} X

$X'X$

1

C^{- 1} x

$C^{-1}x$

C

$C$

x

$x$

z_{t + 1} = z_{t} + x - C z_{t}

$z_{t+1}=z_t + x - Cz_t$

z \to C^{- 1} x

$z\to C^{-1}x$

t \to \infty

$t\to\infty$

1

Sorunları biraz yeniden yazdığınızda sorun daha kolay çözülür:

Y = y

X = [x, 1]

sonra

Y = A * X

Hesaplanarak tek bir çözüm bulundu

V = X '* X

ve

C = X '* Y

V'nin N'le N boyutuna ve C'ye N'le M boyutuna sahip olması gerektiğini unutmayın. Aradığınız parametreler daha sonra verilir:

A = inv (V) * C

Hem V hem de C, verilerinizi toplayarak hesaplandığından, her yeni örnekte A'yı hesaplayabilirsiniz. Bununla birlikte, bunun bir zaman karmaşıklığı vardır (N ^ 3).

V kare ve yarı kesin pozitif olduğundan, V'nin sayısal olarak daha stabil olmasını sağlayan bir LU ayrışması vardır. Bir matrisin tersine rank-1 güncellemelerini gerçekleştirecek algoritmalar vardır. Bunları bulun ve aradığınız etkin uygulamaya sahip olacaksınız.

Rank-1 güncelleme algoritmaları Golub ve van Loan tarafından "Matrix hesaplamaları" nda bulunabilir. Zorlu bir malzemedir, ancak bu tür algoritmalara kapsamlı bir bakış açısı vardır.

Not: Yukarıdaki yöntem, her adımda en az kareli bir tahmin sunar. X ve Y güncellemelerine kolayca ağırlık ekleyebilirsiniz. X ve Y değerleri çok büyüdüğünde, sonucu etkilemeden tek bir skalar ile ölçeklenebilir.

— Bay Beyaz
kaynak