Vektör işlemlerine dayalı stokastik degrade iniş?

Diyelim ki N örneği olan bir veri kümesi kullanarak stokastik bir degrade iniş regresyon algoritması eğitmek istiyorum. Veri kümesinin boyutu sabit olduğundan, veri T zamanlarını yeniden kullanacağım. Her yinelemede veya "dönem" de, tüm eğitim setini rastgele yeniden sıraladıktan sonra her eğitim örneğini tam olarak bir kez kullanıyorum.

Benim uygulama Python ve Numpy dayanmaktadır. Bu nedenle, vektör işlemlerinin kullanılması hesaplama süresini önemli ölçüde azaltabilir. Toplu degrade inişin vektörize bir uygulaması ile gelmek oldukça basittir. Bununla birlikte, stokastik gradyan iniş durumunda, her çağda tüm numuneler boyunca yinelenen dış döngüden nasıl kaçınılacağını anlayamıyorum.

Stokastik gradyan inişin vektörize edilmiş bir uygulamasını bilen var mı?

DÜZENLEME : Veri kümemin boyutu sabitse neden çevrimiçi degrade inişini kullanmak istediğim soruldu.

[1] 'den, çevrimiçi gradyan inişinin, toplu gradyan inişinden ampirik maliyetin minimumuna daha yavaş yakınsadığı görülebilir. Bununla birlikte, genelleme performansını ölçen, beklenen maliyetin en aza indirgenir. Bu teorik sonuçların özel problemimdeki etkilerini çapraz doğrulama yoluyla test etmek istiyorum. Vektörize edilmiş bir uygulama olmadan, çevrimiçi degrade iniş kodum toplu degrade iniş kodundan çok daha yavaştır. Bu, çapraz doğrulama sürecinin tamamlanması için gereken süreyi önemli ölçüde artırır.

EDIT : Ben burada arkadaşım tarafından istendiği gibi, on-line degrade iniş uygulamasının sözde kodu dahil. Bir regresyon problemini çözüyorum.

Method: on-line gradient descent (regression)
Input: X (nxp matrix; each line contains a training sample, represented as a length-p vector), Y (length-n vector; output of the training samples)
Output: A (length-p+1 vector of coefficients)

Initialize coefficients (assign value 0 to all coefficients)
Calculate outputs F
prev_error = inf
error = sum((F-Y)^2)/n
it = 0
while abs(error - prev_error)>ERROR_THRESHOLD and it<=MAX_ITERATIONS:
    Randomly shuffle training samples
    for each training sample i:
        Compute error for training sample i
        Update coefficients based on the error above
    prev_error = error
    Calculate outputs F
    error = sum((F-Y)^2)/n
    it = it + 1

[1] "Büyük Ölçekli Çevrimiçi Öğrenme", L. Bottou, Y. Le Cunn, NIPS 2003.

Her şeyden önce, "örnek" sözcüğü normalde popülasyonun alt kümesini tanımlamak için kullanılır , bu yüzden "örnek" ile aynı şeyi ifade edeceğim.

SGD uygulamanız bu hat nedeniyle yavaş:

for each training example i:

Burada her bir model parametresi güncellemesi için tam olarak bir örnek kullanıyorsunuz. Tanım olarak, vektörleştirme bir eleman üzerindeki işlemleri bu elemanların bir vektörü üzerindeki operasyonlara dönüştürmek için kullanılan bir tekniktir. Böylece, hayır, örnekleri tek tek işleyemez ve yine de vektörleştirmeyi kullanamazsınız.

Bununla birlikte, mini partileri kullanarak gerçek SGD'ye yaklaşabilirsiniz . Mini seri, orijinal veri kümesinin küçük bir alt kümesidir (örneğin, 100 örnek). Mini partilere dayalı hata ve parametre güncellemelerini hesaplarsınız, ancak yine de küresel optimizasyon olmadan çoğunu yineleyerek işlemi stokastik hale getirirsiniz. Bu nedenle, uygulamanızı çok daha hızlı hale getirmek için önceki satırı şu şekilde değiştirmek yeterlidir:

batches = split dataset into mini-batches
for batch in batches: 

ve tek bir örnekten değil, toplu işteki hatayı hesaplayın.

Oldukça açık olmasına rağmen, örnek başına vektörizasyondan da bahsetmeliyim. Yani, böyle bir şey yerine:

theta = np.array([...])  # parameter vector
x = np.array([...])      # example
y = 0                    # predicted response
for i in range(len(example)):
    y += x[i] * theta[i]
error = (true_y - y) ** 2  # true_y - true value of response

kesinlikle böyle bir şey yapmalısın:

error = (true_y - sum(np.dot(x, theta))) ** 2

yine, mini partiler için genellemesi kolay:

true_y = np.array([...])     # vector of response values
X = np.array([[...], [...]]) # mini-batch
errors = true_y - sum(np.dot(X, theta), 1)
error = sum(e ** 2 for e in errors)

Scikit'in SGD sınıflandırıcısının partial_fit yöntemine göz atın . Onunla ne aradığınızı kontrol edebilirsiniz: bir seferde bir örnek ileterek "gerçek" çevrimiçi öğrenmeyi yapabilir veya tüm verileriniz bir dizide mevcutsa örnekleri mini gruplara ayırabilirsiniz. Eğer öyleyse, minibatchları sağlamak için diziyi dilimleyebilirsiniz.