Online ve batch Learning arasındaki fark nedir?

Şu anda John Duchi ve Yoram Singer'ın Forward-Backward Splitting'i kullanarak Efficient Online ve Batch Learning makalesini okudum . 'Çevrimiçi' ve 'Toplu' terimlerinin kullanımıyla ilgili çok kafam karıştı.

'Çevrimiçi' ifadesinin, eğitim verilerinin bir birimini işledikten sonra ağırlık parametrelerini güncellediğimizi düşündüm. Ardından egzersiz verilerinin bir sonraki birimini işlemek için yeni ağırlık parametrelerini kullanıyoruz.

Ancak, yukarıdaki makalede, kullanım o kadar net değildir.

Bana göre toplu ve çevrimiçi öğrenmeyi doğru kullanıyorlar. Bölüm 3'te öğrenme, yani toplu öğrenme gerçekleştirmek için tüm veri seti üzerinde çalışırken, bölüm 4'te çevrimiçi öğrenme algoritması olarak kullanılabilecek stokastik gradyana geçilirler.

Hiçbir zaman bir çevrimiçi öğrenme algoritması olarak stokastik eğimi kullanmadım; ancak, bir öğrenme çalışmasının ortasında optimizasyon sürecini durdurmak mümkündür ve yine de faydalı bir modeldir. Çok büyük veri kümeleri için bu, yararlıdır, çünkü yakınsama ölçebilir ve öğrenmeyi erken bırakabilirsiniz. Kendinizin söylediğini düşündüğüm gibi, her yeni veri noktası için modeli güncellediğinizden, çevrimiçi öğrenme yöntemi olarak stokastik gradyanı kullanabilirsiniz. Yine de, "eğitim verisi başına" deme konusunda dikkatli olurdum. Egzersiz verileri bir veri noktası değil, bir veri kümesidir, ancak " eğitim verisi başına " dediğinden beri sizi anladım .

Kısacası,

Çevrimiçi: Gözlenen her bir örüntüye göre öğrenme.

Parti: Model grupları üzerinden öğrenme. Çoğu algoritma toplu iştir.

Kaynak: http://machinelearningmastery.com/basic-concepts-in-machine-learning/

Toplu ve Çevrimiçi Öğrenmeye Karşı

On-line ve parti modları biraz farklıdır, ancak her ikisi de parabolik performans yüzeyleri için iyi performans gösterecektir. Bir büyük fark, parti algoritmasının girişteki her bir örnekle ilişkili hatayı hesaplarken sistem ağırlıklarını sabit tutmasıdır. On-line versiyon sürekli olarak ağırlıklarını güncellediğinden, hata hesaplaması (ve böylece degrade tahmini) her bir giriş örneği için farklı ağırlıklar kullanır. Bu, iki algoritmanın adaptasyon sırasında farklı noktaları ziyaret ettiği anlamına gelir. Ancak, ikisi de aynı minimum seviyeye yakınsar.

Aynı sayıda veri sunumu için iki yöntemin ağırlık güncellemelerinin sayısının çok farklı olduğunu unutmayın. On-line yöntem (LMS) her örneği güncellerken, toplu iş her dönemi günceller, yani,

LMS güncellemeleri = (toplu güncellemeler) x (eğitim setindeki örnek sayısı).

Parti algoritması da hesaplama sayısı açısından biraz daha verimlidir.