'Çağ', 'toplu iş' ve 'minibatch' arasındaki farklar nelerdir?

36

Bildiğim kadarıyla, öğrenme algoritması olarak Stokastik Degrade İnişini benimsediğinde, birileri tam veri kümesi için 'çağ', bir güncelleme adımında kullanılan veriler için 'küme' kullanırken bir başkası sırasıyla 'küme' ve 'minibatch'i kullanıyor; Diğerleri 'çağ' ve 'minibatch' kullanır. Bu tartışırken çok kafa karışıklığı getiriyor.

Peki doğru söyleniş nedir? Ya da sadece kabul edilebilir olan lehçelerdir?

machine-learning

— Tim
kaynak

24

Epoch, tam antreman setinden bir pas geçmek demektir
Toplu iş, tüm verilerinizi bir yineleme sırasında degradeyi hesaplamak için kullandığınız anlamına gelir.
Mini toplu işlem, bir yineleme sırasında tüm verilerinizin yalnızca bir alt kümesini aldığınız anlamına gelir.

— Bu
kaynak

15

$n$

$b$ $b$ $n$ $n/b$

$n$ $n$

— user1036719
kaynak

3

"Epoch" genellikle bir öğrenme algoritmasını tüm eğitim verisi setine göstermek anlamına gelir. Bu bazen veri ürettiğimiz için anlam ifade etmez.

"Toplu" ve "Minibatch" kafa karıştırıcı olabilir.

Eğitim örneklerinin bazen "toplu" hale getirilmesi gerekir, çünkü tüm verilerin bir anda algoritmaya maruz kalması gerekmez (genellikle bellek kısıtlamaları nedeniyle).

SGD bağlamında "Minibatch", gradyanın ağırlıkları güncellemeden önce tüm parti boyunca hesaplandığı anlamına gelir. Bir "minibatch" kullanmıyorsanız, bir "toplu" içindeki her eğitim örneği, öğrenme algoritmasının parametrelerini bağımsız olarak günceller.

— ferrouswheel
kaynak

Son paragraftan emin misin? "Toplu" SGD'nin, çağdaki tüm verileri çok kesin bir gradyanı yavaşça hesaplamak için kullandığını sanıyordum. Son

— Matt Krause

Ayrıca, Validated Cross'a hoş geldiniz!

— Matt Krause,

Evet, orijinal SGD'nin 1 büyüklüğünde mini partisi var. Sonuçta yazılım yazarının yorumuna bağlı olduğunu düşünüyorum. Çok sık toplu iş == mini-toplu, hiç "mini-batch" den söz etmeden.

— demir tekerlek

Err, sanırım toplu GD'nin tüm verileri kullandığını söyledim. Ben genellikle toplu ve minibatch'i birbiri yerine kullanırım, ama "mini-batch" i gerçekten küçük olduğunu belirtmek istediğimde ...

— Matt Krause