CNN eğitiminde hangi katman daha fazla zaman harcar? Konvolüsyon tabakaları ve FC tabakaları

11

Evrişimli Sinir Ağında hangi katman eğitimde azami zaman harcar? Evrişim katmanları mı yoksa Tam Bağlı katmanlar mı? Bunu anlamak için AlexNet mimarisini alabiliriz. Eğitim sürecinin zaman içinde dağılmasını görmek istiyorum. Herhangi bir sabit GPU yapılandırmasını alabilmemiz için göreceli bir zaman karşılaştırması istiyorum.

neural-networks deep-learning convolutional-neural-networks

— Ruchit Dalwadi
kaynak

11

NOT: Bu hesaplamaları spekülatif yaptım, bu yüzden bazı hatalar içeri girmiş olabilir. Düzeltmek için lütfen bu tür hataları bildirin.

Genel olarak herhangi bir CNN'de maksimum eğitim süresi, Tam Bağlantılı Katmandaki hataların Geri Yayılımına gider (görüntü boyutuna bağlıdır). Ayrıca maksimum bellek de onlar tarafından işgal edilir. İşte Stanford'dan VGG Net parametreleri hakkında bir slayt:

Tamamen bağlı katmanların parametrelerin yaklaşık% 90'ına katkıda bulunduğunu açıkça görebilirsiniz. Böylece maksimum hafıza onlar tarafından işgal edilir.

$(3*3*3)$ $(3*3*3)$ $224*224$ $224*224*(3*3*3)$ $64$ $224*224$ $64*224*224*(3*3*3) \approx 87*10^6$

$56*56*256$ $56*56$ $(3*3*256)$ $56*56$ $256 * 56 * 56 * (3*3*256) \approx 1850 *10^6$

$stride = 1$

$channels_{output} * (pixelOutput_{height} * pixelOutput_{width}) * (filter_{height} * filter_{width} * channels_{input})$

Hızlı GPU'lar sayesinde bu büyük hesaplamaları kolayca halledebiliyoruz. Ancak FC katmanlarında tüm matrisin yüklenmesi gerekir, bu da genellikle evrişimli katmanlar için geçerli olmayan bellek sorunlarına neden olur, bu nedenle evrişimli katmanların eğitimi hala kolaydır. Ayrıca tüm bunlar CPU'nun RAM'ine değil, GPU belleğine yüklenmelidir.

Ayrıca AlexNet'in parametre çizelgesi: