kısaca sorum şu: Bir GPU'nun VRAM bant genişliği Derin Sinir Ağları ile ilgili gerçekten bir darboğaz mı?
Daha Uzun Sürüm: Tim Dettmers adlı bir adam , blogunda , grafik işlemcisinin kendisiyle ilgili tüm işlemlerin daha hızlı olduğunu ve bant genişliğinin yeni veriler sağlayabildiğini yazdı . Mantıklı görünüyor. Ama şimdi dün kendi deneyimlerimi yaptım ve öğrendim ki, GPU'mda bu böyle değil. 1GB VRAM özellikli Nvidia GTX 560TI. Gördüğünüz gibi, oldukça yavaş bir kart ve çok fazla VRAM yok. AlexNet ve 128x128 Görüntü ve toplu iş boyutu 4 - büyük olanlar VRAM'ime sığmıyor - durum şöyle: 2200 Mhz hafıza saati: 13:34 dakika 1650 Mhz hafıza saati: 14:17 dakika
Neredeyse hızlanma yok. 1 1/3 bellek saat hızı ile zamanın% 95,3'ü. Şimdi durum böyle olabilir, benim durumumda graics işlemci gerçekten yavaştır ya da parti büyüklüğü sadece küçüktür ve bu nedenle PCIe bant genişliği (PCIe 2.0) tarafından bağlanır. Ben de ~ 1 Milyon parametre ve 1024'e kadar çeşitli parti boyutlarında 40x40 Görüntüler içeren bir ağ üzerinde denedim. Orada neredeyse hiç farketmedi.
Temsil edici olmayan bir denememden sonra, GPU performansıyla ilgili neyin önemli olduğuna hala emin değilim.
Düzenleme: Bu durumda, çerçeve Nvidia kahve çatalı olan Nvidia Rakamları idi. GPU'mun çok yavaş olduğunu biliyorum ama sorum genel olarak GPU'lar ile ilgiliydi.