Çıkarım için GPU veya CPU kullanmalı mıyım?

Bir GPU tarafından eğitilmiş derin bir öğrenme sinir ağı çalıştırıyorum. Şimdi bunu çıkarsama için birden çok ana bilgisayara dağıtmak istiyorum. Soru, çıkarım için GPU'ları mı yoksa CPU'ları mı kullanmam gerektiğine karar vermenin koşulları nelerdir?

Aşağıdaki yorumlardan daha fazla ayrıntı ekleniyor.

Ben bu konuda yeniyim, bu yüzden rehberlik takdir edilmektedir.

• Bellek : GPU K80

• Çerçeve : Cuda ve cuDNN

• İş yükü başına veri boyutu : 20G

• Kullanılacak bilgi işlem düğümleri : her bir ölçek için bir seçenek olsa da

• Maliyet : Sebepler mantıklıysa bir GPU seçeneği alabilirim

• Dağıtım : Bulutta değil, kendi barındırılan çıplak metal sunucularında çalışıyor.

Şu anda CPU üzerinde çalışıyorum çünkü uygulama iyi çalışıyor. Ama bu sebepten ötürü, neden GPU'yu bile dikkate alacağından emin değilim.

@Dan @SmallChess, tamamen katılmıyorum. Antrenman için birçok parallalizasyondan GPU'lar tarafından faydalanılabilir ve bu da çok daha hızlı bir eğitim ile sonuçlanabilir. Çıkarım için, bu parallalizasyon çok daha az olabilir, ancak CNN'ler yine de bundan daha hızlı çıkarımla sonuçlanan bir avantaj elde edecektir. Şimdi sadece kendinize sormalısınız: daha hızlı çıkarım önemli mi? Bu ek bağımlılıkları (iyi bir GPU, doğru dosyalar yüklendi vb.) İstiyorum?

Hız bir sorun değilse, CPU'ya gidin. Bununla birlikte, GPU'ların deneyimimde daha hızlı bir büyüklük sırası yapabileceğini unutmayın.

CPU yerine bir GPU üzerinde çıkarım yapmak, eğitimde olduğu gibi hızlanmaya daha az, hafızaya biraz daha az bir hız kazandırır.

Ancak, dediğin gibi, uygulama CPU'da iyi çalışıyor. Çıkarım hızının uygulamada bir darboğaz olduğu noktaya gelirseniz, bir GPU'ya yükseltmek bu darboğazı hafifletir.

GPU'yu sadece eğitim için kullanırsınız çünkü derin öğrenme en uygun çözüme ulaşmak için büyük hesaplama gerektirir. Ancak, dağıtım için GPU makinelerine ihtiyacınız yoktur .

Örnek olarak Apple'ın yeni iPhone X'ini ele alalım. Yeni iPhone X, yüz tanıma için gelişmiş bir makine öğrenme algoritmasına sahiptir. Apple çalışanlarının eğitim ve validasyon için bir makine kümesine sahip olması gerekir. Ancak iPhone X'inizin sadece modeli çalıştırmak için bir GPU'ya ihtiyacı yoktur.