«parallel» etiketlenmiş sorular

DataFrame.isinBirkaç bin belirli sayfanın her biri için bireysel kullanıcıların kayıtlarını "beğenen" facebook listelerinde arama yaparak, pandaların işlevini yoğun kullanan bir modelleme ve puanlama programım var . Bu, programlamanın en zaman alan kısmı, modelleme veya puanlama parçalarından çok, sadece geri kalanı eşzamanlı olarak birkaç düzine çalıştırırken sadece bir çekirdekte çalıştığı için. …

25 performance  python  pandas  parallel 

Paralel ve dağıtılmış hesaplama arasındaki farklar nelerdir? Ölçeklenebilirlik ve verimlilik söz konusu olduğunda, makine kümelerindeki hesaplamalar ile ilgili çözümleri görmek çok yaygındır ve bazen paralel işleme veya dağıtılmış işleme olarak adlandırılır. Belirli bir şekilde, hesaplama her zaman paralel görünüyor, çünkü eşzamanlı olarak çalışan şeyler var. Ancak dağıtılmış hesaplama basitçe birden …

15 definitions  parallel  distributed 

Sıklıkla "orta veri" projeleri olarak adlandırılabilecek projeler üzerinde çalışarak, kodumu (çoğunlukla Python'da modelleme ve tahmin için) 4 ila 32 çekirdek arasındaki herhangi bir yerde tek bir sistemde paralelleştirebildim. Şimdi EC2'deki kümelere (muhtemelen StarCluster / IPython ile, ancak diğer önerilere de açık) ölçeklenmeye bakıyorum ve bir örnek üzerinde bir küme üzerindeki …

12 parallel  clusters  aws 

Şu anda veri analizi için R'yi yoğun olarak kullanan Big Data hakkında bir makale alıyorum. Oyun nedenleriyle bilgisayarımda bir GTX1070 var. Bu yüzden, öğretmenlerimin bana yaptıkları bazı şeylerin işlenmesini hızlandırmak için bunu kullanabilmemin gerçekten harika olacağını düşündüm, ancak bunu yapmak hiç de kolay görünmüyor. GpuR, CUDA, Rtools ve birkaç diğer …

11 r  gpu  parallel 

Keras (Theano arka planını kullanarak) LSTM kullanarak Seq2Seq modeli üzerinde çalışıyorum ve ben birkaç MB veri bile eğitim için birkaç saat gerekir, çünkü süreçleri paralelleştirmek istiyorum. GPU'ların paralelleştirmede CPU'lardan çok daha iyi olduğu açıktır. Şu anda yalnızca üzerinde çalışabileceğim CPU'larım var. 16 CPU'ya erişebildim (çekirdek başına 2 iş parçacığı X …

11 tensorflow  keras  theano  parallel