«parallelism» etiketlenmiş sorular

Bir .txt dosyasında IP adreslerinin bir listesi var, örneğin: 1.1.1.1 2.2.2.2 3.3.3.3 Her IP adresinin arkasında bir sunucu var ve her sunucuda 22 numaralı bağlantı noktasında çalışan bir sshd var. known_hostsListede her sunucu yok (bilgisayarımda, Ubuntu 10.04 LTS / bash). Bu sunucularda komutları nasıl çalıştırabilirim ve çıktıları nasıl toplayabilirim? İdeal …

46 ssh  scripting  parallelism 

Freescale IMX6 dört işlemci kullanıyorum. topKomutun 4 çekirdeğin hepsinde mi yoksa tek bir çekirdeğin CPU kullanımını mı listelediğini bilmek istiyorum . Bir uygulamanın CPU kullanımının 4 çekirdekli ve tek çekirdekli aynı olduğunu görüyorum. Uygulama tarafından CPU kullanımının tek bir çekirdekte artacağını ve 4 çekirdekte azaltacağını tahmin ediyordum, ancak değişmedi.

45 linux  top  parallelism  cpu-usage 

Her biri 2 GB olan 250+ dosyadan oluşan bir klasörüm var. Bu dosyalarda bir string / pattern aramam ve sonucu bir outputdosyada çıkarmam gerekiyor. Aşağıdaki komutu çalıştırabilirim biliyorum ama çok yavaş !! grep mypattern * > output Hızlandırmak istiyorum. Java'da programcı olarak, çoklu iş parçacıklığının süreci hızlandırmak için kullanılabileceğini biliyorum. …

38 grep  parallelism 

Büyük bir dosya indirmem gerekiyor (1GB). Ayrıca Linux çalıştıran birden fazla bilgisayara da erişebiliyorum, ancak her biri yönetici politikası tarafından 50kB / s indirme hızıyla sınırlı. Bu dosyayı indirmeyi birkaç bilgisayara nasıl dağıtabilirim ve tüm bölümler indirildikten sonra bunları birleştirebilirim, böylece daha hızlı alabilirim?

38 download  cluster  parallelism 

Linux'ta aynı anda birden fazla sekmede komut çalıştırmak için kullanabileceğim herhangi bir araç / komut var mı? Aynı komutu çalıştırmak istiyorum: Aynı ./myprog argument1 argument2anda birden fazla kabukta, mutekslerin iş parçacıklı bir programda iyi çalışıp çalışmadığını kontrol etmek için. Kodumu daha sonra strese sokmak için bu programın örnek sayısını artırabilmek …

33 shell  terminal  parallelism 

Mümkün olduğu kadar çabuk derlemek istiyorum. Git figürü. Ve -jseçeneği izleyen sayı seçimini otomatikleştirmek istiyorum . Bu değeri programlı olarak, örneğin bir kabuk betiğinde nasıl seçebilirim? nprocDerlemek için kullanabileceğim iş parçacığı sayısına eşdeğer çıktı mı ? make -j1 make -j16

31 linux  make  cpu  parallelism  multiprocessor 

Disk G / Ç ve boş RAM'in bir darboğaz olduğu varsayımı altında (CPU süresi sınırlama olmasa da), aynı anda birden fazla mesaj özeti hesaplayabilen bir araç var mı? MD-5 ve SHA-256 büyük dosyaların özetini (gigabayt cinsinden boyut), tercihen paralel olarak hesaplamakla özellikle ilgileniyorum. Denedim openssl dgst -sha256 -md5, ancak yalnızca …

25 shell-script  hashsum  parallelism 

Bir dizinde bir sürü PNG resmi var. Bu görüntüleri sıkıştırmak için kullandığım pngout adlı bir uygulamam var. Bu uygulama yaptığım bir komut dosyası tarafından denir. Sorun şu ki, bu komut dosyası bir seferde bir tane yapıyor, şunun gibi: FILES=(./*.png) for f in "${FILES[@]}" do echo "Processing $f file..." # take …

23 shell  background-process  parallelism 

: Ben bash komut dosyaları üç (veya daha fazla) olduğunu varsayalım script1.sh, script2.shve script3.sh. Bu senaryoların üçünü de çağırmak ve paralel olarak çalıştırmak istiyorum . Bunu yapmanın bir yolu sadece aşağıdaki komutları yürütmektir: nohup bash script1.sh & nohup bash script2.sh & nohup bash script3.sh & (Genel olarak, komut dosyalarının tamamlanması …

19 bash  shell-script  background-process  parallelism 

Ben giriş dosyaları (birçok giriş satırı içeren her dosya) dolu bir dizin verildi bir kabuk komut dosyası sorunum var ve ben her biri kendi çıktıları benzersiz bir dosya (aka, file_1.input ihtiyaçlarını yeniden yönlendirerek, ayrı ayrı işlemek gerekir file_1.output vb. içinde yakalanacaktır). Önceden paralel olarak , işlemcileri boğmamak için bir çeşit …

18 scripting  parallelism  gnu-parallel 

(Alternatif olarak ) xargsseçeneği ile kullanıyorum .--max-args=0-P 0 Bununla birlikte, işlemlerin çıktısı, stdoutdoğru hat ayrımı dikkate alınmaksızın akışa birleştirilir . Bu yüzden sık sık aşağıdaki gibi satırlarla sonuçlanacağım: <start-of-line-1><line-2><end-of-line-1> Ben tüm çıkış desen egrepile birlikte kullandığım gibi bu benim sonuç berbat.^xargs xargsSüreç çıktılarını sırayla yazmaya zorlamanın bir yolu var mı …

18 process  io  xargs  parallelism 

Ben bir sekme ayrılmış dosya içine nihai sonuçları yaklaşık 5 veya 6 farklı programlar aracılığıyla bazı veri boru bir bash kabuk komut dosyası var. Daha sonra aynısını benzer bir veri kümesi için tekrar yaparım ve ikinci bir dosyaya çıktı. Daha sonra her iki dosya da karşılaştırmalı analiz için başka bir …

17 scripting  parallelism 

64 çekirdekli bir uzak makineye ssh yapabilirim. Bu makinede paralel olarak 640 kabuk betiği çalıştırmam gerektiğini söyleyelim. Bunu nasıl yaparım? 640 betiğin 10 betiğin her birini 64 gruba böldüğünü görebiliyorum. Daha sonra bu grupların her birini nasıl paralel çalıştırabilirim , yani mevcut çekirdeklerin her birinde bir grup. Formun bir senaryosu …

16 parallelism 

Aşağıdaki senaryoyu düşünün. Program A ve B iki programım var. Bu iki programı kullanmanın yolu elbette: foo @ bar: ~ $ A | B Şimdi bunun sadece bir çekirdek yediğini fark ettim; bu yüzden merak ediyorum: A ve B programları aynı hesaplama kaynaklarını paylaşıyor mu? Eğer öyleyse, A ve B'yi …

16 shell  parallelism 

Ben sadece puf (Paralel URL getirici) buldum ama bir dosyadan url okumak için alamadım; gibi bir şey puf < urls.txt de çalışmıyor. Sunucuda kurulu işletim sistemi Ubuntu'dur.

15 ubuntu  wget  parallelism