«batch-processing» etiketlenmiş sorular

Günde bir sürü simülasyon yapan çok parçalı bir yazılıma sahibim. Bu oldukça yoğun bir işlemdir ve bu programı bulut servislerinde, genellikle çekirdek başına 1GB gibi yapılandırmalarda çalıştırıyorum. Ben koşuyorum CentOS 6.7 ve /proc/cpuinfobenim dört VPS çekirdekler 2.5GHz olduğunu bana verir. processor : 3 vendor_id : GenuineIntel cpu family : 6 …

34 performance  vps  centos6  performance-tuning  batch-processing 

Man sayfasına göre, yürütme satırlarından biri 255 hatayla çıkarsa, xargs sonlandırılır: Herhangi bir komutun başlatılması 255 durumundan çıkarsa, xargs daha fazla giriş yapmadan hemen durur. Bu olduğunda stderr'de bir hata mesajı verilir. Bunu yapmaması için nasıl Xargs alabilirim ? Çalıştırmak istediğim 1500 satırlık toplu işim var, her seferinde 50 satır. …

27 bash  command-line-interface  batch-processing  xargs 

S3'te bir seferde binlerce veya on binlerce dosyayı toplu olarak silmek istiyorum. Her dosya 1MB ile 50MB arasında herhangi bir yerde olabilir. Doğal olarak, dosyaları (veya sunucumu) dosyaları silinme işlemi sırasında beklemek istemiyorum. Dolayısıyla, sorular: S3, özellikle çok sayıda dosyayı silerken dosya silme işlemini nasıl gerçekleştirir? Bunu yapmanın ve AWS'nin …

16 amazon-s3  batch-processing