«multiprocessing» etiketlenmiş sorular

Birleştirilebilir kuyrukta çalışan birkaç işlem oluşturan Qve sonunda Dsonuçları depolamak için genel bir sözlüğü değiştirebilen bir program . (böylece her alt süreç Dkendi sonucunu depolamak ve diğer alt süreçlerin hangi sonuçları ürettiğini görmek için kullanabilir) Bir çocuk süreçte sözlüğü D yazdırırsam, üzerinde yapılan değişiklikleri görüyorum (yani D'de). Ama ana süreç …

113 python  multiprocessing 

Çoklu işlem modülü ile kullanmak için paylaşılan bellekte bir numpy dizisi kullanmak istiyorum. Zorluk, onu sadece bir ctypes dizisi olarak değil, bir numpy dizisi gibi kullanmaktır. from multiprocessing import Process, Array import scipy def f(a): a[0] = -a[0] if __name__ == '__main__': # Create the array N = int(10) unshared_arr …

112 python  numpy  multiprocessing  shared 

Python Multiprocessing hakkında bilgi edinmek (bir PMOTW makalesinden ) ve join()yöntemin tam olarak ne yaptığına dair biraz açıklama yapmak isterim . Bir In 2008 eski öğretici o olmadan belirtiyor p.join()aşağıdaki kodu çağrı, "çocuk süreç elle öldürmek gereken bir zombi haline sonlandırmak boşta ve olmayacaktır". from multiprocessing import Process def say_hello(name='world'): …

110 python  multiprocessing 

Alt süreçler , programda daha önce oluşturulmuş nesneleri paylaşan çoklu işlem aracılığıyla mı ortaya çıkıyor ? Aşağıdaki kuruluma sahibim: do_some_processing(filename): for line in file(filename): if line.split(',')[0] in big_lookup_object: # something here if __name__ == '__main__': big_lookup_object = marshal.load('file.bin') pool = Pool(processes=4) print pool.map(do_some_processing, glob.glob('*.data')) Belleğe bazı büyük nesneler yüklüyorum, sonra …

107 python  multiprocessing 

Daemonik olmayan bir python Havuzu oluşturmak mümkün olabilir mi? Bir havuzun içinde başka bir havuzu olan bir işlevi çağırabilmesini istiyorum. Bunu istiyorum çünkü deamon süreçleri süreç yaratamaz. Özellikle şu hataya neden olur: AssertionError: daemonic processes are not allowed to have children Örneğin, senaryoyu düşünün function_abir havuz çalışır sahiptir function_bçalışan bir …

104 python  multiprocessing  pool 

Kodumu daha "pitonik" ve daha hızlı yapmak için, "çoklu işlem" ve ona a) işlevi ve b) yineleme aralığını göndermek için bir harita işlevi kullanıyorum. İmplante çözüm (yani, tqdm.tqdm aralığında doğrudan tqdm çağrısı yapın (aralık (0, 30)) çoklu işlemle çalışmaz (aşağıdaki kodda formüle edildiği gibi). İlerleme çubuğu% 0 ile% 100 arasında …

103 python  multiprocessing  progress-bar  tqdm 

Bir imap_unordered()çağrı ile başarılı bir şekilde çoklu işlem Havuzu görevi yapan bir komut dosyam var : p = multiprocessing.Pool() rs = p.imap_unordered(do_work, xrange(num_tasks)) p.close() # No more work p.join() # Wait for completion Bununla birlikte, benim num_tasks250.000 civarında ve bu nedenle join()ana iş parçacığını 10 saniye kadar kilitliyor ve ana …

98 python  multiprocessing 

multiprocessingModül belgeleri, bir kuyruğun başlatılan bir işleme nasıl geçirileceğini gösterir multiprocessing.Process. Ancak bir kuyruğu, başlatılan zaman uyumsuz çalışan işlemlerle nasıl paylaşabilirim apply_async? Dinamik birleşmeye veya başka bir şeye ihtiyacım yok, sadece çalışanların sonuçlarını (tekrar tekrar) üsse geri bildirmeleri için bir yol. import multiprocessing def worker(name, que): que.put("%d is done" % …

96 python  parallel-processing  queue  multiprocessing  python-multiprocessing 

Çoklu işlem kuyruğunun python üzerinde nasıl çalıştığını ve nasıl uygulanacağını anlamaya çalışırken çok sorun yaşıyorum. Verilere paylaşılan bir dosyadan erişen iki python modülüm olduğunu varsayalım, bu iki modüle bir yazıcı ve bir okuyucu diyelim. Planım, hem okuyucunun hem de yazıcının istekleri iki ayrı çoklu işlem kuyruğuna koyması ve ardından üçüncü …

94 python  multithreading  multiprocessing 

Http://docs.python.org/dev/library/multiprocessing.html adresindeki belgeleri okumaya çalıştım, ancak hala çoklu işlem Kuyruğu, Havuz ve Kilitleme ile uğraşıyorum. Ve şimdilik aşağıdaki örneği oluşturabildim. Kuyruk ve Havuz ile ilgili olarak, kavramı doğru şekilde anladığımdan emin değilim, bu yüzden yanılıyorsam düzeltin. Başarmaya çalıştığım şey aynı anda 2 isteği işlemek (bu örnekte veri listesinde 8 tane …

92 python  python-2.7  multiprocessing 

60GB SciPy Dizim (Matrix) var 5+ multiprocessing Processnesne arasında paylaşmam gerekiyor . Numpy-sharedmem gördüm ve bu tartışmayı SciPy listesinde okudum . İki yaklaşım var gibi görünüyor - numpy-sharedmemve a kullanmak multiprocessing.RawArray()ve NumPy s’yi dtypes’ye eşlemek ctype. Şimdi, numpy-sharedmemgidilecek yol gibi görünüyor, ancak henüz iyi bir referans örneği görmedim. Dizi (aslında …

90 python  numpy  multiprocessing  shared-memory 

Çok büyük DataFrame(karma veri türleri) gruplarına sıklıkla bir işlev uygulamam gerekir ve birden çok çekirdekten yararlanmak isterim. Gruplardan bir yineleyici oluşturabilir ve çoklu işlem modülünü kullanabilirim, ancak verimli değildir çünkü süreçler arasında mesajlaşma için her grup ve işlevin sonuçları seçilmelidir. Asitlemeden kaçınmanın veya hatta DataFrametamamen kopyalanmasını önlemenin bir yolu var …

89 python  pandas  multiprocessing  shared-memory 

Python 3.2.2'de birden çok çekirdekte çalıştırabilmek için bazı csv okuma kodunu yeniden yazmaya çalıştım. PoolÇalışma örneklerinden uyarladığım (ve zaten benim için projemin başka bir bölümünde çalıştığım) çoklu işlem nesnesini kullanmaya çalıştım . Deşifre etmek ve gidermek zor bulduğum bir hata mesajıyla karşılaştım. Hata: Traceback (most recent call last): File "parser5_nodots_parallel.py", …

87 python  python-3.x  multiprocessing  pool 

Utanç verici derecede paralel sorunların üstesinden gelmek için çoklu işlem nasıl kullanılır ? Utanç verici derecede paralel sorunlar tipik olarak üç temel bölümden oluşur: Giriş verilerini okuyun (bir dosyadan, veritabanından, tcp bağlantısından vb.). Her hesaplamanın diğer hesaplamalardan bağımsız olduğu giriş verilerinde hesaplamalar çalıştırın . Hesaplamaların sonuçlarını yazın (bir dosyaya, veritabanına, …

82 python  concurrency  multiprocessing  embarrassingly-parallel