«multiprocessing» etiketlenmiş sorular

Python çoklu işleme kütüphanesinde, birden fazla argümanı destekleyen bir pool.map varyantı var mı? text = "test" def harvester(text, case): X = case[0] text+ str(X) if __name__ == '__main__': pool = multiprocessing.Pool(processes=6) case = RAW_DATASET pool.map(harvester(text,case),case, 1) pool.close() pool.join()

536 python  multiprocessing 

Pool.apply , Pool.apply_async ve Pool.map için use-durumlarda açık örnekler görmedim . Ben esas olarak kullanıyorum Pool.map; başkalarının avantajları nelerdir?

290 python  multithreading  concurrency  multiprocessing 

Daha basit bir örnekle hatayı yeniden oluşturamadığım için üzgünüm ve kodumu göndermek için çok karmaşık. Programı normal Python yerine IPython kabuğunda çalıştırırsam işler iyi gider. Bu sorunla ilgili daha önceki bazı notlara baktım. Bunların hepsine, bir sınıf işlevi içinde tanımlanan işlevi çağırmak için havuz kullanılması neden olmuştur. Ama benim için …

244 python  multiprocessing  pickle  python-multiprocessing 

Şu anda Python 2.6 multiprocessingmodülünü kullanarak birden çok işlemi ortaya çıkaran bir çerçevede merkezi bir modülüm var . Kullandığı için multiprocessing, modül düzeyinde çoklu işleme duyarlı günlük vardır LOG = multiprocessing.get_logger(). Başına docs , bu kaydedicisi sen garble şeyler kadar yok ki süreç-paylaşımlı kilidi vardır sys.stderreşzamanlı yazmadan çoklu süreçleri alarak …

239 python  logging  multiprocessing 

Ben kullanmaya çalışıyorum multiprocessing'ın Pool.map()aynı anda işi bölmek için işlevi. Aşağıdaki kodu kullandığımda, iyi çalışıyor: import multiprocessing def f(x): return x*x def go(): pool = multiprocessing.Pool(processes=4) print pool.map(f, range(10)) if __name__== '__main__' : go() Ancak, onu daha nesne yönelimli bir yaklaşımla kullandığımda işe yaramıyor. Verdiği hata mesajı: PicklingError: Can't pickle …

218 python  multithreading  multiprocessing  pickle  pool 

Python'ın kullanmayı öğrenmek çalışıyorum multiprocessingpaketi, ama ben arasındaki farkı anlayamıyorum map_asyncve imap. Ben fark olduğunu hem map_asyncve imapasenkron olarak yürütülür. Peki birini ne zaman diğerinin üzerine kullanmalıyım? Ve döndürülen sonucu nasıl almalıyım map_async? Böyle bir şey kullanmalı mıyım? def test(): result = pool.map_async() pool.close() pool.join() return result.get() result=test() for i …

184 python  multiprocessing  python-multiprocessing 

Ne zaman bir şey çalıştırmak: from multiprocessing import Pool p = Pool(5) def f(x): return x*x p.map(f, [1,2,3]) iyi çalışıyor. Ancak, bunu bir sınıfın işlevi olarak koymak: class calculate(object): def run(self): def f(x): return x*x p = Pool() return p.map(f, [1,2,3]) cl = calculate() print cl.run() Bana şu hatayı verir: …

179 python  multiprocessing  pickle 

Python 3.2 , eski iş parçacığı ve çoklu işlem modüllerinin gelişmiş bir kombinasyonu gibi görünen Eşzamanlı Vadeli İşlemleri tanıttı . Bunu CPU bağlantılı görevler için eski çoklu işlem modülüne göre kullanmanın avantajları ve dezavantajları nelerdir? Bu makale onlarla çalışmanın çok daha kolay olduğunu gösteriyor - durum bu mu?

157 python  python-3.x  multiprocessing 

Python'un çoklu işlem paketindeki kuyruklar ve borular arasındaki temel farklar nelerdir ? Hangi senaryolarda biri diğerine tercih edilmeli? Ne zaman kullanmak avantajlıdır Pipe()? Ne zaman kullanmak avantajlıdır Queue()?

155 python  performance  queue  multiprocessing  pipe 

Belirli işlemleri paralel olarak çalıştırmak ve kodumu hızlandırmak için Python'daki threadingve multiprocessingmodüllerinin nasıl kullanılacağını öğreniyorum . Bir threading.Thread()nesne ile bir nesne arasındaki farkın ne olduğunu anlamak için bunu zor buluyorum (belki de bununla ilgili teorik bir arka planım yok) multiprocessing.Process(). Ayrıca, bir iş kuyruğunu nasıl somutlaştıracağımı ve sadece 4'ünün (örneğin) …

141 python  multithreading  parallel-processing  process  multiprocessing 

KeyboardInterrupt olaylarını python'un çok işlem havuzlarıyla nasıl işleyebilirim? İşte basit bir örnek: from multiprocessing import Pool from time import sleep from sys import exit def slowly_square(i): sleep(1) return i*i def go(): pool = Pool(8) try: results = pool.map(slowly_square, range(40)) except KeyboardInterrupt: # **** THIS PART NEVER EXECUTES. **** pool.terminate() print …

136 python  multiprocessing  pool  keyboardinterrupt 

Bunun bir işletim sistemi sorunu olarak sayılıp sayılmayacağından emin değilim, ancak herhangi birinin Python'un sonundan bir fikir edinmesi durumunda soracağımı düşündüm. İşlemci ağırlıklı bir fordöngüyü kullanarak paralel hale getirmeye çalışıyorum joblib, ancak her çalışan işlemin farklı bir çekirdeğe atanması yerine, hepsinin aynı çekirdeğe atandığını ve hiçbir performans kazanmadığımı görüyorum. İşte …

129 python  linux  numpy  multiprocessing  blas 

Büyük bir bellek dizilimine sahip olduğumu varsayalım func, bu dev diziyi girdi olarak alan bir işleve sahibim (diğer bazı parametrelerle birlikte). funcfarklı parametrelerle paralel olarak çalıştırılabilir. Örneğin: def func(arr, param): # do stuff to arr, param # build array arr pool = Pool(processes = 6) results = [pool.apply_async(func, [arr, param]) …

124 python  numpy  parallel-processing  multiprocessing  shared-memory 

Bir Windows makinesinde Threading ve Multiprocessing kullanarak ilk resmi python programımı deniyorum. Yine de python aşağıdaki mesajı vererek işlemleri başlatamıyorum. Mesele şu ki, ana modülde konularımı başlatmıyorum . İş parçacıkları bir sınıf içinde ayrı bir modülde ele alınır. DÜZENLEME : Bu arada, bu kod ubuntu'da iyi çalışıyor. Tam olarak pencerelerde …

123 python  windows  multiprocessing 

Python 3.4'te çoklu işlem / iş parçacığı için birkaç farklı kitaplık olduğunu buldum: çoklu işlem , iş parçacığı ve asyncio . Ama hangisini kullanacağımı veya "önerilen" olduğunu bilmiyorum. Aynı şeyi mi yapıyorlar yoksa farklılar mı? Varsa hangisi ne için kullanılıyor? Bilgisayarımda çok çekirdekli bir program yazmak istiyorum. Ama hangi kütüphaneyi …

123 python  multithreading  python-3.x  multiprocessing  python-asyncio