«shared-memory» etiketlenmiş sorular

Büyük bir bellek dizilimine sahip olduğumu varsayalım func, bu dev diziyi girdi olarak alan bir işleve sahibim (diğer bazı parametrelerle birlikte). funcfarklı parametrelerle paralel olarak çalıştırılabilir. Örneğin: def func(arr, param): # do stuff to arr, param # build array arr pool = Pool(processes = 6) results = [pool.apply_async(func, [arr, param]) …

124 python  numpy  parallel-processing  multiprocessing  shared-memory 

Projelerimden biriyle ilgili biraz sorunum var. Paylaşılan hafızayı kullanmanın iyi belgelenmiş bir örneğini bulmaya çalışıyorum fork()ama başarılı olamadım. Temel olarak senaryo, kullanıcı programı başlattığında, paylaşılan bellekte iki değer saklamam gerektiğidir: char * olan current_path ve ayrıca char * olan bir dosya_adı . Komut argümanlarına bağlı olarak, yeni bir işlem başlatılır …

117 c  linux  fork  shared-memory 

60GB SciPy Dizim (Matrix) var 5+ multiprocessing Processnesne arasında paylaşmam gerekiyor . Numpy-sharedmem gördüm ve bu tartışmayı SciPy listesinde okudum . İki yaklaşım var gibi görünüyor - numpy-sharedmemve a kullanmak multiprocessing.RawArray()ve NumPy s’yi dtypes’ye eşlemek ctype. Şimdi, numpy-sharedmemgidilecek yol gibi görünüyor, ancak henüz iyi bir referans örneği görmedim. Dizi (aslında …

90 python  numpy  multiprocessing  shared-memory 

Çok büyük DataFrame(karma veri türleri) gruplarına sıklıkla bir işlev uygulamam gerekir ve birden çok çekirdekten yararlanmak isterim. Gruplardan bir yineleyici oluşturabilir ve çoklu işlem modülünü kullanabilirim, ancak verimli değildir çünkü süreçler arasında mesajlaşma için her grup ve işlevin sonuçları seçilmelidir. Asitlemeden kaçınmanın veya hatta DataFrametamamen kopyalanmasını önlemenin bir yolu var …

89 python  pandas  multiprocessing  shared-memory