ArcGIS'de çok çekirdekli işlemeyi optimize etme yöntemleri

Bir masaüstü bilgisayarda mevcut olan çok çekirdekli işlem gücünü tam olarak kullanmak için öğrenme yöntemleri ile ilgileniyorum. Arc, arkaplan coğrafi işleminin kullanıcının birden fazla çekirdeği kullanmasına izin verdiğini, ancak görevlerin esasen bir önceki görevin tamamlanması için sırada beklemesi gerektiğini belirtir.

Arc / Python'da paralel veya çok iş parçacıklı coğrafi işleme yöntemleri geliştiren var mı? Bireysel görevlerde çok çekirdekli işlemeyi engelleyen donanım darboğazları var mı?

Coğrafi işleme örneği olmamasına rağmen, Stackoverflow'da ilgimi çeken ilginç bir örnek buldum:

from multiprocessing import Pool
import numpy

numToFactor = 976

def isFactor(x):
    result = None
    div = (numToFactor / x)
    if div*x == numToFactor:
        result = (x,div)
    return result

if __name__ == '__main__':
    pool = Pool(processes=4)
    possibleFactors = range(1,int(numpy.floor(numpy.sqrt(numToFactor)))+1)
    print 'Checking ', possibleFactors
    result = pool.map(isFactor, possibleFactors)
    cleaned = [x for x in result if not x is None]
    print 'Factors are', cleaned

İşte çok çekirdekli bir arcpy komut dosyası örneği. İşlem çok CPU yoğun olduğundan, çok iyi ölçekleniyor: ArcGy Desktop için ArcPy / Python'a Bina Gölgeleri Üretmek için Avenue kodunu taşıma?

Bu cevapta biraz daha genel bilgi: Eşzamanlı işlemler tek bir modelde çalıştırılabilir mi?

Deneyimlerime göre en büyük sorun istikrarı yönetmek. Tek bir gecede altı haftalık işlem yaparsanız, altı haftalık açıklanamayan hatalar ve hatalarınız da olacaktır.

Alternatif bir yaklaşım, bağımsız olarak çalışabilen ve sorun yaratmadan başarısız olabilecek bağımsız komut dosyaları geliştirmektir:

• Verileri tek bir çekirdeğin <20 dakika içinde işleyebileceği yığınlara bölün (görevler).
• Tek bir görevi işleyebilen ve olabildiğince basit (çalışan) bağımsız bir Arcpy komut dosyası oluşturun.
• Görevleri yürütmek için bir mekanizma geliştirin. Önceden var olan birçok python çözümü var. Alternatif olarak basit bir kuyruk ile kendiniz de yapabilirsiniz.
• Görevlerin tamamlandığını doğrulamak için bir kod yazın. Bu, bir çıktı dosyasının yazıldığını kontrol etmek kadar basit olabilir.
• Verileri tekrar birleştirin.