ArcGIS Araçları Olarak Çalışan Python Komut Dosyalarını Hızlandırma Yolları [kapalı]

Bu oldukça genel bir soru. Sadece GIS programcılarının araç kutusuna içe aktarıp çalıştırdığınız arkalı komut dosyalarını hızlandırmak için hangi ipuçlarını ve püf noktalarını kullandıklarını merak ediyorum.

Her gün çoğu ofisimde GIS verisi olmayan GIS verilerini kullanmalarına yardımcı olacak küçük senaryolar yazıyorum. ArcGIS 10.0 işleminin genel olarak 9.3.1'den daha yavaş olduğunu ve bazen bir python betiği çalıştırırken bazen daha yavaşladığını buldum.

Çalıştırılması 24 saatten fazla süren belirli bir senaryo örneğini listeleyeceğim. Bir rasterin alanını tampondaki her bir şekil için bir tampon içinde tablolayan bir döngüdür. Tampon yaklaşık 7000 şekle sahiptir. Bu kadar uzun sürmesi gerektiğine inanmıyorum. bir

while x <= layerRecords:

    arcpy.SetProgressorLabel("Tabulating Row: " + str(x) + " of " + str(ELClayerRecords))
    arcpy.SelectLayerByAttribute_management(Buff,"NEW_SELECTION", "Recno = " + str(x))                                  # Selecting the record
    TabulateArea(Buff, "Recno", MatGRID, "VALUE", ScratchWS + "/tab" + str(z) +".dbf", nMatGRIDc)                          # Tabulate the area of the single row

    arcpy.AddMessage ("          - Row: " + str(x) + " completed")
    x = x + 1
    z = z + 1

Herhangi biri söylemeden önce, tüm tamponda tablo alanını çalıştırdım, ancak 1 kayıttan daha fazla çalışırsa hatalar üretiyor. Bu kusurlu bir araç, ama onu kullanmak zorundayım.

Her neyse, herhangi birinin bu betiği nasıl optimize edeceğiniz veya hızlandıracağı konusunda bir fikri varsa, bu en çok takdir edilecektir. Aksi takdirde, ArcGIS'te kullanıldığında python için hileleriniz oldu mu?

İşleminizi hızlandırmanıza yardımcı olacak birkaç potansiyel öneri:

1. Layer By Attribute, ArcGIS Desktop’ı başlatmadan yalnızca Python komut dosyasında olabilir. "Buff" referansınızı, dosya tabanlı bir referanstan, ArcGIS'in seçim sorgularını karşı işleyebileceği bir "ArcGIS katmanı" referansına dönüştürmeniz gerekir. "While" döngüsünün üzerinde arcpy.MakeFeatureLayer_management ("buff", "buff_lyr") kullanın ve ardından "buff_lyr" kullanmak için while döngüsü altındaki referanslarınızı değiştirin.

2. GP işlemlerinizi mümkün olduğunca in_memory çalışma alanını kullanarak işleyin ... Kaynağınızı belleğe taşımak için arcpy.CopyFeatures_management (shapefile, "in_memory \ memFeatureClass") kullanın. Bu, yalnızca belleğe ihtiyaç duyduğunuz tüm özellik sınıflarını okumak için yeterli RAM'iniz varsa işe yarar. Bununla birlikte, in_memory çalışma alanını kullanarak çalıştırılamayan bazı GP işlemleri olduğuna dikkat edin (Örn: Proje aracı).

ArcGIS 9.3 çevrimiçi yardım makalesinde " Orta seviye veri ve çizik çalışma alanı " (bu dilin 10.0 ve 10.1 yardımından kaldırıldığını unutmayın):

NOT: in_memory çalışma alanına yalnızca tablolar ve özellik sınıfları (noktalar, çizgiler, çokgenler) yazılabilir. İn_memory çalışma alanı alt türler, etki alanları, temsiller, topolojiler, geometrik ağlar ve ağ veri kümeleri gibi genişletilmiş coğrafi veritabanı öğelerini desteklemez. Sadece basit özellikler ve tablolar yazılabilir.

" Bellek içi çalışma alanını kullanma " ArcGIS 10.1 çevrimiçi yardım makalesinden :

Bellek içi çalışma alanına çıktı yazmaya karar verirken aşağıdaki hususlara dikkat edilmelidir:

• Bellek içi çalışma alanına yazılan veriler geçicidir ve uygulama kapatıldığında silinir.
• Tablolar, özellik sınıfları ve rasterler bellek içi çalışma alanına yazılabilir.
• Bellek içi çalışma alanı, alt türler, etki alanları, temsiller, topolojiler, geometrik ağlar ve ağ veri kümeleri gibi genişletilmiş coğrafi veritabanı öğelerini desteklemez.
• Özellik veri kümeleri veya klasörleri bellek içi çalışma alanında oluşturulamaz.

Genel python optimizasyon teknikleri size önemli miktarda zaman kazandırabilir.

Komut dosyalarınızdaki hold'lerin nerede olduğuna dair bir bilgi edinmek için gerçekten iyi bir teknik, yerleşik cProfile modülünü kullanmaktır:

from cProfile import run
run("code") # replace code with your code or function

Küçük bir veri örneği kullanarak test etmek, hangi fonksiyon çağrılarının en fazla zaman aldığını belirlemenizi sağlar.

Daha hızlı python kodu için genel işaretçiler:

• Liste anlama, genellikle döngüden daha hızlıdır
• Jeneratörler, listenin tamamını aynı anda üretmek yerine, aynı anda bir ürün üretir
• Python 2'de aralık yerine xrange kullanın (3'te gerekli değildir)
• Kümeler, kümede bir öğenin bulunup bulunmadığını belirlemeye gelince, preform listelerini çıkartabilir, ancak içerikleri üzerinde yineleme söz konusu olduğunda genellikle listelerden daha yavaştır Kaynak
• İşlev çağrıları performans açısından maliyetli olabilir Kaynak
• Diğer ipuçları ve detaylar burada kontrol edin Python Perfomance İpuçları ve burada 10 Python Optimizasyon İpuçları ve Sorunları

Komut dosyanızla ilgili olarak, ArcPy ile ilgili yorum yapamam çünkü bu bilgisayarda Arc yüklü değil, ancak bir döngü olup olmadığını görmek için bir süre döngüsü yerine for döngüsü kullanmayı deneyebilirsiniz. Ayrıca x = x + 1, x + = 1 olarak yazılabilir:

for record in layerRecords:
arcpy.SetProgressorLabel("Tabulating Row: " + str(x) + " of " + str(ELClayerRecords))
arcpy.SelectLayerByAttribute_management(Buff,"NEW_SELECTION", "Recno = " + str(x))                                  # Selecting the record
TabulateArea(Buff, "Recno", MatGRID, "VALUE", ScratchWS + "/tab" + str(z) +".dbf", nMatGRIDc)                          # Tabulate the area of the single row

arcpy.AddMessage ("          - Row: " + str(x) + " completed")
x+=1
y+=1

Bilgisayardaki dahili sürücüye yazdığınızdan emin olun. Gerekmediğinde ağ üzerinden ulaşmak işlemi gerçekten yavaşlatabilir. Müteakip okuma-yazma işlemlerini mümkün olduğu kadar çabuk tutmak için, verilerin işlemdeki ilk adım olarak kopyalanması daha da hızlı olabilir.

Komut dosyasını tamamen ArcMap'in dışında çalıştırmak çok daha hızlı olabilir. İşlem sırasında bir Harita gerekli değilse, ArcMap'i kullanmayın.

Bu, ArcPap araçlarını ArcMap içinde çalıştırmak için sorunuzu yanıtlamayabilir, ancak coğrafi işleme araçları ve Python ile bazı etli işlemler yapmam gerektiğinde, IDE PyScripter kullanarak GIS sisteminin dışında çalıştırma eğilimindeyim . Daha hızlı çalıştığını buldum. Ayrıca küçük geçici çıktı veri setleri için bir RAMDISK kullandım (biraz da in_memory çalışma alanı gibi )

Onlar benim en iyi ipuçlarım! :)

Arcpy.SetProgressorLabel hakkında yorum yapmayı deneyin ve ne kadar hızlandırdığınızı görün. DOS sine geri dönen herhangi bir ekran çıktısının işlem sürelerini önemli ölçüde yavaşlattığını gördüm. Bu çıktıyı gerçekten görmeniz gerekiyorsa, her Nth loop'u göstermeye çalışın.

import xxxxKullanılmayan tüm çizgileri kaldırdığınızdan emin olun .

(yani import Math, henüz sahip olduğunuz herhangi bir matematiksel işlevi kullanmıyorsanız , komut dosyasının yüklenmesinden biraz zaman alacaktır)

Bu, çalışan tek bir komut dosyası üzerinde büyük bir etkiye sahip olmayacak olsa da (sizinki gibi), sık sık ve tekrarlayan olarak çalışan tüm komut dosyalarını etkileyecektir.