Python'da ArcGIS imleçlerini büyük tablolarla kullanırken performansı nasıl artırabilirim?

Bir dosya coğrafi veritabanında (~ 4000 000 kayıt) oldukça büyük nokta özellik sınıfı var. Bu, 100m çözünürlüğe sahip düzenli bir nokta ızgarasıdır.

Bu katman üzerinde bir tür genelleme yapmam gerekiyor. Bunun için, her noktanın 4 "eski" noktanın ortasında olduğu yeni bir ızgara oluşturuyorum:

 *     *     *     *
    o     o     o
 *     *     *     *
    o     o     o
 *     *     *     *

[*] = orijinal ızgaranın noktası - [o] = yeni ızgaranın noktası

Her yeni noktanın özellik değeri, eski ızgaradaki 4 komşusunun ağırlıklı değerlerine göre hesaplanır. Böylece, yeni ızgaramın tüm noktalarında döngü yapıyorum ve her biri için, komşuları bulmak için (özellik tablosundaki X ve Y değerlerini karşılaştırarak) eski ızgaramın tüm noktalarında döngü yapıyorum. 4 komşu bulunduğunda, döngüden çıkarız.

Burada metodolojik bir karmaşıklık yok ama benim sorunum, ilk testlerime dayanarak, bu komut dosyasının tamamlanması haftalarca sürecek ...

Daha verimli hale getirmek için herhangi bir olasılık görüyor musunuz? Kafamın üstünde birkaç fikir var:

• X ve Y alanlarını endeksleyin => Bunu yaptım ancak önemli bir performans değişikliği fark etmedim
• Özniteliğe dayalı bir sorgulama yerine komşuları bulmak için uzamsal sorgulama yapın. Bu gerçekten yardımcı olur mu? ArcGIS'te hangi mekansal fonksiyon yapmalı? Örneğin her yeni noktayı arabelleğe almanın daha verimli olacağından şüpheliyim
• Unsur sınıfını bir NumPy Dizisine dönüştürün. Bu yardımcı olur mu? NumPy ile şu ana kadar çok çalışmadım ve birisi bana işlem süresini azaltmaya gerçekten yardımcı olabileceğini söylemedikçe içine dalmak istemem
• Başka herhangi bir şey?

Noktaları bir numpy dizisine beslediyseniz ve komşuları aramak için bir scipy cKDTree kullandıysanız ne olur? Bu tekniği kullanarak birkaç DAKİKA'da çok sayıda nokta (> 20 milyon) olan LiDAR nokta bulutlarını işliyorum. Burada kdtree için ve burada numpy dönüştürme için belgeler var . Temel olarak, x, y'yi bir diziye okursunuz ve dizideki her nokta üzerinde, her bir noktanın belirli bir mesafesindeki (mahalle) nokta indekslerini bularak yinelersiniz. Daha sonra diğer nitelikleri hesaplamak için bu indeksleri kullanabilirsiniz.

Barbarossa ile birlikteyim ... kavisli imleçler çılgınca topal, bu yüzden onları sadece bir masa veya özellik sınıfında tam olarak bir kez geçmek için kullanıyorum. İşi bir döngüde tamamlayamazsam, imleci başka bir tür veri yapısı doldurmak ve bununla çalışmak için kullanırım.

Numpy ile uğraşmak istemiyorsanız , koordinatlarınızı basit bir metin anahtarı olarak kullandığınız basit bir python sözlüğü yapın ve hesaplama için gereken özellikleri sözlük öğesinin değeri olarak bir listeye doldurun .

İkinci adımda, bir noktayı hesaplamak için ihtiyacınız olan değerleri kolayca sözlükten alarak elde edebilirsiniz (bu, öğelerin sözlükleri hashindexinden dolayı inanılmaz derecede hızlıdır).

Düzenli bir ızgara için, raster formatında çalışmak çok daha verimli olmalıdır. İlk ızgarayı bir raster haline dönüştürün, bilinear enterpolatör kullanarak aynı çözünürlükte yeniden örnekleyebilirsiniz, ancak çıktı görüntünüzü X ve Y'de 1/2 piksel kaydırırsınız ve yine de noktalara ihtiyacınız varsa tekrar noktalara dönebilirsiniz.

DÜZENLEME: karmaşık kararlar kuralları için, ihtiyacınız olan alanların her birini yeni bir raster bandı olarak dönüştürebilirsiniz, daha sonra bu bantların dört kopyasını yaparsınız ve rasterinizi 4 yönde 1/2 piksel (+50, - 50), (+ 50, + 50), (-50, -50) ve (-50, + 50). Ardından normal harita cebirini kullanabilirsiniz

Yardımlarınız için herkese teşekkürler!

Sonunda bu sorunu çözmek için çok pythonic olmayan bir yol buldum ... Aslında en fazla zaman harcayan şey, her noktanın 4 komşusunu bulmaktı. X ve Y özniteliklerini kullanmaktan ziyade (ya bir imleçle ya da bir python sözlüğü gibi başka bir veri yapısında), ArcGIS aracını Generate near table kullanarak kullandım . Bunun uzamsal indekslerden faydalandığını ve endeksi kendim uygulamak zorunda kalmadan performansların çok daha yüksek olduğunu varsayıyorum.

İmleçlerle ilgili sorun, aralarında yalnızca bir şekilde dolaşabilmeniz ve geri dönememenizdir. Tavsiye edilmemesine rağmen, yeniden ziyaret etmeyi planlıyorsanız, güzellikleri bir yapıya doldurabilirsiniz.

Özelliklerinizi tek bir döngüde işleyebildiyseniz, geri dönüşümü etkinleştirmenizi öneririm. Arama özellik sınıfı işlevinizde, python'un eski özellikler tarafından ayrılan belleği yeniden kullanmasını ve imleçteki özelliklerin daha hızlı geçişini sağlayan bir parametredir. Izgarayı% 80 daha hızlı işleyebilirsiniz.

Sorun, bir imleçten alınan özellikleri depolamayı planlıyorsanız geri dönüşümü etkinleştirememenizdir.