Python ile öznitelik tablolarını değiştirmek için en hızlı yöntemler?

Bir süre önce, bir öznitelik tablosunu python sözlüğüne dönüştürmek için hızlı bir Python işlevi yazdım, burada anahtar kullanıcı tarafından belirtilen benzersiz bir kimlik alanından (genellikle OID alanı) alınır. Ayrıca, varsayılan olarak tüm alanlar sözlüğe kopyalanır, ancak yalnızca bir alt kümenin belirtilmesine izin veren bir parametre ekledim.

def make_attribute_dict(fc, key_field, attr_list=['*']):
    dict = {}
    fc_field_objects = arcpy.ListFields(fc)
    fc_fields = [field.name for field in fc_field_objects if field.type != 'Geometry']
    if attr_list == ['*']:
        valid_fields = fc_fields
    else:
        valid_fields = [field for field in attr_list if field in fc_fields]
    if key_field not in valid_fields:
        cursor_fields = valid_fields + [key_field]
    else:
        cursor_fields = valid_fields
    with arcpy.da.SearchCursor(fc, cursor_fields) as cursor:
        for row in cursor:
            key = row[cursor_fields.index(key_field)]
            subdict = {}
            for field in valid_fields:
                subdict[field] = row[cursor_fields.index(field)]
            dict[key] = subdict
            del subdict
    return dict

Bu nispeten küçük veri kümeleri için harika çalışıyor, ancak sadece yaklaşık 750.000 satır ve 15 alan içeren bir tabloda çalıştırdım - bir dosya coğrafi veritabanında yaklaşık 100 MB. Bunlarda, işlev beklediğimden çok daha yavaş çalışır: yaklaşık 5-6 dakika (ve bu tabloyu in_memoryçalışma alanına kopyaladıktan sonra ). Sözlüğe dönüşümü hızlandırmanın bir yolunu bulmak veya Python kullanarak büyük miktarda özellik verilerini işlemek için daha iyi bir strateji hakkında biraz bilgi edinmek istiyorum.

UpdateCursors benim için iyi çalışmaz, çünkü bir satır değiştiğinde, diğerlerinde değişiklikleri tetikleme potansiyeline sahiptir. Bir kerede bir döngü yapmak ve işlemek ihtiyacım olan şey için çok hantal.

Bence sorun muhtemelen alanların üzerinden gittiğiniz ve her alanı subdictsözlüğünüze ayrı ayrı eklediğiniz iki satırınızdır .

for field in valid_fields:
    subdict[field] = row[cursor_fields.index(field)]

Sizin rownesne o yararlanmak ve kullanmak, zaten alanlar aynı sırada bir başlık olur zipişlevi.

def make_attribute_dict(fc, key_field, attr_list=['*']):
    attdict = {}
    fc_field_objects = arcpy.ListFields(fc)
    fc_fields = [field.name for field in fc_field_objects if field.type != 'Geometry']
    if attr_list == ['*']:
        valid_fields = fc_fields
    else:
        valid_fields = [field for field in attr_list if field in fc_fields]
    #Ensure that key_field is always the first field in the field list
    cursor_fields = [key_field] + list(set(valid_fields) - set([key_field]))
    with arcpy.da.SearchCursor(fc, cursor_fields) as cursor:
        for row in cursor:
            attdict[row[0]] = dict(zip(cursor.fields,row))
    return attdict

Bu, sistemimde 8 saniyede 218k kayıt 16 alan dosyası geodatabase özellik sınıfından çekildi.

Düzenleme: Daha titiz bir test denedi. OBJECTID ve Shape dahil 16 alanlı 32k'de çalışan uzak SDE bağlantısı üzerinden 518k kayıt. 11 saniye :)