Birden çok tuşun aynı listeye bellek etkin bir şekilde işaret ettiği Python sözlüğü

Ben bu kod ile açıklanabilir bu benzersiz gereksinimi var. Bu çalışma kodu ama bellek verimli değil.

data = [[
        "A 5408599",
        "B 8126880",
        "A 2003529",
    ],
    [
        "C 9925336",
        "C 3705674",
        "A 823678571",
        "C 3205170186",
    ],
    [
        "C 9772980",
        "B 8960327",
        "C 4185139021",
        "D 1226285245",
        "C 2523866271",
        "D 2940954504",
        "D 5083193",
    ]]

temp_dict = {
    item: index for index, sublist in enumerate(data)
        for item in sublist
}

print(data[temp_dict["A 2003529"]])

out: ['A 5408599', 'B 8126880', 'A 2003529']

Kısacası, her bir alt liste öğesinin dizine eklenebilir olmasını istiyorum ve alt listeyi döndürmelidir.

Yukarıdaki yöntem işe yarıyor ancak veri büyük olduğunda çok fazla bellek gerekiyor. Daha iyi, bellek ve CPU dostu bir yol var mı? Veriler JSON dosyası olarak saklanır.

Düzenle Mümkün olan en büyük kullanım senaryosu (1000 alt liste, her alt listede 100 öğe, 1 milyon sorgu) için yanıtları denedim ve sonuçlar (ortalama 10 çalıştırma):

Method,    Time (seconds),    Extra Memory used
my,        0.637              40 Mb
deceze,    0.63               40 Mb
James,     0.78               200 kb
Pant,      > 300              0 kb
mcsoini,   forever            0 kb

Gerçekten, sözlüğü oluşturmak için gereken zaman / bellek ile anında tüm yöntem için tüm verileri taramak için geçen zaman arasında bir değiş tokuş alanındasınız.

Düşük bellek yöntemi istiyorsanız, her alt listede değeri arayan bir işlev kullanabilirsiniz. Bir jeneratör kullanmak ilk sonuçları kullanıcı için daha hızlı elde edecektir, ancak büyük veri setleri için bu iadeler arasında yavaş olacaktır.

data = [[
        "A 5408599",
        "B 8126880",
        "A 2003529",
    ],
    [
        "C 9925336",
        "C 3705674",
        "A 823678571",
        "C 3205170186",
    ],
    [
        "C 9772980",
        "B 8960327",
        "C 4185139021",
        "D 1226285245",
        "C 2523866271",
        "D 2940954504",
        "D 5083193",
    ]]


def find_list_by_value(v, data):
    for sublist in data:
        if v in sublist:
            yield sublist

for s in find_list_by_value("C 9772980", data):
    print(s)

Yorumlarda belirtildiği gibi, sadece ilk harfe veya ilk 2 veya 3 karaktere dayalı bir karma tablo oluşturmak başlangıç ​​için iyi bir yer olabilir. Bu, alt listelerin bir aday listesini oluşturmanıza, ardından değerin alt listede olup olmadığını görmek için bunları taramanıza olanak tanır.

from collections import defaultdict

def get_key(v, size=3):
    return v[:size]

def get_keys(sublist, size=3):
    return set(get_key(v, size) for v in sublist)

def find_list_by_hash(v, data, hash_table, size=3):
    key = get_key(v, size)
    candidate_indices = hash_table.get(key, set())
    for ix in candidates:
        if v in data[ix]:
            yield data[ix]

# generate the small hash table
quick_hash = defaultdict(set)
for i, sublist in enumerate(data):
    for k in get_keys(sublist, 3):
        quick_hash[k].add(i)

# lookup a value by the small hash
for s in find_list_by_hash("C 9772980", data, quick_hash, 3):
    print(s)

Bu kodda quick_hash, tüm veri yapınızı taradığınız için, derlenmesi biraz zaman alacaktır. Ancak, bellek ayağı baskısı çok daha küçük olacaktır. Ayar performansının ana parametresi size. Daha küçük boyutta bellek alanı daha az olacaktır, ancak find_list_by_hashaday havuzunuz daha büyük olacağı için çalışırken daha uzun sürecektir . Verileriniz için doğru olanın ne olduğunu görmek için bazı testler yapabilirsiniz size. Sadece tüm değerlerinizin en az kadar uzun olduğuna dikkat edin size.

Böyle bir şey deneyebilirsiniz:

list(filter(lambda x: any(["C 9772980" in x]),data))

Haritalama yapısına gerek yoktur.

pandaları kullanarak bunu dene

import pandas as pd
df=pd.DataFrame(data)
rows = df.shape[0]
for row in range(rows):
    print[[row]]    #Do something with your data

bu basit bir çözüm gibi görünüyor, verileriniz büyürken bile, bu verimli bir şekilde

Bunun daha büyük miktarlarda veriler için nasıl davranacağından tam olarak emin değilim, ancak aşağıdaki satırlarda bir şeyler deneyebilirsiniz:

import pandas as pd
df = pd.DataFrame(data).T
df.loc[:, (df == 'A 2003529').any(axis=0)]
Out[39]: 
           0
0  A 5408599
1  B 8126880
2  A 2003529
3       None
4       None
5       None
6       None

Düzenleme: Bazı sahte büyük ölçekli veriler ile hızlı bir test dayalı, zaman açısından yararlı görünmüyor.