Jeneratör İfadeleri ve Liste Anlama

Jeneratör ifadelerini ne zaman ve Python'da liste kavrayışlarını ne zaman kullanmalısınız?

# Generator expression
(x*2 for x in range(256))

# List comprehension
[x*2 for x in range(256)]

John'un cevabı iyidir (bir şeyi birden çok kez yinelemek istediğinizde liste kavrayışları daha iyidir). Ancak, liste yöntemlerinden herhangi birini kullanmak isterseniz bir liste kullanmanız gerektiğini de belirtmek gerekir. Örneğin, aşağıdaki kod çalışmaz:

def gen():
    return (something for something in get_some_stuff())

print gen()[:2]     # generators don't support indexing or slicing
print [5,6] + gen() # generators can't be added to lists

Temel olarak, yaptığınız tek şey bir kez yineleniyorsa bir jeneratör ifadesi kullanın. Oluşturulan sonuçları saklamak ve kullanmak istiyorsanız, muhtemelen bir liste kavrayışıyla daha iyi durumdasınızdır.

Performans birini diğerine tercih etmenin en yaygın nedeni olduğundan, tavsiyem bunun için endişelenmemek ve sadece birini seçmek; Programınızın çok yavaş çalıştığını görürseniz, ancak o zaman geri dönüp kodunuzu ayarlama konusunda endişelenmeniz gerekir.

Jeneratör ifadesi veya liste kavrayışı üzerinde yineleme yapmak da aynı şeyi yapacaktır. Bununla birlikte, liste kavrama ilk olarak tüm listeyi hafızada yaratırken, jeneratör ifadesi anında öğeleri yaratır, böylece onu çok büyük (ve aynı zamanda sonsuz!) Diziler için kullanabilirsiniz.

Sonucun birden çok kez yinelenmesi gerektiğinde veya hızın çok önemli olduğu durumlarda liste kavramalarını kullanın. Aralık geniş veya sonsuz olduğunda jeneratör ifadeleri kullanın.

Daha fazla bilgi için Jeneratör ifadeleri ve liste kavramalarına bakın.

Önemli olan, liste kavrayışının yeni bir liste oluşturmasıdır. Jeneratör, bitleri tüketirken kaynak materyali anında "filtreleyecek" yinelenebilir bir nesne oluşturur.

"Hugefile.txt" adlı bir 2TB günlük dosyanız olduğunu ve "ENTRY" kelimesiyle başlayan tüm satırların içerik ve uzunluğunu istediğinizi düşünün.

Yani bir liste kavrayışı yazarak başlamayı deneyin:

logfile = open("hugefile.txt","r")
entry_lines = [(line,len(line)) for line in logfile if line.startswith("ENTRY")]

Bu, tüm dosyayı karıştırır, her satırı işler ve eşleşen satırları dizinizde saklar. Bu nedenle bu dizi en fazla 2 TB içerik içerebilir. Bu çok fazla RAM ve muhtemelen amaçlarınız için pratik değil.

Bunun yerine içeriğimize "filtre" uygulamak için bir jeneratör kullanabiliriz. Sonuç üzerinde yineleme yapmaya başlayana kadar hiçbir veri okunmaz.

logfile = open("hugefile.txt","r")
entry_lines = ((line,len(line)) for line in logfile if line.startswith("ENTRY"))

Dosyamızdan henüz tek bir satır okunmadı. Aslında, sonucumuzu daha da fazla filtrelemek istediğimizi düşünelim:

long_entries = ((line,length) for (line,length) in entry_lines if length > 80)

Hala hiçbir şey okunmadı, ancak şimdi verilerimize istediğimiz gibi davranacak iki jeneratör belirledik.

Filtrelenmiş satırlarımızı başka bir dosyaya yazalım:

outfile = open("filtered.txt","a")
for entry,length in long_entries:
    outfile.write(entry)

Şimdi girdi dosyasını okuyoruz. Bizim gibi fordöngü ek satırlar talep devam ediyor long_entriesjeneratör gelen satırları talep entry_linesuzunluğu 80 karakterden daha büyük olduğu sadece bu dönen, jeneratör. Ve sırayla, entry_linesjeneratör logfileyineleyiciden satırlar (belirtildiği gibi filtrelenir) ister ve bu da dosyayı okur.

Dolayısıyla, verileri çıktı işlevinize tam olarak doldurulmuş bir liste biçiminde "göndermek" yerine, çıktı işlevine verileri yalnızca gerektiğinde "çekmek" için bir yol sağlarsınız. Bu bizim durumumuzda çok daha verimli, ama o kadar esnek değil. Jeneratörler tek yönlü, tek geçişli; okuduğumuz günlük dosyasındaki veriler hemen atılır, bu nedenle önceki satıra geri dönemeyiz. Öte yandan, işimiz bittiğinde verileri saklamak konusunda endişelenmemiz gerekmiyor.

Bir jeneratör ifadesinin yararı, tüm listeyi aynı anda oluşturmadığı için daha az bellek kullanmasıdır. Oluşturucu ifadeleri en iyi şekilde, sonuçları toplamak veya sonuçlardan bir diksiyon oluşturmak gibi bir aracı olduğunda kullanılır.

Örneğin:

sum(x*2 for x in xrange(256))

dict( (k, some_func(k)) for k in some_list_of_keys )

Avantajı, listenin tamamen oluşturulmamış olması ve bu nedenle çok az bellek kullanılması (ve ayrıca daha hızlı olması)

Bununla birlikte, istenen nihai ürün bir liste olduğunda liste kavrayışlarını kullanmalısınız. Oluşturulan listeyi istediğiniz için oluşturucu ifadelerini kullanarak herhangi bir not kaydetmeyeceksiniz. Ayrıca, sıralanmış veya ters çevrilmiş gibi liste işlevlerinden herhangi birini kullanabilme avantajından da yararlanabilirsiniz.

Örneğin:

reversed( [x*2 for x in xrange(256)] )

Değişken bir nesneden (liste gibi) bir jeneratör oluştururken jeneratörün, jeneratörün oluşturulması sırasında değil jeneratörü kullanırken listenin durumu hakkında değerlendirileceğini unutmayın:

>>> mylist = ["a", "b", "c"]
>>> gen = (elem + "1" for elem in mylist)
>>> mylist.clear()
>>> for x in gen: print (x)
# nothing

Listenizin değiştirilme şansı varsa (veya bu liste içinde değiştirilebilir bir nesne), ancak jeneratörün oluşturulmasında duruma ihtiyacınız varsa, bunun yerine bir liste kavrama kullanmanız gerekir.

Bazen tee işlevi ile itertools'tan uzaklaşabilirsiniz , aynı jeneratör için bağımsız olarak kullanılabilecek birden fazla yineleyici döndürür.

Ben kullanıyorum Hadoop kıymalı modülü . Bu not almak için harika bir örnek olduğunu düşünüyorum:

import mincemeat

def mapfn(k,v):
    for w in v:
        yield 'sum',w
        #yield 'count',1


def reducefn(k,v): 
    r1=sum(v)
    r2=len(v)
    print r2
    m=r1/r2
    std=0
    for i in range(r2):
       std+=pow(abs(v[i]-m),2)  
    res=pow((std/r2),0.5)
    return r1,r2,res

Burada jeneratör bir metin dosyasından sayıları alır (15 GB kadar büyük) ve Hadoop'un harita küçültme özelliğini kullanarak bu sayılara basit matematik uygular. Eğer verim fonksiyonunu kullanmamış olsaydım, bir liste kavrayışını kullansaydım, toplamları ve ortalamayı (uzay karmaşıklığından bahsetmemek) hesaplamak çok daha uzun zaman alacaktı.

Hadoop, Jeneratörlerin tüm avantajlarını kullanmak için harika bir örnektir.