Bir jeneratörden nasıl numpy dizisi oluşturabilirim?

Bir jeneratör nesnesinden nasıl numpy dizisi oluşturabilirim?

Sorunu açıklayayım:

>>> import numpy
>>> def gimme():
...   for x in xrange(10):
...     yield x
...
>>> gimme()
<generator object at 0x28a1758>
>>> list(gimme())
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> numpy.array(xrange(10))
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
>>> numpy.array(gimme())
array(<generator object at 0x28a1758>, dtype=object)
>>> numpy.array(list(gimme()))
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

Bu örnekte gimme()çıktısını diziye dönüştürmek istediğim jeneratör. Bununla birlikte, dizi yapıcısı jeneratörü tekrarlamaz, sadece jeneratörün kendisini saklar. Arzu ettiğim davranış budur numpy.array(list(gimme())), ancak ara liste ve aynı zamanda bellekte son diziye sahip bellek yükünü ödemek istemiyorum. Yerden daha verimli bir yol var mı?

Numpy dizileri, uzunluklarının python listelerinden farklı olarak oluşturma zamanında açıkça ayarlanmasını gerektirir. Bu, her bir öğe için alanın art arda bellekte ayrılabilmesi için gereklidir. Ardışık ayırma, sayısal dizilerin temel özelliğidir: bu, yerel kod uygulamasıyla birlikte, bunların üzerindeki işlemlerin normal listelerden çok daha hızlı yürütülmesini sağlar.

Bunu göz önünde bulundurarak, aşağıdakilerden biri olmadıkça bir jeneratör nesnesini alıp bir diziye dönüştürmek teknik olarak imkansızdır:

1. çalıştırıldığında kaç element üreteceğini tahmin edebilir:

   my_array = numpy.empty(predict_length())
   for i, el in enumerate(gimme()): my_array[i] = el

2. öğelerini bir ara listede saklamak istiyorlar:

   my_array = numpy.array(list(gimme()))

3. iki özdeş jeneratör yapabilir, toplam uzunluğu bulmak için ilkini çalıştırabilir, diziyi başlatabilir ve ardından her bir öğeyi bulmak için jeneratörle tekrar çalışabilirsiniz:

   length = sum(1 for el in gimme())
   my_array = numpy.empty(length)
   for i, el in enumerate(gimme()): my_array[i] = el

1 muhtemelen aradığınız şeydir. 2 , alan verimsiz ve 3 , zaman verimsizdir (jeneratörden iki kez geçmeniz gerekir).

Bu stackoverflow sonucunun arkasında bir google, bir olduğunu buldum numpy.fromiter(data, dtype, count). Varsayılan count=-1, tüm öğeleri yinelemeden alır. dtypeA'nın açıkça ayarlanmasını gerektirir . Benim durumumda, bu çalıştı:

numpy.fromiter(something.generate(from_this_input), float)

Birlikte bir jeneratörden 1D dizisi oluşturabilirken numpy.fromiter(), aşağıdakileri içeren bir jeneratörden bir ND dizisi oluşturabilirsiniz numpy.stack:

>>> mygen = (np.ones((5, 3)) for _ in range(10))
>>> x = numpy.stack(mygen)
>>> x.shape
(10, 5, 3)

Ayrıca 1D dizileri için de çalışır:

>>> numpy.stack(2*i for i in range(10))
array([ 0,  2,  4,  6,  8, 10, 12, 14, 16, 18])

Not numpy.stackiçten jeneratörü alıcı ve birlikte bir ara liste yaratıyor arrays = [asanyarray(arr) for arr in arrays]. Uygulama burada bulunabilir .

Biraz teğetsel, ancak jeneratörünüz bir liste kavrama ise, numpy.wheresonucunuzu daha etkili bir şekilde elde etmek için kullanabilirsiniz (bu gönderiyi gördükten sonra bunu kendi kodumda keşfettim)

Vstack , hstack ve dstack fonksiyonları çok boyutlu diziler elde giriş jeneratörleri olarak sunar.