Bir Pandaların DataFrame'inin ne kadar belleğe ihtiyaç duyacağı nasıl tahmin edilir?

Merak ediyordum ... Diyelim ki, 400MB csv dosyasını bir pandas veri çerçevesine (read_csv veya read_table kullanarak) okuyorsam, bunun ne kadar belleğe ihtiyaç duyacağını tahmin etmenin bir yolu var mı? Veri çerçevelerini ve belleği daha iyi hissetmeye çalışıyorum ...

df.memory_usage() her bir sütunun ne kadar kapladığını döndürecektir:

>>> df.memory_usage()

Row_ID            20906600
Household_ID      20906600
Vehicle           20906600
Calendar_Year     20906600
Model_Year        20906600
...

Dizinleri dahil etmek için geçin index=True.

Yani genel bellek tüketimini elde etmek için:

>>> df.memory_usage(index=True).sum()
731731000

Ayrıca, geçiş deep=True, içerilen nesnelerin tam kullanımını hesaba katan daha doğru bir bellek kullanım raporu sağlar.

Bunun nedeni, bellek kullanımının dizinin bileşenleri olmayan öğeler tarafından tüketilen belleği içermemesidir deep=False(varsayılan durum).

İşte farklı yöntemlerin bir karşılaştırması - sys.getsizeof(df)en basitidir.

Bu örnek için, df814 satırlı, 11 sütunlu (2 inç, 9 nesne) bir veri çerçevesidir - 427 kb'lik bir şekil dosyasından okunur

sys.getsizeof (DF)

>>> sys içe aktar
>>> sys.getsizeof (df)
(sonuçları bayt cinsinden verir)
462456

df.memory_usage ()

>>> df.memory_usage ()
...
(her sütunu 8 bayt / satırda listeler)

>>> df.memory_usage (). sum ()
71712
(kabaca satırlar * sütunlar * 8 bayt)

>>> df.memory_usage (derin = Doğru)
(her sütunun tam bellek kullanımını listeler)

>>> df.memory_usage (derin = Doğru) .sum ()
(sonuçları bayt cinsinden verir)
462432

df.info ()

Dataframe bilgilerini standart çıktıya yazdırır. Teknik olarak bunlar kibibayttır (KiB), kilobayt değil - docstring'in dediği gibi, "Bellek kullanımı, insan tarafından okunabilir birimlerle gösterilir (temel-2 gösterimi)." Yani bayt elde etmek 1024 ile çarpılır, örneğin 451,6 KiB = 462,438 bayt.

>>> df.info ()
...
bellek kullanımı: 70.0+ KB

>>> df.info (memory_usage = 'derin')
...
bellek kullanımı: 451.6 KB

Tartışmaya daha fazla veri getireceğimi düşündüm.

Bu konuda bir dizi test yaptım.

Python resourcepaketini kullanarak sürecimin bellek kullanımını elde ettim.

Ve csv'yi bir StringIOtampona yazarak, bayt cinsinden boyutunu kolayca ölçebildim.

Her biri 10.000 satır ile 1.000.000 satır arasında artan boyutlarda 20 veri çerçevesi oluşturan iki deney yaptım. Her ikisinde de 10 sütun var.

İlk deneyde veri setimde sadece kayan nokta kullandım.

Satır sayısının bir fonksiyonu olarak bellek csv dosyasına kıyasla bu şekilde artmıştır. (Megabayt cinsinden boyut)

İkinci deneyde de aynı yaklaşıma sahiptim, ancak veri kümesindeki veriler yalnızca kısa dizelerden oluşuyordu.

Görünüşe göre csv boyutu ile veri çerçevesinin boyutu arasındaki ilişki oldukça değişebilir, ancak bellekteki boyut her zaman 2-3 kat daha büyük olacaktır (bu deneydeki çerçeve boyutları için)

Bu cevabı daha fazla deneyle tamamlamayı çok isterim, özel bir şey denememi istiyorsanız lütfen yorum yapın.

Bunu tersten yapmanız gerekir.

In [4]: DataFrame(randn(1000000,20)).to_csv('test.csv')

In [5]: !ls -ltr test.csv
-rw-rw-r-- 1 users 399508276 Aug  6 16:55 test.csv

Teknik olarak hafıza bununla ilgilidir (indeksleri içerir)

In [16]: df.values.nbytes + df.index.nbytes + df.columns.nbytes
Out[16]: 168000160

Dolayısıyla, 400 MB dosya ile 168 MB bellek, 20 kayan sütunluk 1 milyon satır

DataFrame(randn(1000000,20)).to_hdf('test.h5','df')

!ls -ltr test.h5
-rw-rw-r-- 1 users 168073944 Aug  6 16:57 test.h5

İkili HDF5 dosyası olarak yazıldığında ÇOK daha kompakt

In [12]: DataFrame(randn(1000000,20)).to_hdf('test.h5','df',complevel=9,complib='blosc')

In [13]: !ls -ltr test.h5
-rw-rw-r-- 1 users 154727012 Aug  6 16:58 test.h5

Veriler rastgele olduğundan sıkıştırma çok fazla yardımcı olmuyor

Dizinizin s'lerini biliyorsanız, dtypeverilerinizi depolamak için gereken bayt sayısını + Python nesnelerinin kendileri için bir kısmını doğrudan hesaplayabilirsiniz. numpyDizilerin kullanışlı bir özelliği nbytes. Bunu DataFrameyaparak bir pandadaki dizilerden bayt sayısını elde edebilirsiniz.

nbytes = sum(block.values.nbytes for block in df.blocks.values())

objectdtype dizileri nesne başına 8 bayt depolar (nesne dtype dizileri bir opak için bir işaretçi depolar PyObject), bu nedenle csv'nizde dizeleriniz varsa, bunları dtype dizilerine read_csvdönüştürecek objectve hesaplamalarınızı buna göre ayarlamanız gerekir.

DÜZENLE:

Daha fazla ayrıntı için numpyskaler türleri sayfasına bakın object dtype. Yalnızca bir referans depolandığından, dizideki nesnenin boyutunu da hesaba katmanız gerekir. O sayfanın dediği gibi, nesne dizileri biraz Python listnesnelerine benzer .

Evet var. Pandalar, verilerinizi ndarraydtiplere göre gruplayarak 2 boyutlu uyuşmuş yapılarda depolar. ndarraytemelde küçük bir başlığa sahip ham bir C veri dizisidir. Böylece, sadece dtypeiçerdiği boyutu dizinin boyutlarıyla çarparak boyutunu tahmin edebilirsiniz .

Örneğin: 2 np.int32ve 5 np.float64sütunlu 1000 satırınız varsa, DataFrame'inizde bir 2x1000 np.int32dizisi ve aşağıdaki gibi bir 5x1000 np.float64dizisi olacaktır:

4 bayt * 2 * 1000 + 8 bayt * 5 * 1000 = 48000 bayt

Bunun python'daki herhangi bir nesnenin bellek içi boyutunu verdiğine inanıyorum. Dahili kişilerin pandalar ve uyuşukluk açısından kontrol edilmesi gerekir

>>> import sys
#assuming the dataframe to be df 
>>> sys.getsizeof(df) 
59542497