Pandalarda büyük, kalıcı DataFrame

Uzun süreli bir SAS kullanıcısı olarak python ve pandalara geçmeyi araştırıyorum.

Bununla birlikte, bugün bazı testler çalıştırırken, pandas.read_csv()128mb csv dosyasına çalışırken python'un belleğinin bitmesine şaşırdım . Yaklaşık 200.000 satırı ve çoğunlukla sayısal verilerden oluşan 200 sütunu vardı.

SAS ile bir csv dosyasını bir SAS veri kümesine aktarabilirim ve sabit sürücüm kadar büyük olabilir.

İçinde benzer bir şey var mı pandas?

Düzenli olarak büyük dosyalarla çalışıyorum ve dağıtılmış bir bilgi işlem ağına erişimim yok.

Prensipte bellek tükenmemelidir, ancak şu anda read_csvbazı karmaşık Python dahili sorunlarının neden olduğu büyük dosyalarda bellek sorunları vardır (bu belirsizdir, ancak uzun zamandır bilinmektedir: http://github.com/pydata / pandas / sorunlar / 407 ).

Şu anda mükemmel bir çözüm yok (işte sıkıcı bir çözüm: dosyayı satır satır önceden ayrılmış bir NumPy dizisine veya bellek eşlemeli dosyaya yazabilirsiniz-- np.mmap), ama bu benim çalışacağım yakın gelecekte. Diğer bir çözüm, dosyayı daha küçük parçalar halinde okumak (kullanmak iterator=True, chunksize=1000) ve ardından ile bitiştirmektir pd.concat. Sorun, tüm metin dosyasını belleğe büyük bir höpürtüyle çektiğinizde ortaya çıkar.

Wes elbette haklı! Sadece biraz daha eksiksiz bir örnek kod sağlamak için uğraşıyorum. 129 Mb dosyasında da aynı sorunu yaşadım, bu sorunu çözdü:

import pandas as pd

tp = pd.read_csv('large_dataset.csv', iterator=True, chunksize=1000)  # gives TextFileReader, which is iterable with chunks of 1000 rows.
df = pd.concat(tp, ignore_index=True)  # df is DataFrame. If errors, do `list(tp)` instead of `tp`

Bu daha eski bir iş parçacığı, ancak geçici çözümümü buraya atmak istedim. Başlangıçta chunksizeparametreyi denedim (10000 gibi oldukça küçük değerlerle bile), ancak pek yardımcı olmadı; bellek boyutuyla ilgili hala teknik sorunlar yaşıyordu (CSV'm ~ 7,5 Gb idi).

Şu anda, CSV dosyalarının parçalarını döngüsel bir yaklaşımla okudum ve bunları örneğin adım adım bir SQLite veritabanına ekliyorum:

import pandas as pd
import sqlite3
from pandas.io import sql
import subprocess

# In and output file paths
in_csv = '../data/my_large.csv'
out_sqlite = '../data/my.sqlite'

table_name = 'my_table' # name for the SQLite database table
chunksize = 100000 # number of lines to process at each iteration

# columns that should be read from the CSV file
columns = ['molecule_id','charge','db','drugsnow','hba','hbd','loc','nrb','smiles']

# Get number of lines in the CSV file
nlines = subprocess.check_output('wc -l %s' % in_csv, shell=True)
nlines = int(nlines.split()[0]) 

# connect to database
cnx = sqlite3.connect(out_sqlite)

# Iteratively read CSV and dump lines into the SQLite table
for i in range(0, nlines, chunksize):

    df = pd.read_csv(in_csv,  
            header=None,  # no header, define column header manually later
            nrows=chunksize, # number of rows to read at each iteration
            skiprows=i)   # skip rows that were already read

    # columns to read        
    df.columns = columns

    sql.to_sql(df, 
                name=table_name, 
                con=cnx, 
                index=False, # don't use CSV file index
                index_label='molecule_id', # use a unique column from DataFrame as index
                if_exists='append') 
cnx.close()    

Aşağıda çalışma akışım var.

import sqlalchemy as sa
import pandas as pd
import psycopg2

count = 0
con = sa.create_engine('postgresql://postgres:pwd@localhost:00001/r')
#con = sa.create_engine('sqlite:///XXXXX.db') SQLite
chunks = pd.read_csv('..file', chunksize=10000, encoding="ISO-8859-1",
                     sep=',', error_bad_lines=False, index_col=False, dtype='unicode')

Dosya boyutunuzu temel alarak, yığın boyutunu daha iyi optimize etmelisiniz.

 for chunk in chunks:
        chunk.to_sql(name='Table', if_exists='append', con=con)
        count += 1
        print(count)

Veritabanındaki tüm verileri aldıktan sonra, ihtiyacınız olanları veritabanından sorgulayabilirsiniz.

Büyük csv dosyalarını yüklemek istiyorsanız, dask iyi bir seçenek olabilir. Pandalar API'sini taklit ettiği için pandalara oldukça benziyor

github'da dask bağlantısı

Pandas df yerine Pytable'ı kullanabilirsiniz. Büyük veri kümeleri için tasarlanmıştır ve dosya biçimi hdf5 biçimindedir. Dolayısıyla işlem süresi nispeten hızlıdır.