Bir dizinden pandalara birkaç csv dosyası okumak ve bunları büyük bir DataFrame'e birleştirmek istiyorum. Yine de anlayamadım. Şimdiye kadar sahip olduğum şey:

import glob
import pandas as pd

# get data file names
path =r'C:\DRO\DCL_rawdata_files'
filenames = glob.glob(path + "/*.csv")

dfs = []
for filename in filenames:
    dfs.append(pd.read_csv(filename))

# Concatenate all data into one DataFrame
big_frame = pd.concat(dfs, ignore_index=True)

Sanırım for döngüsü içinde biraz yardıma ihtiyacım var ???

Tüm csvdosyalarınızda aynı sütunlar varsa, aşağıdaki kodu deneyebilirsiniz. Ben ilk satır header=0okuduktan sonra csvsütun adları olarak atanabilir böylece ekledim .

import pandas as pd
import glob

path = r'C:\DRO\DCL_rawdata_files' # use your path
all_files = glob.glob(path + "/*.csv")

li = []

for filename in all_files:
    df = pd.read_csv(filename, index_col=None, header=0)
    li.append(df)

frame = pd.concat(li, axis=0, ignore_index=True)

DarindaCoder'ün cevabına bir alternatif :

path = r'C:\DRO\DCL_rawdata_files'                     # use your path
all_files = glob.glob(os.path.join(path, "*.csv"))     # advisable to use os.path.join as this makes concatenation OS independent

df_from_each_file = (pd.read_csv(f) for f in all_files)
concatenated_df   = pd.concat(df_from_each_file, ignore_index=True)
# doesn't create a list, nor does it append to one

import glob, os    
df = pd.concat(map(pd.read_csv, glob.glob(os.path.join('', "my_files*.csv"))))

Dask kütüphanesi bir veri çerçevesini birden fazla dosyadan okuyabilir:

>>> import dask.dataframe as dd
>>> df = dd.read_csv('data*.csv')

(Kaynak: http://dask.pydata.org/en/latest/examples/dataframe-csv.html )

Dask veri çerçeveleri, Pandalar veri çerçevesi API'sının bir alt kümesini uygular. Tüm veri uyan belleğe varsa, olabilir diyoruzdf.compute() bir Pandalar dataframe içine dataframe dönüştürmek.

Buradaki cevapların neredeyse tamamı gereksiz yere karmaşıktır (glob patern eşleşmesi) veya ek 3. taraf kitaplıklarına dayanır. Pandalar ve python (tüm sürümler) zaten yerleşik olan her şeyi kullanarak 2 satırda yapabilirsiniz.

Birkaç dosya için - 1 astar:

df = pd.concat(map(pd.read_csv, ['data/d1.csv', 'data/d2.csv','data/d3.csv']))

Birçok dosya için:

from os import listdir

filepaths = [f for f in listdir("./data") if f.endswith('.csv')]
df = pd.concat(map(pd.read_csv, filepaths))

Df'yi ayarlayan bu panda hattı 3 şey kullanır:

1. Python'un haritası (işlev, yinelenebilir), dosyapd.read_csv() yollarındaki her csv öğesi olan yinelenebilir (listemiz) işlevine gönderir .
2. Panda'nın read_csv () işlevi her bir CSV dosyasında normal olarak okunur.
3. Panda'nın concat () tüm bunları bir df değişkeninin altına getirir.

Düzenleme: https://stackoverflow.com/a/21232849/186078 içine yolumu googled . Ancak geç kalmış olsa da numpy kullanarak herhangi bir manipülasyon yapmak ve daha sonra veri çerçevesinin kendisini yinelemeli olarak manipüle etmek yerine bir kez veri çerçevesine atamak daha hızlı buluyorum ve bu çözüm de çalışıyor gibi görünüyor.

İçtenlikle bu sayfaya isabet eden herkesin bu yaklaşımı dikkate almasını istiyorum, ancak bu büyük kod parçasını yorum olarak eklemek ve daha az okunabilir hale getirmek istemiyorum.

Veri çerçevesi birleştirmesini gerçekten hızlandırmak için numpy'den yararlanabilirsiniz.

import os
import glob
import pandas as pd
import numpy as np

path = "my_dir_full_path"
allFiles = glob.glob(os.path.join(path,"*.csv"))


np_array_list = []
for file_ in allFiles:
    df = pd.read_csv(file_,index_col=None, header=0)
    np_array_list.append(df.as_matrix())

comb_np_array = np.vstack(np_array_list)
big_frame = pd.DataFrame(comb_np_array)

big_frame.columns = ["col1","col2"....]

Zamanlama istatistikleri:

total files :192
avg lines per file :8492
--approach 1 without numpy -- 8.248656988143921 seconds ---
total records old :1630571
--approach 2 with numpy -- 2.289292573928833 seconds ---

Yinelemeli olarak arama yapmak istiyorsanız ( Python 3.5 veya üstü ), aşağıdakileri yapabilirsiniz:

from glob import iglob
import pandas as pd

path = r'C:\user\your\path\**\*.csv'

all_rec = iglob(path, recursive=True)     
dataframes = (pd.read_csv(f) for f in all_rec)
big_dataframe = pd.concat(dataframes, ignore_index=True)

Son üç satırın tek bir satırda ifade edilebileceğini unutmayın :

df = pd.concat((pd.read_csv(f) for f in iglob(path, recursive=True)), ignore_index=True)

Belgelerini ** burada bulabilirsiniz . Ayrıca, kullanılan iglobyerine globbir döner gibi yineleyici listesi yerine.

EDIT: Çok platformlu özyinelemeli işlev:

Yukarıdakileri çok platformlu bir işleve (Linux, Windows, Mac) sarabilirsiniz , böylece şunları yapabilirsiniz:

df = read_df_rec('C:\user\your\path', *.csv)

İşte işlevi:

from glob import iglob
from os.path import join
import pandas as pd

def read_df_rec(path, fn_regex=r'*.csv'):
    return pd.concat((pd.read_csv(f) for f in iglob(
        join(path, '**', fn_regex), recursive=True)), ignore_index=True)

Kolay ve Hızlı

csvBir ad listesi yapmak zorunda kalmadan iki veya daha fazlasını içe aktarın .

import glob

df = pd.concat(map(pd.read_csv, glob.glob('data/*.csv')))

bir astar kullanıyor map, ancak ek bağımsız değişkenler belirtmek isterseniz şunları yapabilirsiniz:

import pandas as pd
import glob
import functools

df = pd.concat(map(functools.partial(pd.read_csv, sep='|', compression=None), 
                    glob.glob("data/*.csv")))

Not: maptek başına ek argümanlar sağlamanıza izin vermez.

Birden çok csv dosyası sıkıştırılmışsa, tümünü okumak ve aşağıdaki gibi birleştirmek için zipfile kullanabilirsiniz:

import zipfile
import numpy as np
import pandas as pd

ziptrain = zipfile.ZipFile('yourpath/yourfile.zip')

train=[]

for f in range(0,len(ziptrain.namelist())):
    if (f == 0):
        train = pd.read_csv(ziptrain.open(ziptrain.namelist()[f]))
    else:
        my_df = pd.read_csv(ziptrain.open(ziptrain.namelist()[f]))
        train = (pd.DataFrame(np.concatenate((train,my_df),axis=0), 
                          columns=list(my_df.columns.values)))

Read_csv ile argümanların kullanılmasına izin veren liste kavrama özelliğine sahip bir başka astar.

df = pd.concat([pd.read_csv(f'dir/{f}') for f in os.listdir('dir') if f.endswith('.csv')])

@ Sid'in iyi cevabına dayanarak.

Birleştirmeden önce, csv dosyalarını, dosya adına (formda dict_of_df['filename.csv']) dayalı olarak her veri kümesine erişim sağlayan bir ara sözlüğe yükleyebilirsiniz . Böyle bir sözlük, örneğin sütun adları hizalanmadığında heterojen veri formatlarıyla ilgili sorunları belirlemenize yardımcı olabilir.

Modülleri içe aktarın ve dosya yollarını bulun:

import os
import glob
import pandas
from collections import OrderedDict
path =r'C:\DRO\DCL_rawdata_files'
filenames = glob.glob(path + "/*.csv")

Not: OrderedDictgerekli değildir, ancak analiz için yararlı olabilecek dosyaların sırasını koruyacaktır.

Csv dosyalarını sözlüğe yükleyin. Sonra birleştirin:

dict_of_df = OrderedDict((f, pandas.read_csv(f)) for f in filenames)
pandas.concat(dict_of_df, sort=True)

Anahtarlar dosya adlarıdır fve değerler csv dosyalarının veri çerçevesi içeriğidir. fSözlük anahtarı olarak kullanmak yerine, sözlükteki anahtarın boyutunu yalnızca ilgili daha küçük kısma küçültmek için os.path.basename(f)veya diğer os.path yöntemlerini kullanabilirsiniz.

pathlibKütüphaneyi kullanmak için alternatif (genellikle tercih ediliros.path ).

Bu yöntem, tekrarlanan panda kullanımını önler concat()/apped() .

Panda belgelerinden:
concat () (ve dolayısıyla append ()) 'in verilerin tam bir kopyasını yaptığını ve bu işlevi sürekli olarak yeniden kullanmanın önemli bir performans isabeti yaratabileceğini belirtmek gerekir. İşlemi birkaç veri kümesi üzerinde kullanmanız gerekiyorsa, bir liste kavrayışı kullanın.

import pandas as pd
from pathlib import Path

dir = Path("../relevant_directory")

df = (pd.read_csv(f) for f in dir.glob("*.csv"))
df = pd.concat(df)

Google Drive'da Colab'ı kullanarak bu şekilde yapabilirsiniz

import pandas as pd
import glob

path = r'/content/drive/My Drive/data/actual/comments_only' # use your path
all_files = glob.glob(path + "/*.csv")

li = []

for filename in all_files:
    df = pd.read_csv(filename, index_col=None, header=0)
    li.append(df)

frame = pd.concat(li, axis=0, ignore_index=True,sort=True)
frame.to_csv('/content/drive/onefile.csv')

import pandas as pd
import glob

path = r'C:\DRO\DCL_rawdata_files' # use your path
file_path_list = glob.glob(path + "/*.csv")

file_iter = iter(file_path_list)

list_df_csv = []
list_df_csv.append(pd.read_csv(next(file_iter)))

for file in file_iter:
    lsit_df_csv.append(pd.read_csv(file, header=0))
df = pd.concat(lsit_df_csv, ignore_index=True)