Python metin dosyalarını birleştirir

20 dosya adından oluşan bir listem var ['file1.txt', 'file2.txt', ...]. Bu dosyaları yeni bir dosyaya birleştirmek için bir Python betiği yazmak istiyorum. Her dosyayı açarak, f = open(...)satır satır okuyarak okuyabilir f.readline()ve her satırı bu yeni dosyaya yazabilirim. Bana göre çok "zarif" görünmüyor, özellikle okuduğum / satır satır yazdığım kısım.

Python'da bunu yapmanın daha "zarif" bir yolu var mı?

Bunu yapmalı

Büyük dosyalar için:

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for fname in filenames:
        with open(fname) as infile:
            for line in infile:
                outfile.write(line)

Küçük dosyalar için:

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for fname in filenames:
        with open(fname) as infile:
            outfile.write(infile.read())

… Ve düşündüğüm bir başka ilginç konu :

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for line in itertools.chain.from_iterable(itertools.imap(open, filnames)):
        outfile.write(line)

Ne yazık ki, bu son yöntem GC'nin yine de ilgilenmesi gereken birkaç açık dosya tanımlayıcısı bırakır. Sadece ilginç olduğunu düşündüm

Kullanın shutil.copyfileobj.

Giriş dosyalarını sizin için yığın olarak otomatik olarak okur, bu daha verimli ve giriş dosyalarını okur ve bazı giriş dosyaları belleğe sığmayacak kadar büyük olsa bile çalışır:

import shutil

with open('output_file.txt','wb') as wfd:
    for f in ['seg1.txt','seg2.txt','seg3.txt']:
        with open(f,'rb') as fd:
            shutil.copyfileobj(fd, wfd)

Dosya girişi tam olarak bunun içindir:

import fileinput
with open(outfilename, 'w') as fout, fileinput.input(filenames) as fin:
    for line in fin:
        fout.write(line)

Bu kullanım durumunda, dosyaları manuel olarak yinelemekten çok daha basit değildir, ancak diğer durumlarda, tek bir dosya gibi tüm dosyaları yineleyen tek bir yineleyiciye sahip olmak çok kullanışlıdır. (Ayrıca, fileinputher dosyayı biter bitmez kapatması gerçeği withveya closeher birine gerek olmadığı anlamına gelir , ancak bu sadece bir satırlık bir tasarruf, o kadar da büyük bir anlaşma değil.)

fileinputSadece her satırı filtreleyerek dosyaların yerinde değişiklik yapabilmesi gibi bazı başka şık özellikler de vardır .

Yorumlarda belirtildiği ve başka bir gönderide tartışıldığı gibi , fileinputPython 2.7 için belirtildiği gibi çalışmaz. Burada Python 2.7 kodunu uyumlu hale getirmek için küçük değişiklikler

with open('outfilename', 'w') as fout:
    fin = fileinput.input(filenames)
    for line in fin:
        fout.write(line)
    fin.close()

Zarafeti bilmiyorum, ama bu işe yarıyor:

    import glob
    import os
    for f in glob.glob("file*.txt"):
         os.system("cat "+f+" >> OutFile.txt")

UNIX komutlarında sorun nedir? (Windows üzerinde çalışmadığınız göz önüne alındığında):

ls | xargs cat | tee output.txt işi yaparsa (isterseniz alt işlem ile python'dan arayabilirsiniz)

outfile.write(infile.read()) # time: 2.1085190773010254s
shutil.copyfileobj(fd, wfd, 1024*1024*10) # time: 0.60599684715271s

Basit bir kıyaslama, kapağın daha iyi performans gösterdiğini gösterir.

@ İnspectorG4dget yanıtına bir alternatif (29-03-2016 tarihine kadar en iyi yanıt). 3 adet 436 MB dosya ile test ettim.

@ inspectorG4dget çözümü: 162 saniye

Aşağıdaki çözüm: 125 saniye

from subprocess import Popen
filenames = ['file1.txt', 'file2.txt', 'file3.txt']
fbatch = open('batch.bat','w')
str ="type "
for f in filenames:
    str+= f + " "
fbatch.write(str + " > file4results.txt")
fbatch.close()
p = Popen("batch.bat", cwd=r"Drive:\Path\to\folder")
stdout, stderr = p.communicate()

Fikir bir toplu iş dosyası oluşturmak ve yürütmek, "eski iyi teknoloji" yararlanmak. Yarı python ama daha hızlı çalışır. Windows için çalışır.

Dosyalar devasa değilse:

with open('newfile.txt','wb') as newf:
    for filename in list_of_files:
        with open(filename,'rb') as hf:
            newf.write(hf.read())
            # newf.write('\n\n\n')   if you want to introduce
            # some blank lines between the contents of the copied files

Dosyalar tamamen okunamayacak ve RAM'de tutulamayacak kadar büyükse, algoritma, örneğin bir döngüde kopyalanacak her dosyayı, sabit uzunluktaki parçalar tarafından okumak için biraz farklı olmalıdır read(10000).

Dizinde dosyaların bir şey var, o zaman glob2onları eliyle yazmak yerine dosya adları listesini oluşturmak için daha iyi bir seçenek olabilir.

import glob2

filenames = glob2.glob('*.txt')  # list of all .txt files in the directory

with open('outfile.txt', 'w') as f:
    for file in filenames:
        with open(file) as infile:
            f.write(infile.read()+'\n')

File nesnesinin .read () yöntemine bakın:

http://docs.python.org/2/tutorial/inputoutput.html#methods-of-file-objects

Şöyle bir şey yapabilirsiniz:

concat = ""
for file in files:
    concat += open(file).read()

veya daha 'zarif' bir python yolu:

concat = ''.join([open(f).read() for f in files])

Bu makaleye göre: http://www.skymind.com/~ocrow/python_string/ en hızlısıdır.

def concatFiles():
    path = 'input/'
    files = os.listdir(path)
    for idx, infile in enumerate(files):
        print ("File #" + str(idx) + "  " + infile)
    concat = ''.join([open(path + f).read() for f in files])
    with open("output_concatFile.txt", "w") as fo:
        fo.write(path + concat)

if __name__ == "__main__":
    concatFiles()

  import os
  files=os.listdir()
  print(files)
  print('#',tuple(files))
  name=input('Enter the inclusive file name: ')
  exten=input('Enter the type(extension): ')
  filename=name+'.'+exten
  output_file=open(filename,'w+')
  for i in files:
    print(i)
    j=files.index(i)
    f_j=open(i,'r')
    print(f_j.read())
    for x in f_j:
      outfile.write(x)