Текстові файли поєднують Python

У мене є список з 20 імен файлів, наприклад ['file1.txt', 'file2.txt', ...]. Я хочу написати сценарій Python для об'єднання цих файлів у новий файл. Я міг відкрити кожен файл f = open(...), прочитати рядок за рядком, зателефонувавши f.readline(), і записати кожен рядок у цей новий файл. Мені це не здається дуже елегантним, особливо частиною, де мені доводиться читати // писати рядок за рядком.

Чи є більш "елегантний" спосіб зробити це в Python?

Це має робити

Для великих файлів:

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for fname in filenames:
        with open(fname) as infile:
            for line in infile:
                outfile.write(line)

Для невеликих файлів:

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for fname in filenames:
        with open(fname) as infile:
            outfile.write(infile.read())

… І ще один цікавий, про який я подумав :

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for line in itertools.chain.from_iterable(itertools.imap(open, filnames)):
        outfile.write(line)

На жаль, цей останній метод залишає кілька відкритих дескрипторів файлів, про які GC у будь-якому випадку повинен подбати. Я просто думав, що це цікаво

Використовуйте shutil.copyfileobj.

Він автоматично зчитує для вас вхідні файли, які ефективніше, і читання вхідних файлів, і вони працюватимуть, навіть якщо деякі вхідні файли занадто великі, щоб вміститись у пам'яті:

import shutil

with open('output_file.txt','wb') as wfd:
    for f in ['seg1.txt','seg2.txt','seg3.txt']:
        with open(f,'rb') as fd:
            shutil.copyfileobj(fd, wfd)

Саме для цього призначений файлinput :

import fileinput
with open(outfilename, 'w') as fout, fileinput.input(filenames) as fin:
    for line in fin:
        fout.write(line)

У цьому випадку використання, це насправді не набагато простіше, ніж просто ітерація файлів вручну, але в інших випадках мати єдиний ітератор, який повторює всі файли, як ніби вони є одним файлом, дуже зручно. (Крім того, той факт, що fileinputзакриває кожен файл, як тільки це робиться, означає, що немає потреби withабо closeкожного, але це лише заощадження в одному рядку, не таке вже й велике.)

Є деякі інші чудові функції fileinput, як, наприклад, можливість робити зміни на місці, лише фільтруючи кожен рядок.

Як зазначається в коментарях і обговорювалося в іншій публікації , fileinputдля Python 2.7 не буде працювати, як зазначено. Тут невелика модифікація, щоб зробити код Python 2.7 сумісним

with open('outfilename', 'w') as fout:
    fin = fileinput.input(filenames)
    for line in fin:
        fout.write(line)
    fin.close()

Я не знаю про елегантність, але це працює:

    import glob
    import os
    for f in glob.glob("file*.txt"):
         os.system("cat "+f+" >> OutFile.txt")

Що не так з командами UNIX? (враховуючи, що ви не працюєте в Windows):

ls | xargs cat | tee output.txt виконує завдання (якщо ви хочете, можна зателефонувати з python з підпроцесом)

outfile.write(infile.read()) # time: 2.1085190773010254s
shutil.copyfileobj(fd, wfd, 1024*1024*10) # time: 0.60599684715271s

Простий орієнтир показує, що шутил працює краще.

Альтернатива відповіді @ inspectorG4dget (найкраща відповідь на сьогодні 29-03-2016). Я протестував 3 файли розміром 436 Мб.

@ інспекторG4dget рішення: 162 секунди

Наступне рішення: 125 секунд

from subprocess import Popen
filenames = ['file1.txt', 'file2.txt', 'file3.txt']
fbatch = open('batch.bat','w')
str ="type "
for f in filenames:
    str+= f + " "
fbatch.write(str + " > file4results.txt")
fbatch.close()
p = Popen("batch.bat", cwd=r"Drive:\Path\to\folder")
stdout, stderr = p.communicate()

Ідея полягає в тому, щоб створити пакетний файл і виконати його, скориставшись «старою доброю технологією». Його напівпітон, але працює швидше. Працює для вікон.

Якщо у каталозі багато файлів, то, glob2можливо, буде кращим варіантом створення списку імен файлів, а не їх вручну.

import glob2

filenames = glob2.glob('*.txt')  # list of all .txt files in the directory

with open('outfile.txt', 'w') as f:
    for file in filenames:
        with open(file) as infile:
            f.write(infile.read()+'\n')

Перевірте метод .read () об’єкта File:

http://docs.python.org/2/tutorial/inputoutput.html#methods-of-file-objects

Ви можете зробити щось на кшталт:

concat = ""
for file in files:
    concat += open(file).read()

або більш "елегантний" пітон:

concat = ''.join([open(f).read() for f in files])

яка відповідно до цієї статті: http://www.skymind.com/~ocrow/python_string/ також була б найшвидшою.

Якщо файли не є гігантськими:

with open('newfile.txt','wb') as newf:
    for filename in list_of_files:
        with open(filename,'rb') as hf:
            newf.write(hf.read())
            # newf.write('\n\n\n')   if you want to introduce
            # some blank lines between the contents of the copied files

Якщо файли занадто великі, щоб їх можна було повністю прочитати і зберегти в оперативній пам'яті, алгоритм повинен дещо відрізнятися, щоб читати кожен файл, який потрібно скопіювати в цикл, шматками фіксованої довжини, використовуючи, read(10000)наприклад.

def concatFiles():
    path = 'input/'
    files = os.listdir(path)
    for idx, infile in enumerate(files):
        print ("File #" + str(idx) + "  " + infile)
    concat = ''.join([open(path + f).read() for f in files])
    with open("output_concatFile.txt", "w") as fo:
        fo.write(path + concat)

if __name__ == "__main__":
    concatFiles()

  import os
  files=os.listdir()
  print(files)
  print('#',tuple(files))
  name=input('Enter the inclusive file name: ')
  exten=input('Enter the type(extension): ')
  filename=name+'.'+exten
  output_file=open(filename,'w+')
  for i in files:
    print(i)
    j=files.index(i)
    f_j=open(i,'r')
    print(f_j.read())
    for x in f_j:
      outfile.write(x)