Прочитана рекурсивна папка Python

У мене є C ++ / Obj-C, і я просто відкриваю Python (пишу його близько години). Я пишу сценарій для рекурсивного зчитування вмісту текстових файлів у структурі папок.

Проблема, яку я маю, - написаний нами код, працюватиме лише для однієї папки. Я можу зрозуміти, чому в коді (див. #hardcoded path) Я просто не знаю, як я можу рухатись вперед з Python, оскільки мій досвід роботи з ним лише новий.

Код Python:

import os
import sys

rootdir = sys.argv[1]

for root, subFolders, files in os.walk(rootdir):

    for folder in subFolders:
        outfileName = rootdir + "/" + folder + "/py-outfile.txt" # hardcoded path
        folderOut = open( outfileName, 'w' )
        print "outfileName is " + outfileName

        for file in files:
            filePath = rootdir + '/' + file
            f = open( filePath, 'r' )
            toWrite = f.read()
            print "Writing '" + toWrite + "' to" + filePath
            folderOut.write( toWrite )
            f.close()

        folderOut.close()

Переконайтеся, що ви розумієте три повернені значення os.walk:

for root, subdirs, files in os.walk(rootdir):

має таке значення:

• root: Поточний шлях, який "пройшов"
• subdirs: Файли в rootкаталозі типу
• files: Файли типу root(не в subdirs) іншого типу, крім каталогу

І будь ласка, використовуйте os.path.joinзамість того, щоб поєднати з косою рисою! Ваша проблема полягає в тому, що filePath = rootdir + '/' + fileви повинні об'єднати поточну "прогулянку" папку замість верхньої папки. Так і повинно бути filePath = os.path.join(root, file). BTW "файл" є вбудованим, тому його зазвичай не використовують як ім'я змінної.

Ще одна проблема - це ваші петлі, які мають бути таким, наприклад:

import os
import sys

walk_dir = sys.argv[1]

print('walk_dir = ' + walk_dir)

# If your current working directory may change during script execution, it's recommended to
# immediately convert program arguments to an absolute path. Then the variable root below will
# be an absolute path as well. Example:
# walk_dir = os.path.abspath(walk_dir)
print('walk_dir (absolute) = ' + os.path.abspath(walk_dir))

for root, subdirs, files in os.walk(walk_dir):
    print('--\nroot = ' + root)
    list_file_path = os.path.join(root, 'my-directory-list.txt')
    print('list_file_path = ' + list_file_path)

    with open(list_file_path, 'wb') as list_file:
        for subdir in subdirs:
            print('\t- subdirectory ' + subdir)

        for filename in files:
            file_path = os.path.join(root, filename)

            print('\t- file %s (full path: %s)' % (filename, file_path))

            with open(file_path, 'rb') as f:
                f_content = f.read()
                list_file.write(('The file %s contains:\n' % filename).encode('utf-8'))
                list_file.write(f_content)
                list_file.write(b'\n')

Якщо ви не знали, withзаява для файлів - це скорочення:

with open('filename', 'rb') as f:
    dosomething()

# is effectively the same as

f = open('filename', 'rb')
try:
    dosomething()
finally:
    f.close()

Якщо ви використовуєте Python 3.5 або вище, ви можете зробити це в 1 рядок.

import glob

for filename in glob.iglob(root_dir + '**/*.txt', recursive=True):
     print(filename)

Як зазначено в документації

Якщо рекурсивна істина, шаблон "**" буде відповідати будь-яким файлам і нульовим або більше каталогів і підкаталогів.

Якщо ви хочете кожен файл, ви можете використовувати

import glob

for filename in glob.iglob(root_dir + '**/*', recursive=True):
     print(filename)

Погодьтесь з Дейвом Веббом, os.walkвийде елемент для кожної директорії в дереві. Справа в тому, що вам просто не потрібно дбати subFolders.

Цей код повинен працювати:

import os
import sys

rootdir = sys.argv[1]

for folder, subs, files in os.walk(rootdir):
    with open(os.path.join(folder, 'python-outfile.txt'), 'w') as dest:
        for filename in files:
            with open(os.path.join(folder, filename), 'r') as src:
                dest.write(src.read())

TL; DR: це еквівалент перегляду find -type fвсіх файлів у всіх папках нижче, включаючи поточний:

for currentpath, folders, files in os.walk('.'):
    for file in files:
        print(os.path.join(currentpath, file))

Як вже було сказано в інших відповідях, os.walk()це відповідь, але це можна було б пояснити краще. Це досить просто! Давайте пройдемося по цьому дереву:

docs/
└── doc1.odt
pics/
todo.txt

З цим кодом:

for currentpath, folders, files in os.walk('.'):
    print(currentpath)

Це currentpathпоточна папка, яку він переглядає. Це виведе:

.
./docs
./pics

Отже, це тричі циклічно, бо є три папки: поточна docs, і pics. У кожному циклі він заповнює змінні foldersта filesвсі папки та файли. Покажемо їм:

for currentpath, folders, files in os.walk('.'):
    print(currentpath, folders, files)

Це нам показує:

# currentpath  folders           files
.              ['pics', 'docs']  ['todo.txt']
./pics         []                []
./docs         []                ['doc1.odt']

Таким чином , в першому рядку, ми бачимо , що ми знаходимося в папці ., що вона містить дві папки , а саме picsта docs, і що є один файл, а саме todo.txt. Вам не потрібно нічого робити, щоб повторно вписатись у ці папки, тому що, як бачите, вона автоматично повторюється і просто надає файли в будь-яких папках. І будь-які підпапки цього (хоча таких у прикладі у нас немає).

Якщо ви просто хочете переглядати всі файли, еквівалентні find -type f, ви можете зробити це:

for currentpath, folders, files in os.walk('.'):
    for file in files:
        print(os.path.join(currentpath, file))

Це виводи:

./todo.txt
./docs/doc1.odt

pathlibБібліотека дійсно відмінно підходить для роботи з файлами. Ви можете зробити рекурсивний глобус на Pathоб'єкті так.

from pathlib import Path

for elem in Path('/path/to/my/files').rglob('*.*'):
    print(elem)

Якщо ви хочете отримати рівний список усіх шляхів під заданим dir (як find .у оболонці):

   files = [ 
       os.path.join(parent, name)
       for (parent, subdirs, files) in os.walk(YOUR_DIRECTORY)
       for name in files + subdirs
   ]

Щоб включити лише повні шляхи до файлів під базовим режимом, не залишайте + subdirs.

import glob
import os

root_dir = <root_dir_here>

for filename in glob.iglob(root_dir + '**/**', recursive=True):
    if os.path.isfile(filename):
        with open(filename,'r') as file:
            print(file.read())

**/**використовується для отримання всіх файлів рекурсивно, включаючи directory.

if os.path.isfile(filename)використовується для перевірки, чи filenameє змінною fileабо directory, якщо це файл, то ми можемо прочитати цей файл. Ось я друкую файл.

Я знайшов таке, що є найпростішим

from glob import glob
import os

files = [f for f in glob('rootdir/**', recursive=True) if os.path.isfile(f)]

Використання glob('some/path/**', recursive=True)отримує всі файли, але також включає імена каталогів. Додавання if os.path.isfile(f)умови фільтрує цей список лише до існуючих файлів

використовувати os.path.join()для побудови своїх шляхів - Це акуратніше:

import os
import sys
rootdir = sys.argv[1]
for root, subFolders, files in os.walk(rootdir):
    for folder in subFolders:
        outfileName = os.path.join(root,folder,"py-outfile.txt")
        folderOut = open( outfileName, 'w' )
        print "outfileName is " + outfileName
        for file in files:
            filePath = os.path.join(root,file)
            toWrite = open( filePath).read()
            print "Writing '" + toWrite + "' to" + filePath
            folderOut.write( toWrite )
        folderOut.close()

os.walkрекурсивна хода за замовчуванням. Для кожного dir, починаючи з кореня, він отримує 3-х кортеж (dirpath, dirnames, filename)

from os import walk
from os.path import splitext, join

def select_files(root, files):
    """
    simple logic here to filter out interesting files
    .py files in this example
    """

    selected_files = []

    for file in files:
        #do concatenation here to get full path 
        full_path = join(root, file)
        ext = splitext(file)[1]

        if ext == ".py":
            selected_files.append(full_path)

    return selected_files

def build_recursive_dir_tree(path):
    """
    path    -    where to begin folder scan
    """
    selected_files = []

    for root, dirs, files in walk(path):
        selected_files += select_files(root, files)

    return selected_files

Спробуйте це:

import os
import sys

for root, subdirs, files in os.walk(path):

    for file in os.listdir(root):

        filePath = os.path.join(root, file)

        if os.path.isdir(filePath):
            pass

        else:
            f = open (filePath, 'r')
            # Do Stuff

Я думаю, що проблема полягає в тому, що ви неправильно обробляєте результат os.walk.

По-перше, зміни:

filePath = rootdir + '/' + file

до:

filePath = root + '/' + file

rootdir- ваш фіксований стартовий каталог; rootце каталог, повернутий користувачем os.walk.

По-друге, вам не потрібно відступати в циклі обробки файлів, оскільки немає сенсу запускати це для кожного підкаталогу. Ви rootвстановите кожен підкаталог. Вам не потрібно обробляти підкаталоги вручну, якщо ви не хочете щось робити з самими каталогами.