Знайдіть усі файли в каталозі з розширенням .txt в Python


1043

Як я можу знайти всі файли в каталозі, що має розширення .txtв python?

Відповіді:


2354

Ви можете використовувати glob:

import glob, os
os.chdir("/mydir")
for file in glob.glob("*.txt"):
    print(file)

або просто os.listdir:

import os
for file in os.listdir("/mydir"):
    if file.endswith(".txt"):
        print(os.path.join("/mydir", file))

або якщо ви хочете перейти до каталогу, використовуйте os.walk:

import os
for root, dirs, files in os.walk("/mydir"):
    for file in files:
        if file.endswith(".txt"):
             print(os.path.join(root, file))

11
Використовуючи рішення №2, як би ви створили файл чи список із цією інформацією?
Мерлін

72
@ ghostdog74: На мою думку, правильніше писати, for file in fніж для, for files in fоскільки те, що є в змінній, - це одне ім'я файлу. Ще краще було б змінити fна, filesі тоді петлі для циклу можуть стати for file in files.
мартіно

45
@computermacgyver: Ні, fileце не зарезервоване слово, а лише назва заздалегідь визначеної функції, тому цілком можливо використовувати його як ім'я змінної у власному коді. Хоча це правда, що, як правило, слід уникати подібних зіткнень, fileце особливий випадок, оскільки навряд чи коли-небудь виникає потреба у використанні, тому часто вважають винятком із настанови. Якщо ви не хочете цього робити, PEP8 рекомендує до таких імен додати єдине підкреслення, тобто file_, з яким вам доведеться погодитися, все ще досить читабельно.
martineau

9
Спасибі, мартино, ти абсолютно прав. Я занадто швидко підскочив до висновків.
computermacgyver

40
Більш піфонічним способом для №2 може бути файл у [f for f in os.listdir ('/ mydir'), якщо f.endswith ('. Txt')]:
ozgur

247

Використовуйте глобус .

>>> import glob
>>> glob.glob('./*.txt')
['./outline.txt', './pip-log.txt', './test.txt', './testingvim.txt']

Це не тільки легко, але й нечутливе до випадків. (Принаймні, це в Windows, як і належить. Я не впевнений в інших ОС.)
Джон Кумбс

35
Слідкуйте за тим, globщоб не вдалося знайти файли рекурсивно, якщо ваш пітон менше 3,5. докладніше
qun

найкраща частина - ви можете використовувати регулярний тест на експресію * .txt
Алекс Пуннен

@JonCoombs nope. Принаймні, не на Linux.
Каруханга

157

Щось подібне повинно зробити цю роботу

for root, dirs, files in os.walk(directory):
    for file in files:
        if file.endswith('.txt'):
            print file

73
+1 для називання змінних root, dirs, filesзамість r, d, f. Набагато читабельніший.
Клімент

27
Зверніть увагу , що це відчутно до регістру (не відповідатиме .TXT або .txt), так що ви , ймовірно , захочете зробити , якщо file.lower () EndsWith ( 'TXT.) :.
Джон Кумбс

1
Ваша відповідь стосується підкаталога.
Сем Ляо

117

Щось подібне спрацює:

>>> import os
>>> path = '/usr/share/cups/charmaps'
>>> text_files = [f for f in os.listdir(path) if f.endswith('.txt')]
>>> text_files
['euc-cn.txt', 'euc-jp.txt', 'euc-kr.txt', 'euc-tw.txt', ... 'windows-950.txt']

Як би я зберегла шлях до text_files? ['path / euc-cn.txt', ... 'path / windows-950.txt']
IceQueeny

5
Ви можете використовувати os.path.joinдля кожного елемента text_files. Це могло бути щось на кшталт text_files = [os.path.join(path, f) for f in os.listdir(path) if f.endswith('.txt')].
Сет

54

Ви можете просто використовувати pathlibs 1 :glob

import pathlib

list(pathlib.Path('your_directory').glob('*.txt'))

або в циклі:

for txt_file in pathlib.Path('your_directory').glob('*.txt'):
    # do something with "txt_file"

Якщо ви хочете, щоб це було рекурсивно, ви можете використовувати .glob('**/*.txt)


1pathlib модуль був включений в стандартній бібліотеці в Python 3.4. Але ви можете встановити резервні порти цього модуля навіть у старих версіях Python (тобто, використовуючи condaабо pip): pathlibі pathlib2.


**/*.txtне підтримується старішими версіями python. Тому я вирішив це за допомогою: foundfiles= subprocess.check_output("ls **/*.txt", shell=True) for foundfile in foundfiles.splitlines(): print foundfile
Роман

1
@ Роман Так, це була лише демонстрація того, що pathlibможна зробити, і я вже включив вимоги до версії Python. :) Але якщо ваш підхід уже не розміщено, чому б просто не додати його як іншу відповідь?
MSeifert

1
так, розміщення відповіді дало б мені кращі можливості форматування, безумовно. Я розміщую його там, бо думаю, що це для нього більш підходяще місце.
Роман

5
Зауважте, що ви також можете використовувати, rglobякщо ви хочете шукати предмети рекурсивно. Напр..rglob('*.txt')
Брам


29

Мені подобається os.walk () :

import os

for root, dirs, files in os.walk(dir):
    for f in files:
        if os.path.splitext(f)[1] == '.txt':
            fullpath = os.path.join(root, f)
            print(fullpath)

Або з генераторами:

import os

fileiter = (os.path.join(root, f)
    for root, _, files in os.walk(dir)
    for f in files)
txtfileiter = (f for f in fileiter if os.path.splitext(f)[1] == '.txt')
for txt in txtfileiter:
    print(txt)

28

Ось додаткові версії, які дають дещо інші результати:

glob.iglob ()

import glob
for f in glob.iglob("/mydir/*/*.txt"): # generator, search immediate subdirectories 
    print f

glob.glob1 ()

print glob.glob1("/mydir", "*.tx?")  # literal_directory, basename_pattern

fnmatch.filter ()

import fnmatch, os
print fnmatch.filter(os.listdir("/mydir"), "*.tx?") # include dot-files

3
Для допитливих glob1()- це допоміжна функція в globмодулі, яка не вказана в документації Python. Деякі вбудовані коментарі, що описують, що він робить у вихідному файлі, див .../Lib/glob.py.
мартіно

1
@martineau: glob.glob1()не є загальнодоступним, але він доступний на Python 2.4-2.7; 3.0-3.2; піпі; jython github.com/zed/test_glob1
jfs

1
Дякую, це хороша додаткова інформація, яка має бути при вирішенні питання про використання незадокументованої приватної функції в модулі. ;-) Ось ще трохи. Версія Python 2.7 має лише 12 рядків і виглядає так, що її можна було легко витягти з globмодуля.
мартіно

21

path.py - ще одна альтернатива: https://github.com/jaraco/path.py

from path import path
p = path('/path/to/the/directory')
for f in p.files(pattern='*.txt'):
    print f

Класно, він приймає також регулярний вираз у шаблоні. Я використовую перегляд for f in p.walk(pattern='*.txt')усіх папок
Костанос,

1
Так, там також стежка. Ви можете зробити щось на кшталт: list(p.glob('**/*.py'))
user2233949

15

Python v3.5 +

Швидкий метод, що використовує os.scandir в рекурсивній функції. Пошук усіх файлів із заданим розширенням у папках та підпапках.

import os

def findFilesInFolder(path, pathList, extension, subFolders = True):
    """  Recursive function to find all files of an extension type in a folder (and optionally in all subfolders too)

    path:        Base directory to find files
    pathList:    A list that stores all paths
    extension:   File extension to find
    subFolders:  Bool.  If True, find files in all subfolders under path. If False, only searches files in the specified folder
    """

    try:   # Trapping a OSError:  File permissions problem I believe
        for entry in os.scandir(path):
            if entry.is_file() and entry.path.endswith(extension):
                pathList.append(entry.path)
            elif entry.is_dir() and subFolders:   # if its a directory, then repeat process as a nested function
                pathList = findFilesInFolder(entry.path, pathList, extension, subFolders)
    except OSError:
        print('Cannot access ' + path +'. Probably a permissions error')

    return pathList

dir_name = r'J:\myDirectory'
extension = ".txt"

pathList = []
pathList = findFilesInFolder(dir_name, pathList, extension, True)

Оновлення квітня 2019 року

Якщо ви шукаєте в каталогах, що містять 10 000s файлів, додавання до списку стає неефективним. «Поступаючись» результатам - це краще рішення. Я також включив функцію перетворення результату в Datandreme Pandas.

import os
import re
import pandas as pd
import numpy as np


def findFilesInFolderYield(path,  extension, containsTxt='', subFolders = True, excludeText = ''):
    """  Recursive function to find all files of an extension type in a folder (and optionally in all subfolders too)

    path:               Base directory to find files
    extension:          File extension to find.  e.g. 'txt'.  Regular expression. Or  'ls\d' to match ls1, ls2, ls3 etc
    containsTxt:        List of Strings, only finds file if it contains this text.  Ignore if '' (or blank)
    subFolders:         Bool.  If True, find files in all subfolders under path. If False, only searches files in the specified folder
    excludeText:        Text string.  Ignore if ''. Will exclude if text string is in path.
    """
    if type(containsTxt) == str: # if a string and not in a list
        containsTxt = [containsTxt]

    myregexobj = re.compile('\.' + extension + '$')    # Makes sure the file extension is at the end and is preceded by a .

    try:   # Trapping a OSError or FileNotFoundError:  File permissions problem I believe
        for entry in os.scandir(path):
            if entry.is_file() and myregexobj.search(entry.path): # 

                bools = [True for txt in containsTxt if txt in entry.path and (excludeText == '' or excludeText not in entry.path)]

                if len(bools)== len(containsTxt):
                    yield entry.stat().st_size, entry.stat().st_atime_ns, entry.stat().st_mtime_ns, entry.stat().st_ctime_ns, entry.path

            elif entry.is_dir() and subFolders:   # if its a directory, then repeat process as a nested function
                yield from findFilesInFolderYield(entry.path,  extension, containsTxt, subFolders)
    except OSError as ose:
        print('Cannot access ' + path +'. Probably a permissions error ', ose)
    except FileNotFoundError as fnf:
        print(path +' not found ', fnf)

def findFilesInFolderYieldandGetDf(path,  extension, containsTxt, subFolders = True, excludeText = ''):
    """  Converts returned data from findFilesInFolderYield and creates and Pandas Dataframe.
    Recursive function to find all files of an extension type in a folder (and optionally in all subfolders too)

    path:               Base directory to find files
    extension:          File extension to find.  e.g. 'txt'.  Regular expression. Or  'ls\d' to match ls1, ls2, ls3 etc
    containsTxt:        List of Strings, only finds file if it contains this text.  Ignore if '' (or blank)
    subFolders:         Bool.  If True, find files in all subfolders under path. If False, only searches files in the specified folder
    excludeText:        Text string.  Ignore if ''. Will exclude if text string is in path.
    """

    fileSizes, accessTimes, modificationTimes, creationTimes , paths  = zip(*findFilesInFolderYield(path,  extension, containsTxt, subFolders))
    df = pd.DataFrame({
            'FLS_File_Size':fileSizes,
            'FLS_File_Access_Date':accessTimes,
            'FLS_File_Modification_Date':np.array(modificationTimes).astype('timedelta64[ns]'),
            'FLS_File_Creation_Date':creationTimes,
            'FLS_File_PathName':paths,
                  })

    df['FLS_File_Modification_Date'] = pd.to_datetime(df['FLS_File_Modification_Date'],infer_datetime_format=True)
    df['FLS_File_Creation_Date'] = pd.to_datetime(df['FLS_File_Creation_Date'],infer_datetime_format=True)
    df['FLS_File_Access_Date'] = pd.to_datetime(df['FLS_File_Access_Date'],infer_datetime_format=True)

    return df

ext =   'txt'  # regular expression 
containsTxt=[]
path = 'C:\myFolder'
df = findFilesInFolderYieldandGetDf(path,  ext, containsTxt, subFolders = True)

14

У Python є всі інструменти для цього:

import os

the_dir = 'the_dir_that_want_to_search_in'
all_txt_files = filter(lambda x: x.endswith('.txt'), os.listdir(the_dir))

1
Якщо ви хочете, щоб список all_txt_files був у списку:all_txt_files = list(filter(lambda x: x.endswith('.txt'), os.listdir(the_dir)))
Ena

12

Щоб отримати всі ".txt" імена файлів у папці "dataPath" як список пітонічним способом:

from os import listdir
from os.path import isfile, join
path = "/dataPath/"
onlyTxtFiles = [f for f in listdir(path) if isfile(join(path, f)) and  f.endswith(".txt")]
print onlyTxtFiles

12

Спробуйте це. Ви знайдете всі ваші файли рекурсивно:

import glob, os
os.chdir("H:\\wallpaper")# use whatever directory you want

#double\\ no single \

for file in glob.glob("**/*.txt", recursive = True):
    print(file)

не з рекурсивною версією (подвійна зірка:) **. Доступний лише в python 3. Те, що мені не подобається, це chdirчастина. Не потрібно в цьому.
Жан-Франсуа Фабре

2
добре, ви можете використовувати бібліотеку os для приєднання до шляху, наприклад, filepath = os.path.join('wallpaper')а потім використовувати його як glob.glob(filepath+"**/*.psd", recursive = True), що дасть такий же результат.
Mitalee Rao

8
import os
import sys 

if len(sys.argv)==2:
    print('no params')
    sys.exit(1)

dir = sys.argv[1]
mask= sys.argv[2]

files = os.listdir(dir); 

res = filter(lambda x: x.endswith(mask), files); 

print res

8

Я зробив тест (Python 3.6.4, W7x64), щоб побачити, яке рішення є найшвидшим для однієї папки, без підкаталогів, щоб отримати список повних шляхів до файлів для файлів із конкретним розширенням.

Якщо коротко, це завдання os.listdir()найшвидше і на 1,7 рази швидше, ніж наступне найкраще: os.walk()(з перервою!), 2,7 разів швидше pathlib, на 3,2 os.scandir()рази швидше і на 3,3 рази швидше glob.
Зауважте, що ці результати змінюватимуться, коли вам знадобляться рекурсивні результати. Якщо ви скопіюєте / вставте один із способів нижче, додайте .lower (), інакше .EXT не буде знайдено під час пошуку .ext

import os
import pathlib
import timeit
import glob

def a():
    path = pathlib.Path().cwd()
    list_sqlite_files = [str(f) for f in path.glob("*.sqlite")]

def b(): 
    path = os.getcwd()
    list_sqlite_files = [f.path for f in os.scandir(path) if os.path.splitext(f)[1] == ".sqlite"]

def c():
    path = os.getcwd()
    list_sqlite_files = [os.path.join(path, f) for f in os.listdir(path) if f.endswith(".sqlite")]

def d():
    path = os.getcwd()
    os.chdir(path)
    list_sqlite_files = [os.path.join(path, f) for f in glob.glob("*.sqlite")]

def e():
    path = os.getcwd()
    list_sqlite_files = [os.path.join(path, f) for f in glob.glob1(str(path), "*.sqlite")]

def f():
    path = os.getcwd()
    list_sqlite_files = []
    for root, dirs, files in os.walk(path):
        for file in files:
            if file.endswith(".sqlite"):
                list_sqlite_files.append( os.path.join(root, file) )
        break



print(timeit.timeit(a, number=1000))
print(timeit.timeit(b, number=1000))
print(timeit.timeit(c, number=1000))
print(timeit.timeit(d, number=1000))
print(timeit.timeit(e, number=1000))
print(timeit.timeit(f, number=1000))

Результати:

# Python 3.6.4
0.431
0.515
0.161
0.548
0.537
0.274

Документація Python 3.6.5 зазначає: Функція os.scandir () повертає записи каталогів разом з інформацією про атрибути файлів, що забезпечує кращу продуктивність [ніж os.listdir ()] для багатьох випадків поширеного використання.
Білл Олдройд

Я пропускаю масштаб масштабу цього тесту, скільки файлів ви використовували в цьому тесті? як вони порівнюються, якщо масштабувати число вгору / вниз?
N4ppeL

5

Цей код робить моє життя простішим.

import os
fnames = ([file for root, dirs, files in os.walk(dir)
    for file in files
    if file.endswith('.txt') #or file.endswith('.png') or file.endswith('.pdf')
    ])
for fname in fnames: print(fname)


5

Щоб отримати масив імен файлів ".txt" з папки під назвою "data" в одному каталозі, я зазвичай використовую цей простий рядок коду:

import os
fileNames = [fileName for fileName in os.listdir("data") if fileName.endswith(".txt")]

3

Я пропоную вам використовувати fnmatch та верхній метод. Таким чином ви можете знайти будь-що з наступного:

  1. Ім'я. txt ;
  2. Ім'я. TXT ;
  3. Ім'я. Txt

.

import fnmatch
import os

    for file in os.listdir("/Users/Johnny/Desktop/MyTXTfolder"):
        if fnmatch.fnmatch(file.upper(), '*.TXT'):
            print(file)

3

Ось один із extend()

types = ('*.jpg', '*.png')
images_list = []
for files in types:
    images_list.extend(glob.glob(os.path.join(path, files)))

Не для використання з .txt:)
Efreeto

2

Функціональне рішення з підкаталогами:

from fnmatch import filter
from functools import partial
from itertools import chain
from os import path, walk

print(*chain(*(map(partial(path.join, root), filter(filenames, "*.txt")) for root, _, filenames in walk("mydir"))))

15
Це код, який ви хочете зберегти в довгостроковій перспективі?
Симеон Віссер

2

Якщо папка містить багато файлів або пам'ять є обмеженням, розгляньте можливість використання генераторів:

def yield_files_with_extensions(folder_path, file_extension):
   for _, _, files in os.walk(folder_path):
       for file in files:
           if file.endswith(file_extension):
               yield file

Варіант А: Ітерація

for f in yield_files_with_extensions('.', '.txt'): 
    print(f)

Варіант В: Отримайте все

files = [f for f in yield_files_with_extensions('.', '.txt')]

2

Копіювальне рішення, схоже на рішення привида:

def get_all_filepaths(root_path, ext):
    """
    Search all files which have a given extension within root_path.

    This ignores the case of the extension and searches subdirectories, too.

    Parameters
    ----------
    root_path : str
    ext : str

    Returns
    -------
    list of str

    Examples
    --------
    >>> get_all_filepaths('/run', '.lock')
    ['/run/unattended-upgrades.lock',
     '/run/mlocate.daily.lock',
     '/run/xtables.lock',
     '/run/mysqld/mysqld.sock.lock',
     '/run/postgresql/.s.PGSQL.5432.lock',
     '/run/network/.ifstate.lock',
     '/run/lock/asound.state.lock']
    """
    import os
    all_files = []
    for root, dirs, files in os.walk(root_path):
        for filename in files:
            if filename.lower().endswith(ext):
                all_files.append(os.path.join(root, filename))
    return all_files

1

використовуйте модуль Python OS для пошуку файлів із конкретним розширенням.

простий приклад тут:

import os

# This is the path where you want to search
path = r'd:'  

# this is extension you want to detect
extension = '.txt'   # this can be : .jpg  .png  .xls  .log .....

for root, dirs_list, files_list in os.walk(path):
    for file_name in files_list:
        if os.path.splitext(file_name)[-1] == extension:
            file_name_path = os.path.join(root, file_name)
            print file_name
            print file_name_path   # This is the full path of the filter file

0

Багато користувачів відповіли на os.walkвідповіді, що включає всі файли, а також усі каталоги та підкаталоги та їх файли.

import os


def files_in_dir(path, extension=''):
    """
       Generator: yields all of the files in <path> ending with
       <extension>

       \param   path       Absolute or relative path to inspect,
       \param   extension  [optional] Only yield files matching this,

       \yield              [filenames]
    """


    for _, dirs, files in os.walk(path):
        dirs[:] = []  # do not recurse directories.
        yield from [f for f in files if f.endswith(extension)]

# Example: print all the .py files in './python'
for filename in files_in_dir('./python', '*.py'):
    print("-", filename)

Або для одного, де вам не потрібен генератор:

path, ext = "./python", ext = ".py"
for _, _, dirfiles in os.walk(path):
    matches = (f for f in dirfiles if f.endswith(ext))
    break

for filename in matches:
    print("-", filename)

Якщо ви збираєтесь використовувати сірники для чогось іншого, можливо, ви захочете зробити його списком, а не виразом генератора:

    matches = [f for f in dirfiles if f.endswith(ext)]

0

Простий метод за допомогою forциклу:

import os

dir = ["e","x","e"]

p = os.listdir('E:')  #path

for n in range(len(p)):
   name = p[n]
   myfile = [name[-3],name[-2],name[-1]]  #for .txt
   if myfile == dir :
      print(name)
   else:
      print("nops")

Хоча це можна зробити більш узагальненим.


дуже нетиповий спосіб перевірки розширення. Небезпечні теж. Що робити, якщо ім'я занадто коротке? і навіщо використовувати список символів, а не рядки?
Жан-Франсуа Фабре
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.