Виключення каталогів у os.walk

Я пишу сценарій, який спускається в дерево каталогів (використовуючи os.walk ()), а потім відвідую кожен файл, який відповідає певному розширенню файлу. Однак, оскільки деякі дерева директорій, на яких буде використовуватися мій інструмент, також містять підкаталоги, які, у свою чергу, містять a БАГАТО непотрібних (для цілей даного сценарію) речі, я вирішив додати можливість для користувача , щоб вказати список каталогів, які потрібно виключити з обходу.

Це досить просто за допомогою os.walk (). Зрештою, я вирішую, чи дійсно я хочу відвідати відповідні файли / файли, видані os.walk (), або просто пропустити їх. Проблема полягає в тому, що якщо у мене є, наприклад, дерево каталогів таким:

root--
     |
     --- dirA
     |
     --- dirB
     |
     --- uselessStuff --
                       |
                       --- moreJunk
                       |
                       --- yetMoreJunk

і я хочу виключити безполезнийStuff та всіх його дітей, os.walk () все одно зійде у всі (потенційно тисячі) підкаталогів безполезнихStuff , що, не треба говорити, значно уповільнює справи. В ідеальному світі, я можу сказати os.walk (), що навіть не турбує народжувати більше дітей непотрібнихStuff , але, наскільки мені відомо, немає способу зробити це (чи є?).

Хтось має ідею? Можливо, є стороння бібліотека, яка надає щось подібне?

Змінення dirs на місці обріже (наступні) файли та каталоги, які відвідує os.walk:

# exclude = set([...])
for root, dirs, files in os.walk(top, topdown=True):
    dirs[:] = [d for d in dirs if d not in exclude]

З довідки (os.walk):

Якщо вікно вгорі відповідає дійсності, абонент може змінити набір списків прізвищ на місці (наприклад, через присвоєння del або фрагмента), і прогулянка буде повторюватися лише у підкаталогах, імена яких залишаються у dirname; це можна використати для обрізки пошуку ...

... альтернативна форма відмінного відповіді @ unutbu, яка читається трохи безпосередньо, враховуючи, що наміром є виключення каталогів, ціною часу O (n ** 2) проти O (n).

(Для list(dirs)правильного виконання потрібна копія списку "dirs" )

# exclude = set([...])
for root, dirs, files in os.walk(top, topdown=True):
    [dirs.remove(d) for d in list(dirs) if d in exclude]