Фільтр Rsync: копіювання лише одного шаблону

Я намагаюся створити каталог, в якому будуть розміщені всі та лише мої PDF-файли, зібрані з LaTeX. Мені подобається зберігати кожен проект у окремій папці, усі вони розміщені у великій папці під назвою LaTeX. Тому я спробував запустити:

rsync -avn *.pdf ~/LaTeX/ ~/Output/

який повинен знайти всі pdfs у ~/LaTeX/та перенести їх у вихідну папку. Це не працює. Він говорить мені, що не знайдено відповідностей для " *.pdf". Якщо я не залишаю цей фільтр, команда перераховує всі файли у всіх папках проекту під LaTeX. Тож проблема з фільтром * .pdf. Я спробував замінити ~/повний шлях до домашнього каталогу, але це не мало ефекту.

Я, використовуючи zsh. Я намагався робити те ж саме в bash і навіть з фільтром, який перераховував кожен файл у кожному підкаталозі ... Що тут відбувається?

Чому rsync не розуміє лише мій PDF-фільтр?

ГАРАЗД. Отже, оновіть: ні, я намагаюся

rsync -avn --include="*/" --include="*.pdf" LaTeX/ Output/

І це дає мені весь список файлів. Я здогадуюсь, тому що все відповідає першому шаблону ...

TL, DR:

rsync -am --include='*.pdf' --include='*/' --exclude='*' ~/LaTeX/ ~/Output/

Rsync копіює джерела (джерела) до місця призначення. Якщо ви передаєте *.pdfяк джерела, оболонка розширює це до списку файлів із .pdfрозширенням у поточному каталозі. Ніякого рекурсивного обходу не відбувається, оскільки ви не передали жодний каталог як джерело.

Тому потрібно запустити rsync -a ~/LaTeX/ ~/Output/, але з фільтром, щоб сказати rsync копіювати .pdfфайли. Правила фільтра Rsync можуть здатися жахливими, коли ви читаєте посібник, але ви можете побудувати безліч прикладів за допомогою лише декількох простих правил.

• Включення та виключення:

  • Виключення файлів по імені або по місцю розташування легко: --exclude=*~, --exclude=/some/relative/location( по відношенню до вихідного аргументу, наприклад , це виключає ~/LaTeX/some/relative/location).
  • Якщо ви хочете зіставити лише декілька файлів або локацій, включіть їх, включіть кожен каталог, що веде до них (наприклад, з --include=*/), а потім виключіть решту із --exclude='*'. Це відбувається тому:
  • Якщо ви виключаєте каталог, це виключає все, що знаходиться під ним. Виключені файли взагалі не будуть розглянуті.
  • Якщо ви включите каталог, це не автоматично включає його вміст. В останніх версіях --include='directory/***'це зробимо.
  • Для кожного файлу застосовується перше правило узгодження (і все, що ніколи не збігається, включено).

• Шаблони:

  • Якщо шаблон не містить а /, він застосовується до каталогу імен файлів sans.
  • Якщо шаблон закінчується /, він стосується лише каталогів.
  • Якщо шаблон починається з /, він застосовується до всього шляху з каталогу, який був переданий як аргумент rsync.
  • *будь-яка підрядка одного компонента каталогу (тобто ніколи не збігається /); **відповідає будь-якій підрядковій трасі.

• Якщо аргумент джерела закінчується символом a /, його вміст копіюється ( rsync -r a/ bстворюється b/fooдля кожного a/foo). Інакше сам каталог копіюється ( rsync -r a bстворюється b/a).

Таким чином, тут нам потрібно включити *.pdf, включити каталоги, що містять їх, і виключити все інше.

rsync -a --include='*.pdf' --include='*/' --exclude='*' ~/LaTeX/ ~/Output/

Зауважте, що це копіює всі каталоги, навіть ті, що не містять відповідного файлу або підкаталог, що містить один. Цього можна уникнути за допомогою цього --prune-empty-dirsваріанту (це не універсальне рішення, оскільки потім ви не можете скопіювати каталог, навіть чітко зіставивши його, але це рідкісна вимога).

rsync -am --include='*.pdf' --include='*/' --exclude='*' ~/LaTeX/ ~/Output/

rsync -av --include="*/" --include="*.pdf" --exclude="*" ~/Latex/ ~/Output/ --dry-run

За замовчуванням - включити все, тому потрібно чітко виключити все після включення файлів, які ви хочете перенести. Видаліть --dry-run для фактичної передачі файлів.

Якщо ви почнете з:

--exclude '*' --include '*.pdf'

Тоді жадібна відповідність виключає все відразу.

Якщо ви спробуєте:

--include '*.pdf' --exclude '*' 

Тоді будуть передані лише файли pdf у папку верхнього рівня. Він не буде слідкувати за жодними каталогами, оскільки вони виключені символом "*".

Якщо ви використовуєте такий зразок *.pdf, оболонка "розширює" цей шаблон, тобто замінює шаблон на всі збіги в поточному каталозі. Команда, яку ви виконуєте (у даному випадку rsync), не знає про те, що ви намагалися використовувати шаблон.

Якщо ви використовуєте zsh , є просте рішення, однак: Цей **шаблон можна використовувати для рекурсивного зіставлення папок. Спробуйте це:

rsync -avn ~/LaTeX/**/*.pdf ~/Output/

Ви можете використовувати findі проміжний список файлів ( files_to_copy) для вирішення своєї проблеми. Переконайтеся, що ви перебуваєте у своєму домашньому каталозі, а потім:

find LaTeX/ -type f -a -iname "*.pdf" > files_to_copy && rsync -avn --files-from=files_to_copy ~/ ~/Output/ && rm files_to_copy

Тестували з Башем.

Судячи з розділу "ВКЛЮЧИТИ / ВИКЛЮЧВАЙТЕ ПРАВИЛА ПАТТЕРНУ" сторінки сторінки , спосіб це зробити:

rsync -avn --include="*/" --include="*.pdf" ~/Latex/ ~/Output/

Критична відмінність цього відповіді від відповіді kbrd полягає у --include="*/"прапорі, який говорить rsync продовжувати та копіювати будь-які каталоги, які вони знайдуть, як би вони не були названі. Це потрібно, тому що rsync не буде повторюватися у підкаталог, якщо не буде доручено скопіювати цей підкаталог.

Також зауважте, що лапки забороняють оболонці намагатися розширити шаблони до імен файлів відносно поточного каталогу та виконати одне з наступних дій:

1. Успіх і змішання вашого фільтра (не надто ймовірно посеред прапора, як це, хоча ви насправді ніколи не знаєте, коли хтось зробить файл з назвою --include=foo.pdf...)

2. Збій і потенційно може призвести до помилки замість виконання команди (як ви виявили, що zsh робить за замовчуванням).

Як щодо цього:

rsync -avn --include="*.pdf" ~/Latex/ ~/Output/

Ось те, що повинно працювати, не використовуючи пошук. Відмінність від уже опублікованих відповідей - це порядок правил фільтра. Правила фільтрації в команді rsync дуже схожі на правила iptable, перше правило, яке відповідає файлу, - це те, що використовується. З сторінки керівництва :

Оскільки список файлів / каталогів для передачі складається, rsync перевіряє кожне ім'я, яке потрібно перенести, зі списком шаблонів включати / виключати по черзі, і діяє перший узгоджений шаблон: якщо це шаблон виключення, то цей файл є пропустив; якщо це шаблон включення, то ім'я файлу не пропускається; якщо не знайдено відповідного шаблону, то ім'я файлу не пропускається.

Таким чином, вам потрібна така команда:

rsync -avn --include="**.pdf" --exclude="*" ~/LaTeX/ ~/Output/

Зверніть увагу на шаблон "**. Pdf". За даними сторінки людини :

якщо шаблон містить / (не рахуючи проміжного /) або "**", він узгоджується з повною назвою шляху, включаючи будь-які провідні каталоги. Якщо шаблон не містить / або "**", він узгоджується лише з кінцевим компонентом імені файлу. (Пам'ятайте, що алгоритм застосовується рекурсивно, тому "повне ім'я файлу" насправді може бути будь-якою частиною шляху від стартового каталогу вниз

У моєму невеликому тесті це працює рекурсивно вниз по дереву каталогів і вибирає лише pdfs.

Це моє бажане рішення:

find source_dir -iname '*.jpg' -print0 |  rsync -0 -v --files-from=- . destination_dir/

findКоманда легше зрозуміти , ніж включити / виключити правила rsync:-)

Якщо ви хочете скопіювати лише PDF-файли, просто перейдіть .jpgна.pdf