Переміщення мільйонів файлів в інший каталог із специфічними шаблонами імен

У мене є мільйони файлів із такою номенклатурою на машині Linux:

1559704165_a1ac6f55fef555ee.jpg

Перші 10 цифр - це часова марка, а ті, за якими йде a, - _це певні ідентифікатори. Я хочу перенести всі файли, що відповідають певним іменам імені файлу, до іншої папки.

Я спробував це в каталозі з файлами

find . -maxdepth 1 -type f | ??????????_a1ac*.jpg |xargs mv -t "/home/ubuntu/ntest"

Однак я отримую помилку із зазначенням:

bash 1559704165_a1ac6f55fef555ee.jpg: command not found

Коли я намагався, mv ??????????_a1ac*.jpg я отримую занадто довгу помилку в списку аргументів. У мене є принаймні 15 різних моделей імен файлів. Як їх перемістити.

Ви повинні використовувати:

find . -maxdepth 1 -type f -name '??????????_a1ac*.jpg' \
-exec mv -t destination "{}" +

Так maxdepth 1означає, що ви хочете шукати в поточному каталозі немає підкаталогів.

type f означає знайти лише файли.

name '??????????_a1ac*.jpg' це шаблон, який відповідає файлу, який ви шукаєте.

mv -t destination "{}" +означає перемістити відповідні файли до місця призначення. Тут +додаються нові відповідні файли до попереднього, як-от:

mv -t dest a b c d

Тут abcd - це різні файли.

Ваша команда,

find . -maxdepth 1 -type f | ??????????_a1ac*.jpg |xargs mv -t "/home/ubuntu/ntest"

Трубопроводить список усіх файлів ДО всіх файлів!

find . -maxdepth 1 -type f -name `*_a1ac*.jpg` -print0 |\
xargs  -0 -r mv -t "/home/ubuntu/ntest"

зробить трюк.

Ви дуже близькі. Вам слід скористатися -nameопцією для find. І не забудьте процитувати шаблон.

Тому

find . -maxdepth 1 -type f -name '??????????_a1ac*.jpg' |xargs mv -t "/home/ubuntu/ntest"

Не настільки "хороший", як findрішення, але іншим правильним рішенням є зробити mvкоманди більш детальними.

Це робить 4096 ходів із меншою кількістю файлів, переміщених за mvоперацію.

FILEPAT=a1ac
for i in $(seq $((0x000)) $((0xfff))); 
do 
   H=$(printf '%x\n' $i)
   mv 1559704165_${FILEPAT}${H}*.jpg /home/ubuntu/ntest
done

Якщо ви хочете переміщувати файли в одній хост-системі, що, напевно, ви робите зі своєю mv, rsyncможе бути швидшим варіантом:

rsync -av --inplace -W /source/??????????_a1ac*.jpg /home/ubuntu/ntest/

--inplaceі -Wналаштовані на пришвидшення процесу.

Якщо це призведе до занадто довгої помилки у списку аргументів, ви можете подавати списки доrsync

Складіть список, наприклад, з пошуку

find . -maxdepth 1 -type f -name '??????????_a1ac*.jpg' > /tmp/my_image_list.txt

і віддати його rsync

rsync -av --inplace -W --files-from=/tmp/my_image_list.txt /path/to/files /home/ubuntu/ntest/

Джерело тут є /path/to/files, тому що ви rsyncбудете ставитися до списку, який ви надаєте, як відносно вашого джерела.

Сенс: rsyncшвидше, ніж mvякщо файли не в одній файловій системі .