Який найшвидший спосіб перемістити мільйон зображень з одного каталогу в інший в Linux?

У мене мільйон зображень, що займають 30 Гб місця на диску, які потрібно перемістити з одного локального каталогу в інший локальний каталог.

Який був би найефективніший спосіб зробити це? Використовуючи mv? Використовуючи cp? Використовуючи rsync? Щось ще?

Мені потрібно взяти такі:

/path/to/old-img-dir/*
                     00000000.jpg
                     --------.jpg  ## nearly 1M of them! ##
                     ZZZZZZZZ.jpg

і перемістіть їх сюди:

/path/to/new/img/dir/

rsync було б поганим вибором, оскільки це робить багато клієнтських / серверних фонових робіт, які припадають на локальні та віддалені системи.

mvце, мабуть, найкращий вибір. Якщо можливо, вам слід спробувати, mv directory_old directory_newа не mv directory_old/* directory_new/. Таким чином ви пересуваєте одне, а не мільйон речей.

find src_image_dir/ -type f -name '*.jpg' -print0 | xargs -0r mv -t dst_image_dir/ 

• Це не переповнить розширення аргументів.
• Ви можете вказати розширення файлу, якщо ви хочете. (-імен ...)
• find -print0з xargs -0дозволяє використовувати пробіли в іменах.
• xargs -rне запуститься, mvякщо щось не буде переміщено. ( mvПоскаржиться, якщо не вказано вихідні файли).
• Синтаксис mv -tдозволяє вказати спочатку призначення, а потім вихідні файли, необхідні xargs.
• Переміщення всього каталогу, звичайно, набагато швидше, оскільки відбувається за постійний час незалежно від кількості файлів, що містяться в ньому, але:
  • вихідний каталог зникне на деякий час, і це може створити вам проблеми;
  • якщо процес використовує поточний каталог як вихідний каталог (на відміну від завжди посилається на повний шлях з місця, що не рухається), вам доведеться повторно запустити його. (як ви робите з обертанням журналу ).

До речі, я б запитав себе, чи дійсно мені потрібно переміщати одразу таку велику кількість файлів. Пакетна обробка завищена. Я намагаюся не накопичувати величезну кількість роботи, якщо можу обробляти речі в момент, коли вони генеруються.

Якщо два каталоги перебувають у одній файловій системі, використовуйте mvDIRECTORY, а не вміст каталогу.

Якщо вони розташовані у двох різних файлових системах, використовуйте rsync:

rsync -av /source/directory/ /destination

Зауважте, що йде /на джерело. Це означає, що він буде копіювати вміст каталогу, а не сам каталог. Якщо ви залишите /вимкнений, він все одно буде копіювати файли, але вони будуть знаходитись у каталозі з назвою /destination/directory. З файлами /, файли будуть просто в/destination

rsyncзберігатиме право власності на файл, якщо ви запускаєте його як root або якщо вони належать вам. Він також підтримуватиме mtimeкожен окремий файл.

tar cf - dir1 | (cd dir2; tar xf -)

tar cf - dir1 | ssh remote_host "( cd /path/to/dir2; tar xf - )"

Коли ви використовуєте 'cp', кожен файл робить відкрите читання-закриття-відкриття-запис-закриття. Тар використовує різні процеси для читання і запису, а також кілька протекторів для роботи над кількома файлами одночасно. Навіть на одній коробці процесора багатопотокові програми швидші.

Оскільки і каталог_old, і каталог_new знаходяться в одній файловій системі, яку ви можете використовувати cp -lзамість mvопції. cp -lстворить жорсткі посилання на вихідні файли. Коли ви закінчите з "переміщенням" і ви задоволені результатом, ви можете видалити ці файли з каталогу_old. з точки зору швидкості вона буде такою ж, як "mv", коли ви спочатку створюєте посилання, а потім видаляєте оригінальні. Але такий підхід дозволяє вам почати спочатку, якщо це має сенс

Це залежить (тм). Якщо ваша файлова система копіюється під час запису, копія ( cpабо rsync, наприклад) повинна бути порівнянна з переходом. Але в більшості поширених випадків переміщення ( mv) буде найшвидшим, оскільки воно може просто перемикати фрагменти даних, які описують, де розміщується файл (зверніть увагу: це надто спрощено).

Отже, на вашій середній установці Linux я б зайнявся mv.

EDIT: @ Frédéric Hamidi має хорошу думку в коментарях: Це справедливо лише в тому випадку, якщо вони знаходяться в одній файловій системі та на диску. Інакше дані все одно будуть скопійовані.

Щоб скопіювати принаймні ~ 10k файлів (без каталогів), cp скаржився на:

не вдається виконати / bin / cp: список аргументів занадто довгий

Найкращий варіант - Rsync:

rsync джерело цілі

І це було зроблено дуже швидко!

Якщо у вас є вільний простір, архівуйте їх в один .tar файл (без швидкого стиснення), а потім перемістіть цей файл і скасуйте його.

Характер пункту призначення визначав би найбільш ефективний спосіб виконання цього завдання. Давайте припустимо , що ви на локальну систему, ваше PWDце /прямо зараз. і /aмістить мільйони зображень. Наше завдання - перемістити всі зображення до /b, зберігаючи всю структуру підкаталогу. Давайте також припускаємо /aі /bє точками кріплення для двох різних розділів, кожен на локально підключеному диску. Ми хотіли б виконати це завдання за допомогою брезенту. Це може зайняти деякий час, тому переконайтеся , що ви використовуєте screen, tmuxабо ви виконуєте це як фоновий процес.

tar -C /a -cf . | tar -C /b -xf -

Це буде копіювати всі файли і каталоги в /aдо /b, так що тепер вам потрібно очистити , /aяк тільки ви переконаєтеся , що він виконаний без помилок.