Як швидко скопіювати 900 000 файлів?

Мені потрібно скопіювати деякі дані, що містять 900000 крихітних файлів на загальну суму близько 30 гігабайт на комп'ютер Windows. Однак його потрібно мати можливість скопіювати та налаштувати за півтори години, а копіювання з жорсткого диска USB здебільшого через шалену кількість файлів може зайняти 5+ годин. Чи є кращий / швидший спосіб впоратися з цим, наприклад, робити якесь блокове копіювання? Дякую

З великою кількістю файлів найкраще створити архів дьогтю, щоб у вас було менше файлів для роботи. Якщо ви використовуєте зовнішній жорсткий диск USB 2.0, слід поглянути на використання USB 3.0, eSATA або швидку локальну мережу.

Яка ваша ОС джерела? Якщо обидві ваші операційні системи були Linux, ви можете передавати файли через tar, gzip та ssh до цільової машини. Ви можете встановити cygwin в Windows, щоб отримати такий тип функціональності і для Windows.

Оновлення:
" Використання Tar та SSH для поліпшення швидкості SCP " описує команди, необхідні для надсилання вмісту tar через ssh.

Якщо жорсткий диск можна буде вийняти з інтерфейсу USB і на SATA / ATA, я встановив би його в призначений комп'ютер. Ви отримаєте набагато більшу швидкість передачі, як відзначили інші. Для копіювання, якщо припустити, що ви в Windows, я б зробив просту РОБОКОПІЮ. Це приблизно так швидко, як і справді можна сподіватися, хоча є й інші варіанти.

ROBOCOPY /E /B /MT 'source' 'destination'

Я б спробував уникнути стиснення всіх цих файлів, є хороший шанс, що час для стискання та переміщення перевищить просто переміщення файлів.

* Додана опція / MT для роботоскопії. Це може значно пришвидшити передачу, коли ви перебуваєте в багатопотоковому середовищі.

Ви можете спробувати сфотографувати всю папку / диск

У системах Linux можна ddотримати необроблену копію файлової системи та скопіювати її як єдиний великий файл.

Щоб витягти зображення на Windows, вам може знадобитися встановити cygwin або програму, яка здатна обробляти ddзображення.

Встановіть диск, де вихідні файли перебувають на комп'ютері, на якому ви налаштовуєте, та перенесіть диск на диск. Забудьте про USB. Навіть передача по дроту (з'єднайте машини разом) була б швидшою, ніж USB (припускаючи USB 2.0 та 1Gbps NIC). Якщо це повторювана подія, розгляньте замість цього реплікацію.

Використовувати rsyncз zопцією.

-z,         --compress              compress file data during the transfer
            --compress-level=NUM    explicitly set compression level
            --skip-compress=LIST    skip compressing files with suffix in LIST

Це збільшить швидкість передачі по мережі. Тому, напевно, не корисно у вашому випадку.

Після деякого читання я зрозумів, що ми не повинні використовувати прапор '-z' під час копіювання даних з одного локального жорсткого диска на інший, він збільшує накладні витрати. Дякуємо за коментар від @FakeName.

Ви швидко наближаєтесь до обмежень вашого жорсткого диска. Насправді, з поточними накопичувачами товарів неможливо відміряти час передачі за допомогою операції копіювання на файл.

Якщо припустимо, що для кожного файлу потрібен 1 HD час пошуку та пошуку - 7 мс (що трохи ідеалізоване, реально, кожен файл потребує двох пошуків, якщо рама томів не кешується в операційній пам’яті), у кращому випадку ви керуєте ~ 142 файлами / сек ( \ $ \ frac {1000} {7} = 142,8 ... \ $).

З специфікаціями OP (30 ГБ, 900 000 файлів), що становить ~ 33 Кб на файл (\ $ \ frac {30,000,000k} {900,000} = ~ 33,3 ... \ $. 33 КБ * 142 = 4,68 Мбіт / с.

Мінімальна час для передачі 30 ГБ на 5 Мбайт, становить ~ 1 годину, 40 хвилин (\ $ \ гідророзриву {30000} {5} = = 6000 \ $ секунд. \ $ \ Гідророзриву {6000} {60} = 100 \ $ хвилин або 1:40 години)

Тому досягти швидкості кращої, ніж ~ 5 Мбіт / с, неможливо , і це з ідеальним приводом (і менше операцій пошуку. Це за один пошук на файл. Реально це було б дві). Ви повністю обмежені продуктивністю диска.

Єдиний спосіб покращити продуктивність, то це копіювати всю файлову систему та розділ послідовно. ddможе це зробити на Linux.

Що ти намагаєшся зробити?

Спробуйте 7zip, щоб архівувати файли лише в один файл. Якщо можливо, використовуйте WLAN з приєднанням до ноутбука.

Пов’язана з відповіддю @arcyqwery, можливо, ви зможете її стиснути і одночасно перетворити в один великий файл. Це дещо прискорить процес.

Можливо, варто також використовувати таку програму, як TeraCopy , оскільки вона зазвичай швидша, ніж продуктивність копіювання Windows за замовчуванням. Ви повинні перевірити, чи немає у вашому випадку подібних обставин, щоб перевірити.

У мене був подібний випадок. Я вимкнув Антивірус, швидкість копіювання змінилася з 3 Мб / с на 12 МБ / с.