Як завантажувати великі файли в S3 на невміле з'єднання?

У мене є маса файлів (від 500 МБ до 7 ГБ), які мені потрібно завантажити у відро S3. Мій зв’язок дуже лускатий.

Я спробував завантажити файл 500 Мб через, s3cmdале він закінчився після 91% виконання (на це пішло 16 годин)

Я спробував із CyberDuck, але сталося те саме. Не вдалося після 20% або близько того, і коли я спробував повторно перенести передачу, він почався з початку. CyberDuck повинен мати підтримку з декількома частинами, але, мабуть, ні ...

Я можу розділити файли на менші файли, як це: Як я розбиваю .zip файл на кілька сегментів? , але я вважаю за краще ні, якщо це був мій єдиний варіант. Яка хороша програма, яку я можу використовувати, дозволить мені завантажувати великі файли в S3 з підтримкою відновлення?

Я щойно спробував використовувати s3tools (s3cmd-1.5.0-rc1). Отримав цю підказку з їхніх поширених запитань http://s3tools.org/kb/item13.htm . Дивись нижче.

Чи підтримує s3cmd багатозахисні завантаження?

Так, остання версія s3cmd підтримує багатозахисні завантаження Amazon S3.

Багаточастинні завантаження використовуються автоматично, коли файл для завантаження перевищує 15 Мб. У цьому випадку файл розбивається на кілька частин, кожна частина яких розміром 15 Мб (остання частина може бути меншою). Кожна частина потім завантажується окремо та реконструюється в пункті призначення, коли передача завершена.

Завдяки цій новій функції, якщо завантаження частини не вдасться, її можна перезапустити, не впливаючи на жодну з інших завантажених частин.

Є два варіанти, пов’язані з багаточастинними завантаженнями в s3cmd. Вони є:

- відключити-багаточастинні

Вимкнути багаточастинні завантаження для всіх файлів

і

--multipart-chunk-size-mb = РОЗМІР

Розмір кожного шматка завантаження з декількох частин. Файли розміром більше SIZE автоматично завантажуються як багатопотокові багатопотокові, менші файли завантажуються традиційним методом. SIZE знаходиться в мегабайтах, розмір шматка за замовчуванням - 15 МБ, мінімальний дозволений розмір - 5 МБ, максимум - 5 Гб.

Тому коли я завантажую, я вибираю найменший розмір шматка. Нижче ви побачите розділення та відновлення завантаження.

$ s3cmd put --multipart-chunk-size-mb=5 some_video.mp4 s3://some_bucket/

some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 1 of 52, 5MB]
 5242880 of 5242880   100% in  164s    31.08 kB/s  done
some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 2 of 52, 5MB]
 5242880 of 5242880   100% in  193s    26.46 kB/s  done
some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 3 of 52, 5MB]
 2023424 of 5242880    38% in  135s    14.59 kB/s^CERROR: 
some_video.mp4' part 3 failed. Use
  /usr/local/bin/s3cmd abortmp s3://some_bucket/some_video.mp4 XXX_SOME_HASH_XXX
to abort the upload, or
  /usr/local/bin/s3cmd --upload-id XXX_SOME_HASH_XXX put ...
to continue the upload.
See ya!

Тоді я поновлюсь.

/usr/local/bin/s3cmd --upload-id XXX_SOME_HASH_XXX put --multipart-chunk-size-mb=5 some_video.mp4 s3://some_bucket/

Я вірю в Cyberduck у вікні передач, ви можете клацнути правою кнопкою миші та вибрати резюме.

Якщо це не працює, Cloudberry підтримує відновлення завантажень

FileZilla Pro можна використовувати для передачі файлів у відро S3 та з нього. FileZilla Pro підтримує завантаження декількох частин, і в разі відмови відновиться передача.

Для записів він пропонує безліч інших функцій: велика підтримка файлів, масові передачі, фільтри, порівняння каталогів, віддалений пошук файлів, перетягування та конфігурація обмежень швидкості.

Я член команди FileZilla Pro.

Дізнайтеся більше на https://filezillapro.com та на https://youtube.com/c/FileZillaPro