Проблеми з пам'яттю при стисненні та передачі великої кількості невеликих файлів (всього 1 ТБ)

У мене є 5 мільйонів файлів, які займають близько 1 ТБ місця для зберігання. Мені потрібно передати ці файли третій стороні.

Який найкращий спосіб зробити це? Я намагався зменшити розмір за допомогою .tar.gz, але, хоча мій комп'ютер має 8 Гб оперативної пам’яті, я отримую помилку «поза системною пам’яттю».

Чи є найкращим рішенням по пошті файли для равликів?

Додаткова інформація, надана в коментарях, показує, що ОП використовує метод GUI для створення .tar.gzфайлу.

Програмне забезпечення графічного інтерфейсу часто включає набагато більший об'єм, ніж еквівалентне програмне забезпечення еквівалентного командного рядка, або виконує додаткові непотрібні завдання заради якоїсь "додаткової" функції, наприклад панелі прогресу. Мене не здивувало б, якщо програмне забезпечення GUI намагається зібрати список усіх імен файлів у пам'яті. Це зайве для того, щоб створити архів. Спеціальні інструменти tarі gzip, безумовно, розроблені для роботи з потоковим входом і виходом, а це означає, що вони можуть мати справу з входом і виходом набагато більше, ніж пам'ять.

Якщо ви уникаєте програми GUI, ви, швидше за все, можете створити цей архів, використовуючи абсолютно звичайне повсякденне tarвиклик на зразок цього:

tar czf foo.tar.gz foo

де fooкаталог, який містить усі ваші 5 мільйонів файлів.

Інші відповіді на це запитання дають вам кілька додаткових альтернативних tarкоманд, щоб спробувати, якщо ви хочете розділити результат на кілька частин тощо.

"п'ять мільйонів" файлів і 1 ТБ загалом? Значить, ваших файлів має бути дуже мало. Я б просто спробував rsync:

rsync -alPEmivvz /source/dir remote.host.tld:/base/dir

Якщо у вас цього немає - або ваш регістр використання не дозволяє використовувати rsync, принаймні я перевіряю, чи 7zпрацює з вашими даними. Це не може, але я думаю, що все-таки варто спробувати:

7z a archive.7z /source/dir

Або якщо вам не комфортно 7zхоча б спробуйте зробити .tar.xzархів:

tar cJv archive.tar.xz /source/dir

(слід зазначити, що старіші версії tarне створюють .tar.xzархіви, але .tar.lzmaархіви при використанні Jкомутатора. Навіть більш старі версії tarне підтримують Jпрапор взагалі.)

Оскільки ви використовуєте програму GUI для створення цих файлів, я припускаю, що ви відчуваєте трохи незручності за допомогою інтерфейсу командного рядка.

Для полегшення створення, управління та вилучення архівів з інтерфейсу командного рядка є невелика утиліта, яка називається atool. Він доступний практично для кожного спільного дистрибутива, який я бачив, і працює майже в кожному архіві, який я натрапив, якщо тільки безнадійно незрозумілі.

Перевірте, чи є ваш дистрибутив atoolу своїх репортажах, або попросіть свого адміністратора встановити його, коли він знаходиться в робочому середовищі.

atool встановлює купу символьних посилань до себе, тому упаковка та розпакування стає легким вітром:

apack archive.tar.xz <files and/or directories>

Створює архів.

aunpack archive.7z

Розширює архів.

als archive.rar

Списки вмісту файлів.

Який тип архіву створюється, atoolвідрізняє це за розширенням імені файлу вашого архіву в командному рядку.

Якщо ви не зможете зробити компресію краще 25: 1, ви навряд чи отримаєте щось від стиснення цього повідомлення перед розсилкою, якщо у вас є апаратний формат стрічки, який ви можете обміняти третьою стороною.

Найбільший загальний накопичувач - це синій промінь, і він приблизно отримає 40 Гбіт. Вам знадобиться стискання ваших даних від 25 до 1, щоб вони змогли відповідати цьому. Якщо у вашої третьої сторони є лише DVD, вам потрібно 125: 1 (приблизно).

Якщо ви не можете зіставити ці номери стиснення, просто скористайтеся звичайним диском, скопіюйте та надішліть пошту третій стороні. У цьому випадку доставка щось менше, ніж 1 Тб привід, який потребує стиснення, - це божевілля.

Вам просто потрібно порівняти це із використанням ssh -C(стандартне стиснення) або бажано rsyncзі стисненням для копіювання файлів по мережі, не потрібно стискати та націлювати наперед. Переміщення через мережу 1Tb не є неможливим, але це займе певний час.

Ви вважали торент? Peer-to-Peer може бути найкращим варіантом для передачі через Інтернет:

• Принаймні так само швидко, як і інші Інтернет-передачі: швидкість завантаження визначатиме швидкість передачі
• Без корупції даних
• Виберіть файли, які потрібно передати спочатку
• Не потрібно додаткового місцевого / хмарного місця для зберігання
• Безкоштовно

Ви не сказали, яку ОС використовуєте, але оскільки ви говорите про стиснення tar.gz, я вважаю, що ви використовуєте деяку ОС, схожу на GNU / Linux. Для цього я запропоную передачу . Це програмне забезпечення з відкритим кодом, яке працює на Mac та Linux. Мені це подобається, тому що розробники докладають зусиль, щоб зробити його рідним для всіх клієнтів GUI, які вони підтримують: жодної мови на платформі немає.

Ви можете комбінувати цей метод із стисненням, проте ви втратите можливість визначати пріоритетність частин передачі.

7z мій вибір. Це дозволяє автоматично розщеплювати архіви і підтримує багатопотокове стиснення. Ні, xzні, незважаючи на те, що написано у довідці. Спробуйте:

7za a -v100m -m0=lzma2 -mx=9 -ms=on -mmt=$THREADS archive.7z directory/

Вихід розділений на 100 МБ блоків (змінити його за допомогою -vперемикача).

Єдиний реальний мінус - 7z не зберігає unix метадані (наприклад, дозволи та власник). Якщо вам це потрібно, tarвиведіть 7zaнатомість трубу (див. man 7zaКілька прикладів).

Я правою кнопкою миші натиснув папку і натиснув "створити архів" і вибрав варіант .tar.gz. Структура каталогів є глибокою, понад 500 000 каталогів

Так, удачі, щоб отримати це для упаковки. І інструмент GUI спробує зробити це на тому самому томі, що означає: а) вам потрібно ще 1 Тб вільного місця та б) голова, що зачитує один файл, і додає його до архіву, не буде надто здоровим для диска.

Я бачу дві можливості:

1) rsync зі свого комп'ютера до третьої сторони. Для того чи іншого потрібна буде глобальна IP-адреса, яка змінюється не часто. Величезне перевагу Rsync, якщо ви отримуєте перерваний за якою - небудь причини, він може забрати , де вона була перервана. Копіювання тарболу на 1 Тб або буде успішним, або невдалим

2) придбайте зовнішній накопичувач 1 Тб, скопіюйте на нього речі та доставіть накопичувач. Висока затримка, але дуже хороша пропускна здатність, коли вона надходить. Для цього використовуються різні сервіси резервного копіювання для початкового резервного копіювання.

Я пропоную вам скористатися чимось на зразок:

tar -c -L 104857600 -f file1.tar -f file2.tar -f file3.tar -f file4.tar -f file5.tar -f file6.tar -f file7.tar -f file8.tar -f file9.tar -f file10.tar 
gzip file*.tar

який створить 10 файлів, розміром яких буде не більше 100 ГБ. Але це не відповість на питання "OOM", оскільки дьоготь повинен потікати його читанням / записом, щоб вузьке вузьке місце було gzip.

Як про те, що:

find /path | tar -T - -czf - | ssh remotehost "cd /target/dir/; tar xzf -"

• find пошук списків дерева каталогів
• tar -T - читає список із stdin
• -czf -створює архів і пише в stdout, zgzips потік
• ssh remotehost увійти до віддаленого господаря за допомогою ssh
• cd /target/dir/ зміни в цільовий каталог
• tar xzf - витягнути вхідний потік зі stdin

За допомогою fexsend ви можете надіслати файли будь-якої кількості та розміру будь-якому одержувачеві на ходу, див.

http://fex.rus.uni-stuttgart.de:8080/usecases/downunder.html

Звичайно, вам потрібен сервер F * EX, але це безкоштовно:

http://fex.rus.uni-stuttgart.de:8080/