Як tar.gz багато файлів подібного розміру в декілька архівів з обмеженням розміру

Я на Ubuntu 16.04.

У мене папка з великою кількістю текстових файлів (майже 12 к). Мені потрібно завантажити їх усіх на веб-сайт, який приймає .tar.gzзавантаження, а потім автоматично розпаковує їх, але має обмеження в 10 МБ (10000 КБ) на файл (тому, зокрема, кожен файл повинен бути декомпресований самостійно). Якщо у мене tar.gzвсі ці файли, то отриманий файл становить приблизно 72 Мб.

Що я хотів би зробити, це створити вісім .tar.gzфайлів, кожен розмір / розмір (суворо) менше 10000 КБ.

Як варіант, можна припустити, що всі вищезазначені файли мають приблизно однаковий розмір, тому я хотів би створити вісім .tar.gzфайлів з більш-менш однаковим розміром файлів кожен.

Як я можу виконати будь-яке з цих двох завдань?

Мені ідеально підходить рішення, яке передбачає графічний інтерфейс, CLI або сценарій. Я не шукаю тут швидкості, я просто потребую цього зробити.

Повністю печворк та швидкий, грубий ескіз, як це є, але протестований у каталозі з 3000 файлами, сценарій нижче зробив надзвичайно швидку роботу:

#!/usr/bin/env python3
import subprocess
import os
import sys

splitinto = 2

dr = sys.argv[1]
os.chdir(dr)

files = os.listdir(dr)
n_files = len(files)
size = n_files // splitinto

def compress(tar, files):
    command = ["tar", "-zcvf", "tarfile" + str(tar) + ".tar.gz", "-T", "-", "--null"]
    proc = subprocess.Popen(command, stdin=subprocess.PIPE)
    with proc:
        proc.stdin.write(b'\0'.join(map(str.encode, files)))
        proc.stdin.write(b'\0')
    if proc.returncode:
        sys.exit(proc.returncode)

sub = []; tar = 1
for f in files:
    sub.append(f)
    if len(sub) == size:
        compress(tar, sub)
        sub = []; tar += 1

if sub:
    # taking care of left
    compress(tar, sub)

Як використовувати

• Збережіть його у порожній файл як compress_split.py
• У головному розділі встановіть кількість файлів для стискання. На практиці завжди знайдеться ще один, щоб подбати про решту кількох "лівих кадрів".

• Запустіть його в каталозі з файлами як аргумент:

  python3 /path/tocompress_split.py /directory/with/files/tocompress

нумеровані .tar.gzфайли будуть створені в тому самому каталозі, де і файли.

Пояснення

Сценарій:

• перераховує всі файли в каталозі
• CD в ​​каталог, щоб не додати інформацію про шлях до файлу tar
• читає список файлів, групуючи їх за заданим поділом
• стискає підгрупу (групи) до нумерованих файлів

EDIT

Автоматично створювати шматки за розміром в mb

Більш складним є використання максимального розміру (в mb) фрагментів як (другого) аргументу. У нижченаведеному сценарії шматки записуються в стислий файл, як тільки шматок досягає (переходить) поріг.

Оскільки сценарій спрацьовує шматки, перевищуючи поріг, це буде працювати лише в тому випадку, якщо розмір (усіх) файлів істотно менший за розмір фрагмента.

Сценарій:

#!/usr/bin/env python3
import subprocess
import os
import sys

dr = sys.argv[1]
chunksize = float(sys.argv[2])
os.chdir(dr)

files = os.listdir(dr)
n_files = len(files)

def compress(tar, files):
    command = ["tar", "-zcvf", "tarfile" + str(tar) + ".tar.gz", "-T", "-", "--null"]
    proc = subprocess.Popen(command, stdin=subprocess.PIPE)
    with proc:
        proc.stdin.write(b'\0'.join(map(str.encode, files)))
        proc.stdin.write(b'\0')
    if proc.returncode:
        sys.exit(proc.returncode)

sub = []; tar = 1; subsize = 0
for f in files:
    sub.append(f)
    subsize = subsize + (os.path.getsize(f)/1000000)
    if subsize >= chunksize:
        compress(tar, sub)
        sub = []; tar += 1; subsize = 0

if sub:
    # taking care of left
    compress(tar, sub)

Бігти:

python3 /path/tocompress_split.py /directory/with/files/tocompress chunksize

... де chunksize - розмір вводу для команди tar.

У цьому включені запропоновані удосконалення від @DavidFoerster. Спасибі велике !

Чистий підхід:

files=(*); 
num=$((${#files[@]}/8));
k=1
for ((i=0; i<${#files[@]}; i+=$num)); do 
    tar cvzf files$k.tgz -- "${files[@]:$i:$num}"
    ((k++))
done

Пояснення

• files=(*): збережіть список файлів (також каталогі, якщо такі є, змінити, files=(*.txt)щоб отримати лише речі з txtрозширенням) у масиві $files.
• num=$((${#files[@]}/8));: ${#files[@]}- кількість елементів у масиві $files. $(( ))Є в Bash (обмежений) способом виконання арифметичних дій . Отже, ця команда встановлює $numкількість файлів, розділених на 8.
• k=1 : просто лічильник для назви тарболів.
• for ((i=0; i<${#files[@]}; i+=$num)); do: ітерація над значеннями масиву. $iініціалізується на 0(перший елемент масиву) та збільшується на $num. Це триває, поки ми не переглянемо всі елементи (файли).
• tar cvzf files$i.tgz -- ${files[@]:$i:$num}: у bash ви можете отримати фрагмент масиву (частина масиву), використовуючи ${array[@]:start:length}, тому ${array[@]:2:3}поверне три елементи, починаючи з другого. Тут ми беремо фрагмент, який починається з поточного значення $iта є $numелементами довгими. --Потрібно в разі , якщо якийсь - небудь з ваших імен файлів може починатися з -.
• ((k++)) : приріст $k