Як розділити файл і стиснути безпосередньо?

13

У мене є файл 100 ГБ, і я хочу розділити його на 100 файлів по 1 ГБ кожен (за розривом рядка)

напр

split --bytes=1024M /path/to/input /path/to/output

Для 100 створених файлів я хочу застосувати gzip / zip до кожного з цих файлів.

Чи можливо використовувати одну команду?

— Райан
джерело

2

Використовуйте до 1 Гб на файл (менше, якщо наступний рядок помістить його) --line-bytes=1024M.

— Брайан

31

Використовуйте "--filter":

split --bytes=1024M --filter='gzip > $FILE.gz' /path/to/input /path/to/output

— Петро
джерело

це не працює для мене, продовжує перезаписувати той самий файл, що і $ FILE не визначено, і навіть не записується в папку des.

— splaisan

моя помилка, потрібні одиничні лапки, щоб замінити $ FILE, моя велика помилка, вибачення і дякую за допомогу: ця остаточна команда працювала для мене, щоб зберегти дані fastq, що надходять у блоки з 4 рядків: 'zcat ERR3152365.fastq.gz | split -a 3 -d -l 1200000 - числові суфікси --filter = 'pigz -p 8> $ FILE.fq.gz' - спліт / part_ '

— splaisan

0

Однолінійний човен, що використовує умовний, наближається як можна ближче.

cd /path/to/output && split --bytes=1024M /path/to/input/filename && gzip x*

gzipбуде працювати тільки якщо splitуспішно з - за умовні , &&яка також між cdі splitпереконавшись , що cdє успішним, теж .. Зверніть увагу , що splitі gzipвихід в поточний каталог , замість того, можливість вказати вихідний каталог. Ви можете скласти каталог, якщо потрібно:

mkdir -p /path/to/output && cd /path/to/output && split --bytes=1024M /path/to/input/filename && gzip x*

Щоб все це зробити разом:

gunzip /path/to/files/x* && cat /path/to/files/x* > /path/to/dest/filename

— Призупинено до подальшого повідомлення.
джерело

0

Використання цієї команди з -dопцією дозволяє генерувати числові суфікси.

split -d -b 2048m "myDump.dmp" "myDump.dmp.part-" && gzip myDump.dmp.part*

Файли створені:

    myDump.dmp.part-00
    myDump.dmp.part-01
    myDump.dmp.part-02
    ...

— Іван
джерело

0

Баш-функція для стиснення на льоту зі свинею

function splitreads(){

# add this function to your .bashrc or alike
# split large compressed read files into chunks of fixed size
# suffix is a three digit counter starting with 000
# take compressed input and compress output with pigz
# keeps the read-in-pair suffix in outputs
# requires pigz installed or modification to use gzip

usage="# splitreads <reads.fastq.gz> <reads per chunk; default 10000000>\n";
    if [ $# -lt 1 ]; then
        echo;
        echo ${usage};
        return;
    fi;

# threads for pigz (adapt to your needs)
thr=8

input=$1

# extract prefix and read number in pair
# this code is adapted to paired reads
base=$(basename ${input%.f*.gz})
pref=$(basename ${input%_?.f*.gz})
readn="${base#"${base%%_*}"}"

# 10M reads (4 lines each)
binsize=$((${2:-10000000}*4))

# split in bins of ${binsize}
echo "# splitting ${input} in chuncks of $((${binsize}/4)) reads"

cmd="zcat ${input} \
  | split \
    -a 3 \
    -d \
    -l ${binsize} \
    --numeric-suffixes \
    --additional-suffix ${readn} \
    --filter='pigz -p ${thr} > \$FILE.fq.gz' \
    - ${pref}_"

echo "# ${cmd}"
eval ${cmd}
}

— плескатий
джерело