Я намагаюся зробити кількість записів у файлі gzip 7,6 ГБ. Я знайшов кілька підходів за допомогою zcatкоманди.

$ zcat T.csv.gz | wc -l
423668947

Це працює, але це вимагає занадто багато часу (більше 10 хвилин, щоб отримати кількість рахунків). Я спробував ще кілька підходів, як

$ sed -n '$=' T.csv.gz
28173811
$ perl -lne 'END { print $. }' < T.csv.gz
28173811
$ awk 'END {print NR}' T.csv.gz
28173811

Усі три ці команди виконуються досить швидко, але дають неправильний підрахунок 28173811.

Як я можу виконати кількість записів за мінімальний час?

В sed, perlі awkкоманди , які ви згадуєте можуть бути правильними, але вони все читали стиснутий дані та рахують символи нового рядка. Ці символи нового рядка не мають нічого спільного з символами нового рядка в нестиснених даних.

Для підрахунку кількості рядків у нестиснених даних немає ніякого способу їх розпакування. Ваш підхід з zcat- це правильний підхід, і оскільки дані настільки великі, він буде час , щоб розпакувати його.

Більшість утиліт, що займаються gzipстисненням та декомпресією, швидше за все, використовуватимуть ті самі загальні бібліотечні процедури. Єдиним способом прискорити це було б знайти реалізацію zlibпроцедур, які якихось швидші за типовими, і відновити, наприклад, zcatвикористовувати їх.

Використовуйте unpigz.

Відповідь Кусалананда є правильною, вам потрібно буде зняти цей файл, щоб сканувати його вміст. /bin/gunzipробить це якомога швидше, на одному ядрі. Pigz - це паралельна реалізація, gzipяка може використовувати декілька ядер.

До жаль, декомпресія сам нормальних GZIP файлів не може бути розпаралелювання, але pigzробить пропозицію поліпшену версію gunzip, unpigz, що робить відповідну роботу , такі як читання, запис і контрольну суму в окремому потоці. У деяких швидких орієнтирах, unpigzце майже вдвічі швидше, ніж gunzipна моїй основній машині i5.

Встановіть pigzразом із вашим улюбленим менеджером пакунків і використовуйте unpigzзамість цього gunzipабо unpigz -cзамість нього zcat. Отже ваша команда стає:

$ unpigz -c T.csv.gz | wc -l

Все це передбачає, що вузьким місцем є саме процесор, а не диск, звичайно.

Проблема всіх трубопроводів полягає в тому, що ви по суті подвоюєте роботу. Незалежно від того, наскільки швидко відбувається декомпресія, дані все одно потрібно перенести на інший процес.

Perl має PerlIO :: gzip, який дозволяє читати gzipped потоки безпосередньо. Тому він може запропонувати перевагу, навіть якщо його швидкість декомпресії може не відповідати швидкості unpigz:

#!/usr/bin/env perl

use strict;
use warnings;

use autouse Carp => 'croak';
use PerlIO::gzip;

@ARGV or croak "Need filename\n";

open my $in, '<:gzip', $ARGV[0]
    or croak "Failed to open '$ARGV[0]': $!";

1 while <$in>;

print "$.\n";

close $in or croak "Failed to close '$ARGV[0]': $!";

Я спробував це з компресованим файлом у 13 Мб gzip (розпаковується до 1,4 ГБ) на старому MacBook Pro 2010 року з 16 ГБ оперативної пам’яті та старому ThinkPad T400 з 8 ГБ оперативної пам’яті з файлом, який уже знаходиться в кеші. На Mac сценарій Perl був значно швидшим, ніж використання конвеєрів (5 секунд проти 22 секунд), але в ArchLinux він втратив на розблокування:

$ time -p ./gzlc.pl spy.gz 
1154737
реальна 4,59
користувач 4.47
sys 0,01

проти

$ time -p unpigz -c spy.gz | wc -l
1154737
реально 3,68
користувач 4.10
сис 1,46

і

$ time -p zcat spy.gz | wc -l
1154737
справжній 6,41
користувач 6.08
sys 0,86

Зрозуміло, що використання тут unpigz -c file.gz | wc -lє переможцем і в швидкості. І цей простий командний рядок, безумовно, перемагає написання програми, хоч і короткої.

Відповідь Кусалананди здебільшого правильна. Для підрахунку рядків потрібно шукати нові рядки. Однак теоретично можливо шукати нові рядки без повного видалення файлу.

gzip використовує стиснення DEFLATE. DEFLATE - це комбінація кодування LZ77 та Хаффмана. Можливо, є спосіб з'ясувати просто вузол символу Хаффмана для нового рядка та проігнорувати решту. Майже напевно є спосіб шукати нові рядки, закодовані за допомогою L277, зберігати кількість байтів і ігнорувати все інше.

Таким чином, IMHO теоретично можливо придумати рішення, більш ефективне, ніж unpigz або zgrep. Це, напевно, не є практичним (якщо хтось це вже не зробив).

Це можна зробити за zgrepдопомогою -cпрапорця та $параметра.

У цьому випадку -c доручить команді вивести кількість збіжених рядків, а регулярний вираз $ збігається з кінцем рядка, щоб він відповідав кожному рядку або файлу.

zgrep -c $ T.csv.gz 

Як прокоментував @ StéphaneChazelas - zgrepце всього лише сценарій навколо zcatі grepі вона повинна забезпечувати однакову продуктивність з початковим пропозицієюzcat | wc -l

Як бачимо, більшість відповідей намагається оптимізувати, що може: кількість контекстних комутаторів та міжобробних IO. Причина в тому, що це єдине, що ви можете легко оптимізувати тут.

Тепер проблема полягає в тому, що його ресурсна потреба майже незначна до ресурсної потреби декомпресії. Ось чому оптимізація насправді не зробить нічого швидшим.

Там, де це було б дійсно прискорене, це був би модифікований алгоритм un-gzip (тобто декомпресія), який виключає фактичне виробництво декомпресованого потоку даних; швидше, він обчислює лише кількість нових рядків у декомпресованому потоці від стисненого . Це було б важко, це вимагало б глибокого знання алгоритму gzip (деяка комбінація алгоритмів стиснення LZW і Хаффмана ). Цілком ймовірно, що алгоритм не дає можливості значно оптимізувати час декомпресії за допомогою освітлення, що нам потрібно лише знати кількість нових рядків. Навіть якщо це було б можливо, по суті, слід було б розробити нову бібліотеку декомпресії gzip (вона не існує, поки не буде відомо).

Реалістична відповідь на ваше запитання полягає в тому, що ні, ви не можете зробити це значно швидше.

Можливо, ви можете використати паралельну декомпресію gzip, якщо вона існує. Він може використовувати кілька ядер CPU для декомпресії. Якщо його не існує, його можна було б розвинути відносно легко.

Для xz існує паралельний компресор (pxz).