Команда оболонки Linux для фільтрації текстового файлу за довжиною рядка

У мене є 30-футовий диск із зображенням захищеного розділу (думаю dd if=/dev/sda1 of=diskimage), з якого мені потрібно відновити деякі текстові файли. Інструменти для різьблення даних, як-от, foremostпрацюють лише у файлах із чітко визначеними заголовками, тобто не просто текстовими файлами, тому я повернувся до свого доброго друга strings.

strings diskimage > diskstrings.txt створив текстовий файл 3 Гб, що містить купу рядків, здебільшого марних речей, змішаних із текстом, який я насправді хочу.

Більшість суглобів мають тенденцію бути справді довгими, нерозривними струнами гнучкості. Мене, що мене цікавить, гарантовано менше 16 Кбіт, тому я збираюсь фільтрувати файл за довжиною рядка. Ось сценарій Python, який я використовую для цього:

infile  = open ("infile.txt" ,"r");
outfile = open ("outfile.txt","w");
for line in infile:
    if len(line) < 16384:
        outfile.write(line)
infile.close()
outfile.close()

Це працює, але для довідки в майбутньому: Чи є магічна однолінійних змови (думає awk, sed) , який буде фільтрувати файл по довжині лінії?

awk '{ if (length($0) < 16384) print }' yourfile >your_output_file.txt

буде надруковано рядки коротшими за 16 кілобайт, як у вашому власному прикладі.

Або якщо ви любите Perl:

perl -nle 'if (length($_) < 16384) { print }' yourfile >your_output_file.txt

Це схоже на відповідь Ансгара, але трохи швидше в моїх тестах:

awk 'length($0) < 16384' infile >outfile

Це така ж швидкість, як і інші відповіді awk. Він покладається на неявний printістинний вираз, але не потрібно витрачати час, щоб розділити лінію, як це робить Ансгар.

Зауважте, що AWK дає вам ifбезкоштовно. Наведена вище команда еквівалентна:

awk 'length($0) < 16384 {print}' infile >outfile

Немає явного if(або його оточуючого набору фігурних дужок), як в деяких інших відповідях.

Ось як це зробити sed:

sed '/.\{16384\}/d' infile >outfile

або:

sed -r '/.{16384}/d' infile >outfile

які видаляють будь-який рядок, що містить 16384 (або більше) символів.

Для повноти ознайомтеся з описаними нижче способами sedзбереження рядків, що перевищують поріг:

sed '/^.\{0,16383\}$/d' infile >outfile

Ви можете awk:

$ awk '{ if (length($0) < 16384) { print } }' /path/to/text/file

Це надрукує рядки довше 16 К символів (16 * 1024).

Ви також можете використовувати grep:

$ grep ".\{,16384\}" /path/to/text/file

Це надрукує рядки максимум 16 К символів.

Не дуже відрізняється від уже наданих відповідей, але все ж коротший:

awk -F '' 'NF < 16384' infile >outfile