Як видалити кілька нових рядків на EOF?

У мене є файли, які закінчуються в одному або декількох нових рядках і повинні закінчуватися лише в одному новому рядку. Як я можу це зробити за допомогою інструментів Bash / Unix / GNU?

Приклад неправильного файлу:

1\n
\n
2\n
\n
\n
3\n
\n
\n
\n

Приклад виправленого файлу:

1\n
\n
2\n
\n
\n
3\n

Іншими словами: Між EOF та останнім новим рядком символу файлу має бути рівно один новий рядок.

Довідкова реалізація

Прочитайте вміст файлу, відріжте один новий рядок, поки в кінці не буде більше двох нових рядків, запишіть його назад:

#! /bin/python

import sys

with open(sys.argv[1]) as infile:
    lines = infile.read()

while lines.endswith("\n\n"):
    lines = lines[:-1]

with open(sys.argv[2], 'w') as outfile:
    for line in lines:
        outfile.write(line)

Уточнення: Звичайно, трубопроводи дозволяються, якщо це більш елегантно.

awk '/^$/ {nlstack=nlstack "\n";next;} {printf "%s",nlstack; nlstack=""; print;}' file

З корисних однорядкових скриптів для sed .

# Delete all trailing blank lines at end of file (only).
sed -e :a -e '/^\n*$/{$d;N;};/\n$/ba' file

Оскільки у вас вже є відповіді з більш підходящими інструментами sed і awk; Ви можете скористатися тим, що $(< file)позбавляє проміжних порожніх рядків.

a=$(<file); printf '%s\n' "$a" > file

Цей дешевий злом не буде працювати з видаленням порожніх рядків, які можуть містити пробіли та інші символи, що не надруковані, лише для видалення порожніх рядків. Він також не працюватиме, якщо файл містить нульові байти.

У оболонках, крім bash та zsh, використовуйте $(cat file)замість $(<file).

Ви можете використовувати цей трюк за допомогою cat& printf:

$ printf '%s\n' "`cat file`"

Наприклад

$ printf '%s\n' "`cat ifile`" > ofile
$ cat -e ofile
1$
$
2$
$
$
3$

$Позначає кінець рядка.

Список літератури

• Видалення порожніх рядків

Це питання позначене редактором , але рішення ніхто не запропонував ed.

Ось один:

ed -s file <<'ED_END'
a

.
?^..*?+1,.d
w
ED_END

або, що еквівалентно,

printf '%s\n' a '' . '?^..*?+1,.d' w | ed -s file

ed розмістить вас в останньому рядку буфера редагування за замовчуванням при запуску.

Перша команда ( a) додає порожній рядок до кінця буфера (порожній рядок у сценарії редагування - це цей рядок, а крапка ( .) - лише для повернення в командний режим).

Друга команда ( ?) шукає найближчий попередній рядок, який містить щось (навіть символи пробілу), а потім видаляє все до кінця буфера з наступного рядка далі.

Третя команда ( w) записує файл назад на диск.

Доданий порожній рядок захищає решту файлу від видалення у випадку, якщо в кінці вихідного файлу немає порожніх рядків.

Ось рішення Perl, яке не потребує одночасного читання більше одного рядка в пам'яті:

my $n = 0;
while (<>) {
    if (/./) {
        print "\n" x $n, $_;
        $n = 0;
    } else {
        $n++;
    }
}

або, як однолінійний:

perl -ne 'if (/./) { print "\n" x $n, $_; $n = 0 } else { $n++ }'

Це зчитує файл у рядок за один раз і перевіряє кожен рядок, щоб побачити, чи містить він не новий рядок. Якщо цього не відбувається, він збільшує лічильник; якщо це так, він друкує кількість нових рядків, зазначених лічильником, а потім самим рядком, а потім скидає лічильник.

Технічно навіть буферизація одного рядка в пам’яті не потрібна; можна було б вирішити цю проблему, використовуючи постійний об'єм пам'яті, читаючи файл у шматки фіксованої довжини та обробляючи його символом за допомогою символу за допомогою станкової машини. Однак я підозрюю, що це було б зайвим чином для типового випадку використання.

Якщо ваш файл достатньо малий, щоб потрапити в пам'ять, ви можете використовувати це

perl -e 'local($/);$f=<>; $f=~s/\n*$/\n/;print $f;' file

У python (я знаю, що це не те, що ви хочете, але це набагато краще, оскільки він оптимізований, і прелюдія до версії bash), не переписуючи файл і не читаючи весь файл (що добре, якщо файл дуже великий):

#!/bin/python
import sys
infile = open(sys.argv[1], 'r+')
infile.seek(-1, 2)
while infile.read(1) == '\n':
  infile.seek(-2, 1)
infile.seek(1, 1)
infile.truncate()
infile.close()

Зауважте, що він не працює у файлах, де символ EOL не є \ \ n '.

Версія bash, що реалізує алгоритм python, але менш ефективна, оскільки потребує багатьох процесів:

#!/bin/bash
n=1
while test "$(tail -n $n "$1")" == ""; do
  ((n++))
done
((n--))
truncate -s $(($(stat -c "%s" "$1") - $n)) "$1"

Цей швидкий набір, і, якщо ви знаєте sed, легко запам’ятати:

tac < file | sed '/[^[:blank:]]/,$!d' | tac

Він використовує сценарій sed для видалення провідних порожніх рядків з корисних сценаріїв для одного рядка sed , на які посилається Олексій, вище та tac (зворотний кот).

У швидкому тесті на 64 Мб, 64 000 рядкових файлів, підхід Олексія був швидшим (0,036 проти 0,046 секунди).