Замініть рядок, що містить новий рядок у величезному файлі

Хтось знає про нелінійний інструмент "бінарного" пошуку / заміни рядків дещо ефективним способом пам'яті? Дивіться також це питання .

У мене є текстовий файл + 2 Гб, який я хотів би обробити аналогічно тому, як це робиться:

sed -e 's/>\n/>/g'

Це означає, що я хочу видалити всі нові рядки, що з’являються після >, але ніде більше, щоб це виключало tr -d.

Ця команда (що я отримала з відповіді на аналогічне запитання ) не вдається couldn't re-allocate memory:

sed --unbuffered ':a;N;$!ba;s/>\n/>/g'

Отже, чи існують інші методи, не вдаючись до С? Я ненавиджу перл, але я хочу зробити виняток у цьому випадку :-)

Я точно не знаю жодного символу, який не виникає в даних, тому тимчасова заміна \nіншим символом - це те, чого я хотів би уникнути, якщо це можливо.

Будь-які хороші ідеї, будь-хто?

Це справді банально в Perl, ви не повинні його ненавидіти!

perl -i.bak -pe 's/>\n/>/' file

Пояснення

• -i: відредагуйте файл на місці та створіть резервну копію оригіналу, що називається file.bak. Якщо ви не хочете робити резервну копію, просто використовуйте perl -i -peзамість цього.
• -pe: читати вхідний файл рядок за рядком та друкувати кожен рядок після застосування сценарію, заданого як -e.
• s/>\n/>/: заміна, так само sed.

І ось такий awkпідхід:

awk  '{if(/>$/){printf "%s",$0}else{print}}' file2 

perlрішення:

$ perl -pe 's/(?<=>)\n//'

Пояснення

• s/// використовується для підстановки рядків.
• (?<=>) виглядає за схемою.
• \n відповідає новому рядку.

Весь шаблон означає, що видаляє всі нові рядки, які є >до нього.

Як щодо цього:

sed ':loop
  />$/ { N
    s/\n//
    b loop
  }' file

Для GNU sed ви також можете спробувати додати параметр -u( --unbuffered) відповідно до питання. GNU sed також задоволений цим як простий однолінійний:

sed ':loop />$/ { N; s/\n//; b loop }' file

Ви повинні бути в змозі використати sedз Nкомандою, але фокус буде видалити один рядок з шаблону кожен раз, коли ви додаєте інший (так , що картина простір завжди містить тільки дві послідовні рядки, замість того , щоб намагатися читати все файл) - спробуйте

sed ':a;$!N;s/>\n/>/;P;D;ba'

EDIT: після перечитування пояснених знаменитих однолінійних підопічних Петріса Крумінса я вважаю, що кращим sedрішенням буде

sed -e :a -e '/>$/N; s/\n//; ta'

який додає наступний рядок у тому випадку, якщо він вже виконав >відповідність у кінці, і повинен умовно циклічно повертатися назад для обробки випадку послідовних відповідних ліній (це Крумін 39. Додайте рядок до наступного, якщо він закінчується зворотним косою рисою «\» саме для заміщення винятком >для \як приєднатися характер, і той факт , що приєднатися символ зберігається на виході).

sedне забезпечує способу виведення результатів без остаточного нового рядка. Ваш підхід, що використовує Nпринципово, працює, але зберігає неповні рядки в пам'яті і, таким чином, може вийти з ладу, якщо лінії стануть занадто довгими (реалізація sed зазвичай не розроблена для обробки надзвичайно довгих ліній).

Ви можете використовувати натомість awk.

awk '{if (/<$/) printf "%s", $0; else print}'

Альтернативний підхід полягає у використанні trдля заміни символу нової лінії на "нудний", часто зустрічається характер. Тут може працювати пробіл - виберіть символ, який, як правило, відображається у кожному рядку або принаймні у великій пропорції рядків у ваших даних.

tr ' \n' '\n ' | sed 's/> />/g' | tr '\n ' ' \n'

як щодо використання Ed?

ed -s test.txt <<< $'/fruits/s/apple/banana/g\nw'

(через http://wiki.bash-hackers.org/howto/edit-ed )

Я в кінцевому підсумку використовував gsar, як описано у цій відповіді так:

gsar -F '-s>:x0A' '-r>'

Є багато способів зробити це, і більшість тут справді хороші, але я вважаю, що цей мій улюблений:

tr '>\n' '\n>' | sed 's/^>*//;H;/./!d;x;y/\n>/>\n/'

Або навіть:

tr '>\n' '\n>' | sed 's/^>*//' | tr '\n>' '>\n'