Як я можу замінити новий рядок (" \n") пробілом (" ") за допомогою sedкоманди?

Я безуспішно намагався:

sed 's#\n# #g' file
sed 's#^$# #g' file

Як це виправити?

Використовуйте це рішення з GNU sed:

sed ':a;N;$!ba;s/\n/ /g' file

Це прочитає весь файл у циклі, а потім замінить новий рядок (-і) пробілом.

Пояснення:

1. Створіть ярлик через :a.
2. Додайте поточний та наступний рядок до простору шаблону через N.
3. Якщо ми перебуваємо перед останнім рядком, відгалужуємо до створеної мітки $!ba( $!означає не робити цього на останньому рядку, оскільки має бути один остаточний новий рядок)
4. Нарешті, заміна замінює кожен новий рядок пробілом на просторі шаблону (який є всім файлом).

Ось сумісний міжплатформовий синтаксис, який працює з BSD та OS X sed(відповідно до коментаря @Benjie ):

sed -e ':a' -e 'N' -e '$!ba' -e 's/\n/ /g' file

Як бачите, використовувати sedдля цього інакше просту проблему проблематично. Для більш простого та адекватного рішення дивіться цю відповідь .

sedпризначений для використання на лінійному вході. Хоча він може робити все, що потрібно.

Кращим варіантом тут є використання trкоманди наступним чином:

tr '\n' ' ' < input_filename

або видалити символи нового рядка повністю:

tr -d '\n' < input.txt > output.txt

або якщо у вас версія GNU (з її довгими параметрами)

tr --delete '\n' < input.txt > output.txt

Швидка відповідь

sed ':a;N;$!ba;s/\n/ /g' file

1. : a створити мітку "a"
2. N додайте наступний рядок до простору візерунка
3. $! якщо не останній рядок , ба гілка (перейти до) мітка "a"
4. s заміну , / \ n / regex для нового рядка , / / пробілом , / g глобальної відповідності (стільки разів)

sed буде перебирати кроки від 1 до 3, поки не досягне останнього рядка, отримуючи всі рядки, що вміщуються у просторі шаблону, де sed замінить усі \ n символи

Альтернативи

Усім альтернативам, на відміну від sed , не потрібно буде доходити до останнього рядка, щоб розпочати процес

з баш , повільно

while read line; do printf "%s" "$line "; done < file

з перл , швидкістю сед- подібної швидкості

perl -p -e 's/\n/ /' file

з tr , швидше, ніж sed , може замінюватися лише одним символом

tr '\n' ' ' < file

з пастою , три- подібною швидкістю, може замінити лише один символ

paste -s -d ' ' file

з awk , tr- подібною швидкістю

awk 1 ORS=' ' file

Інша альтернатива, наприклад "echo $ (<файл)" повільна, працює лише на невеликих файлах і для початку процесу потрібно обробити весь файл.

Довга відповідь від sed FAQ FAQ 5.10

5.10. Чому я не можу зіставити чи видалити новий рядок, використовуючи \ n
послідовність переходу? Чому я не можу зіставити 2 або більше рядків за допомогою \ n?

\ N ніколи не буде відповідати новому рядку в кінці рядка, тому що
новий рядок завжди знімається перед тим, як рядок розміщується в
просторі шаблону. Щоб отримати 2 або більше рядків у просторі шаблону, використовуйте
команду 'N' або щось подібне (наприклад, 'H; ...; g;').

Sed працює так: sed читає по черзі один рядок, відсікає
закінчуючий новий рядок, вкладає те, що залишилося, в простір шаблону, де
сценарій sed може адресувати його або змінювати, а коли
друкується пробіл шаблону , додає новий строк до stdout (або у файл). Якщо
простір шаблону повністю або частково видалено з 'd' або 'D',
новий рядок у таких випадках не додається. Таким чином, сценарії подобаються

  sed 's/\n//' file       # to delete newlines from each line             
  sed 's/\n/foo\n/' file  # to add a word to the end of each line         

НІКОЛИ не працюватиме, тому що попередня лінія буде видалена перед тим,
як лінія буде розміщена у просторі шаблону. Для виконання вищезазначених завдань
замість цього скористайтеся одним із цих сценаріїв:

  tr -d '\n' < file              # use tr to delete newlines              
  sed ':a;N;$!ba;s/\n//g' file   # GNU sed to delete newlines             
  sed 's/$/ foo/' file           # add "foo" to end of each line          

Оскільки версії sed, крім GNU sed, мають обмеження розміру
буфера шаблону, тут слід віддати перевагу утиліті 'tr' Unix.
Якщо останній рядок файлу містить новий рядок, GNU sed додасть
цей новий рядок до виводу, але видалить усі інші, тоді як tr
видалить усі нові рядки.

Для відповідності блоку з двох або більше рядків є 3 основні варіанти:
(1) використовуйте команду 'N', щоб додати наступний рядок до простору шаблону;
(2) використовуйте команду 'H' щонайменше двічі, щоб додати поточний рядок
до місця утримування, а потім отримайте лінії з простору утримування за
допомогою x, g або G; або (3) використовувати діапазони адрес (див. розділ 3.3 вище)
для узгодження рядків між двома вказаними адресами.

Вибори (1) та (2)
помістять \ n у простір шаблону, де воно може бути адресоване за бажанням ('s / ABC \ nXYZ / alphabet / g'). Один приклад
використання "N" для видалення блоку рядків відображається в розділі 4.13
("Як видалити блок певних послідовних рядків?"). Цей
приклад можна змінити, змінивши команду delete на щось
інше, наприклад, "p" (друк), "i" (вставити), "c" (змінити), "a" (додати)
або "s" (замінити) .

Вибір (3) не покладе \ п в просторі картини, але це дійсно
відповідає блок послідовних ліній, так що це може бути , що ви не
навіть потребуєте \ п , щоб знайти те , що ви шукаєте. Оскільки GNU sed
версія 3.02.80 тепер підтримує цей синтаксис:

  sed '/start/,+4d'  # to delete "start" plus the next 4 lines,           

крім традиційних
адрес діапазону '/ звідси /, / туди / {...}' , можливо, уникнути використання \ n цілком.

Коротша альтернатива awk:

awk 1 ORS=' '

Пояснення

Програма awk складається з правил, які складаються з умовних блоків коду, тобто:

condition { code-block }

Якщо код-блок опущений, то за умовчанням використовується: { print $0 }. Таким чином, 1інтерпретується як справжня умова і print $0виконується для кожного рядка.

Коли awkзчитується вхід, він розбиває його на записи на основі значення RS(Separator Record), яке за замовчуванням є новим рядком, таким чином awk, за замовчуванням буде проаналізовано рядок введення. Розщеплення також включає вилучення RSз вхідного запису.

Тепер, коли друкується запис, ORSдо нього додається (Output Record Separator), за замовчуванням знову є новий рядок. Отже, змінюючи ORSпробіл, всі нові рядки змінюються на пробіли.

gnu sed має опцію -zдля розділених на нуль записів (рядків). Ви можете просто зателефонувати:

sed -z 's/\n/ /g'

Версія Perl працює так, як ви очікували.

perl -i -p -e 's/\n//' file

Як зазначалося в коментарях, варто зазначити, що це редагується на місці. -i.bakдасть вам резервну копію вихідного файлу до заміни, якщо ваш регулярний вираз не такий розумний, як ви думали.

Кому потрібно sed? Ось такий bashспосіб:

cat test.txt |  while read line; do echo -n "$line "; done

Для того, щоб замінити всі нові рядки пробілами за допомогою awk, не читаючи весь файл у пам'яті:

awk '{printf "%s ", $0}' inputfile

Якщо ви хочете остаточний новий рядок:

awk '{printf "%s ", $0} END {printf "\n"}' inputfile

Ви можете використовувати символ, що не пробіл:

awk '{printf "%s|", $0} END {printf "\n"}' inputfile

tr '\n' ' ' 

це команда.

Простий і простий у використанні.

Три речі.

1. tr(або catтощо) абсолютно не потрібні. (GNU) sedта (GNU) awkпри їх поєднанні можуть виконати 99,9% будь-якої необхідної для обробки тексту.

2. stream! = на основі рядка. ed- це редактор на основі рядків. sedне. Для отримання додаткової інформації про різницю див. Лекцію sed . Більшість людей плутають sedлінію на основі рядків, тому що вона за замовчуванням не дуже жадібна у своїй відповідності шаблону для SIMPLE відповідностей - наприклад, під час пошуку та заміни шаблону одним або двома символами він за замовчуванням замінює лише перший матч він знаходить (якщо інше не вказано глобальною командою). Навіть не було б глобальної команди, якби вона була на основі рядків, а не на основі STREAM, оскільки вона одночасно оцінювала б лише рядки. Спробуйте бігти ed; ви помітите різницю. edдосить корисно, якщо ви хочете переглядати певні лінії (наприклад, у циклі for), але більшість випадків ви просто захочете sed.

3. Це сумно,

   sed -e '{:q;N;s/\n/ /g;t q}' file
   

   добре працює у sedверсії 4.2.1 GNU . Наведена вище команда замінить усі нові рядки пробілами. Це некрасиво і трохи громіздко вводити, але це працює чудово. Це {}може бути залишене, оскільки вони включені лише з міркувань безпеки.

Відповідь: етикетка ...

Як можна замінити новий рядок (\ n) за допомогою sed?

... не працює у freebsd 7.2 у командному рядку:

(відлуння; echo bar) | sed ': a; N; $! ba; s / \ n / / g'
sed: 1: ": a; N; $! ba; s / \ n / / g": невикористана мітка 'a; N; $! ba; s / \ n / / g'
foo
бар

Але якщо ви помістите скрипт sed у файл або використовуєте -e для "побудови" сценарію sed ...

> (echo foo; ехо-бар) | sed -e: a -e N -e '$! ba' -e 's / \ n / / g'
foo bar

або ...

> cat > x.sed << eof
:a
N
$!ba
s/\n/ /g
eof

> (echo foo; echo bar) | sed -f x.sed
foo bar

Можливо sed в OS X схожий.

Легке для розуміння рішення

У мене була ця проблема. Моторошкою було те, що мені потрібно було вирішити роботу над BSD (Mac OS X) та GNU (Linux та Cygwin ) sedта tr:

$ echo 'foo
bar
baz


foo2
bar2
baz2' \
| tr '\n' '\000' \
| sed 's:\x00\x00.*:\n:g' \
| tr '\000' '\n'

Вихід:

foo
bar
baz

(має зворотний рядок)

Він працює в Linux, OS X і BSD - навіть без підтримки UTF-8 або з хитрим терміналом.

1. Використовуйте trдля заміни нового рядка іншим символом.

   NULL( \000або \x00) приємно, оскільки йому не потрібна підтримка UTF-8, і він, ймовірно, не буде використаний.

2. Використовуйте sedдля відповідностіNULL

3. Використовуйте trдля заміни додаткових нових рядків, якщо вони потрібні

Ви можете використовувати xargs :

seq 10 | xargs

або

seq 10 | xargs echo -n

Я не експерт, але, мабуть, sedвам спочатку потрібно додати наступний рядок у простір шаблону, bij, використовуючи " N". З розділу "Простір багатолінійного шаблону" в "Розширені команди sed" книги книги sed & awk (Дейл Даггерті та Арнольд Роббінс; О'Рейлі, 1997; стор. 107 в попередньому перегляді ):

Команда Multiline Next (N) створює багаторядковий простір шаблону, читаючи новий рядок введення та додаючи його до вмісту простору шаблону. Початковий вміст простору шаблону та новий рядок введення розділені новим рядком. Вбудований символ нового рядка може бути узгоджений у шаблонах послідовністю виходу "\ n". У просторі з мультилінійним шаблоном метахарактер "^" відповідає першому символу простору шаблону, а не символу (ів) після будь-яких вбудованих нових рядків. Аналогічно, "$" відповідає лише остаточному новому рядку в просторі шаблону, а не будь-якому вбудованому новому рядку. Після виконання команди Next керування передається наступним командам у сценарії.

Від man sed:

[2ддр] N

Додайте наступний рядок вводу до простору шаблону, використовуючи вбудований символ нового рядка, щоб відокремити доданий матеріал від оригінального вмісту. Зауважте, що номер поточного рядка змінюється.

Я використовував це для пошуку (декількох) неправильно відформатованих файлів журналів, у яких рядок пошуку може бути знайдено у наступному рядку "осиротілим".

Я використовував гібридний підхід, щоб обійти річ нового рядка, використовуючи tr для заміни нових рядків на вкладки, а потім замінивши вкладки на те, що я хочу. У цьому випадку "
", оскільки я намагаюся генерувати HTML-перерви.

echo -e "a\nb\nc\n" |tr '\n' '\t' | sed 's/\t/ <br> /g'`

У відповідь на рішення "tr" вище, в Windows (можливо, використовуючи версію Gnuwin32 tr), запропоноване рішення:

tr '\n' ' ' < input

не працював для мене, він або помилився, або фактично замінив \ nw / '' чомусь.

Використовуючи ще одну функцію tr, параметр "delete" -d працював, хоча:

tr -d '\n' < input

або '\ r \ n' замість '\ n'

Куленебезпечне рішення. Бінарні дані безпечні та POSIX-сумісні, але повільні.

POSIX sed вимагає введення відповідно до текстового файлу POSIX та рядка POSIX визначення , тому NULL-байти та занадто довгі рядки заборонені, і кожен рядок повинен закінчуватися новим рядком (включаючи останній рядок). Це ускладнює використання sed для обробки довільних вхідних даних.

Наступне рішення уникає sed і замість цього перетворює вхідні байти в восьмеричні коди, а потім знову в байти, але перехоплює восьмеричний код 012 (новий рядок) і виводить замість нього рядок заміни. Наскільки я можу сказати, рішення сумісне з POSIX, тому воно повинно працювати на різних платформах.

od -A n -t o1 -v | tr ' \t' '\n\n' | grep . |
  while read x; do [ "0$x" -eq 012 ] && printf '<br>\n' || printf "\\$x"; done

Довідкова документація POSIX: sh , мова командної оболонки , od , tr , grep , read , [ , printf .

І те read, [і printfвбудовані принаймні в баш, але це, можливо, не гарантується POSIX, тому на деяких платформах може бути так, що кожен вхідний байт запустить один або кілька нових процесів, що сповільнить роботу. Навіть у bash це рішення досягає лише 50 кБ / с, тому воно не підходить для великих файлів.

Тестовано на Ubuntu (bash, dash і busybox), FreeBSD та OpenBSD.

У деяких ситуаціях, можливо, ви можете перейти RSна інший рядок або символ. Таким чином, \ n доступний для sub / gsub:

$ gawk 'BEGIN {RS="dn" } {gsub("\n"," ") ;print $0 }' file

Сила сценаріїв оболонок полягає в тому, що якщо ви не знаєте, як це зробити одним способом, ви можете зробити це іншим способом. І багато разів вам доводиться брати до уваги більше речей, ніж складати комплексне рішення простої проблеми.

Щодо того, що gawk повільний ... і читає файл в пам'ять, я цього не знаю, але мені гаук здається, що працює з одним рядком одночасно і дуже швидко (не такий швидкий, як деякі інші , але час для написання та тестування також рахується).

Я обробляю МБ і навіть ГБ даних, і єдине знайдене нами обмеження - це розмір рядка.

Якщо вам не шкода, що вам доведеться мати справу з закінченнями рядків Windows, вам потрібно видалити \rі\n

tr '[\r\n]' ' ' < $input > $output

Ви можете використовувати xargs- він замінить \nпробіл за замовчуванням.

Однак це матиме проблеми, якщо у вашому вкладі є будь-які випадки unterminated quote, наприклад, якщо лапки в заданому рядку не збігаються.

Знаходить і замінює за допомогою дозволу \ n

sed -ie -z 's/Marker\n/# Marker Comment\nMarker\n/g' myfile.txt

Маркер

Стає

# Коментар маркера

Маркер

Чому я не знайшов просте рішення awk?

awk '{printf $0}' file

printf буде надрукувати кожен рядок без нових рядків, якщо ви хочете відокремити початкові рядки пробілом чи іншим:

awk '{printf $0 " "}' file

На Mac OS X (використовуючи FreeBSD sed):

# replace each newline with a space
printf "a\nb\nc\nd\ne\nf" | sed -E -e :a -e '$!N; s/\n/ /g; ta'
printf "a\nb\nc\nd\ne\nf" | sed -E -e :a -e '$!N; s/\n/ /g' -e ta

Щоб видалити порожні рядки:

sed -n "s/^$//;t;p;"

Використання Awk:

awk "BEGIN { o=\"\" }  { o=o \" \" \$0 }  END { print o; }"

Особливо мені подобається рішення - додати весь файл у просторі утримування та замінити всі нові рядки в кінці файлу:

$ (echo foo; echo bar) | sed -n 'H;${x;s/\n//g;p;}'
foobar

Однак хтось сказав, що простір утримування може бути обмеженим у деяких реалізаціях sed.

Замініть нові рядки будь-якими рядками та замініть останній новий рядок теж

Чисті trрішення можуть замінити лише один символ, а чисті sedрішення не замінюють останній новий рядок вводу. Наступне рішення виправляє ці проблеми і, здається, є безпечним для двійкових даних (навіть з локальною локальністю UTF-8):

printf '1\n2\n3\n' |
  sed 's/%/%p/g;s/@/%a/g' | tr '\n' @ | sed 's/@/<br>/g;s/%a/@/g;s/%p/%/g'

Результат:

1<br>2<br>3<br>

Саме sed вводить нові рядки після "нормальної" заміни. Спочатку вона обрізає новий рядок char, потім обробляє згідно з вашими вказівками, потім вводить новий рядок.

Використовуючи sed, ви можете замінити "кінець" рядка (а не знаку нового рядка) після їх обрізки рядком на ваш вибір для кожного вхідного рядка; але, sed виведе різні рядки. Наприклад, припустимо, що ви хотіли замінити "кінець рядка" на "===" (більш загальне, ніж заміна одним пробілом):

PROMPT~$ cat <<EOF |sed 's/$/===/g'
first line
second line
3rd line
EOF

first line===
second line===
3rd line===
PROMPT~$

Щоб замінити новий рядок char на рядок, ви можете, неефективно, використовувати tr , як було зазначено раніше, замінити символи нового рядка на "спеціальний знак", а потім використовувати sed щоб замінити цей спеціальний char на потрібну рядок .

Наприклад:

PROMPT~$ cat <<EOF | tr '\n' $'\x01'|sed -e 's/\x01/===/g'
first line
second line
3rd line
EOF

first line===second line===3rd line===PROMPT~$

Ви також можете використовувати цей метод

sed 'x;G;1!h;s/\n/ /g;$!d'

Пояснення

x   - which is used to exchange the data from both space (pattern and hold).
G   - which is used to append the data from hold space to pattern space.
h   - which is used to copy the pattern space to hold space.
1!h - During first line won't copy pattern space to hold space due to \n is
      available in pattern space.
$!d - Clear the pattern space every time before getting next line until the
      last line.

Потік:
Коли перший рядок отримують з вхідного сигналу, відбувається обмін, тому 1 переходить до місця утримування і \ n приходить до простору шаблону, потім додається простір утримування до простору шаблону, а потім виконується підміна та видаляється простір шаблону.
Під час другого рядка здійснюється обмін, 2 йде на простір утримування і 1 надходить у простір шаблону, потім Gдодає простір утримування у простір шаблону, потім hкопіює шаблон до нього, а заміна проводиться та видаляється. Цю операцію продовжують, поки не буде досягнуто eof, після чого надрукуйте точний результат.

Інший ГНУ sed метод, майже такий же , як Жолт Botykai «відповідь s , але це використовує sed» менш часто використовується з y( Transliterate команда), що економить один байт коду (трейлинг g):

sed ':a;N;$!ba;y/\n/ /'

Можна сподіватися, yщо біг швидше, ніж s(можливо, на trшвидкості, в 20 разів швидше), але в GNU sed v4.2.2y приблизно на 4% повільніше, ніж s.

Більш портативна версія BSD sed :

sed -e ':a' -e 'N;$!ba' -e 'y/\n/ /'