Перетворіть список в один рядок з роздільником

Я повинен взяти список (завантажень) IP-адрес у такому форматі:

 134.27.128.0
 111.245.48.0
 109.21.244.0

і перетворити їх у цей формат за допомогою проміжного каналу (складені IP-адреси)

134.27.128.0 | 111.245.48.0 | 109.21.244.0 | 103.22.200.0/22

Я думаю, що це команда пошуку та заміни на кшталт, sedале я не можу змусити її працювати.

Використання СЕД, на основі відомих SED однострочнікі Роз'яснення Частина I: : 39. Append лінія до іншого , якщо вона закінчується слешем «\» ( за винятком тут ми ігноруємо частина про зворотної косої межі, і замінити \nновою рядки з необхідний |роздільник):

sed -e :a -e '$!N; s/\n/ | /; ta' mydoc > mydoc2

повинні виробляти в mydoc2

134.27.128.0 |  111.245.48.0 |  109.21.244.0

Мені було цікаво побачити, як деякі з цих (+ деякі альтернативи) швидкодіючі з досить великим файлом (163MiB , один IPна рядок, ~ 13 мільйонів рядків):

wc -l < iplist
13144256

Результати ( sync; echo 3 > /proc/sys/vm/drop_cachesпісля кожної команди; я повторював тести - у зворотному порядку - через пару годин, але відмінності були незначними; також зауважте, що я використовую gnu sed):

steeldriver :
Дуже повільно. Аборт після двох хвилин очікування ... так що жодного результату для цього немає.

cuonglm :

awk 'FNR!=1{print l}{l=$0};END{ORS="";print l}' ORS=' | ' iplist

real    0m3.672s

perl -pe 's/\n/ | / unless eof' iplist

real    0m12.444s

mikeserv :

paste -d\  /dev/null iplist /dev/null | paste -sd\| - 

real    0m0.983s

jthill :

sed 'H;1h;$!d;x;s/\n/ | /g' iplist

real    0m4.903s

Авінаш Радж :

time python2.7 -c'
import sys
with open(sys.argv[1]) as f:
    print " | ".join(line.strip() for line in f)' iplist

real    0m3.434s

і

val0x00ff :

while read -r ip; do printf '%s | ' "$ip"; done < iplist

real    3m4.321s

що означає 184.321s. Не дивно, що це в 200 разів повільніше, ніж рішення mikeserv .

Ось деякі інші способи з
awk:

awk '$1=$1' RS= OFS=' | ' iplist

real    0m4.543s

awk '{printf "%s%s",sep,$0,sep=" | "} END {print ""}' iplist

real    0m5.511s

perl:

perl -ple '$\=eof()?"\n":" | "' iplist

real    0m9.646s

xargs:

xargs <iplist printf ' | %s' | cut -c4-

real    0m6.326s

комбінація голови + паста + tr + кішка:

{ head -n -1 | paste -d' |' - /dev/null /dev/null | tr \\n \ ; cat ; } <iplist

real    0m0.991s

Якщо у вас є GNU coreutilsі якщо ваш список IP-адрес насправді не величезний (скажімо, до 50000 IP-адрес), ви також можете це зробити зpr :

pr -$(wc -l infile) -tJS' | ' -W1000000 infile >outfile

де

-$(wc -l infile)         # no. of columns (= with no. of lines in your file)
-t                       # omit page headers and trailers
-J                       # merge lines
-S' | '                  # separate columns by STRING
-W1000000                # set page width

наприклад, для 6-рядкового файлу:

134.28.128.0
111.245.28.0
109.245.24.0
128.27.88.0
122.245.48.0
103.44.204.0

команда:

pr -$(wc -l <infile) -tJS' | ' -W1000 infile

Виходи:

134.28.128.0 | 111.245.28.0 | 109.245.24.0 | 128.27.88.0 | 122.245.48.0 | 103.44.204.0

Ви можете використовувати awk :

awk 'FNR!=1{print l}{l=$0};END{ORS="";print l}' ORS=' | ' file > new_file

ORS=' | 'встановити вихідний роздільник записів для' | ' замість нового рядка.

або редагувати на місці за допомогою perl:

perl -pe 's/\n/ | / unless eof' file

Тож у мене все було не так - і це питання мене багато чому навчило paste. Як правильно зазначає cuonglm, якщо ви не маєте pasteфайл в -serial, ви завжди будете \nзавершувати те, що остання ewline зі списку інфілів додається до виводу, як написано. Я помилився, вважаючи, що paste -sповедінка - це її режим за замовчуванням - і це неправильне уявлення, яке, мабуть, із busybox pasteзадоволенням підкріплювало. Наступна команда працює як рекламоване w / busybox:

paste -d'|  ' - - infile </dev/null >outfile

Однак це не працює відповідно до специфікації. Правильно реалізований pasteвсе-таки додасть \nкінцеву лінію ewline для кожної записаної послідовності. І все-таки, це нічого страшного:

paste -d\  - infile - </dev/null | paste -sd\| - >outfile

одноводковий з tr і sed:

cat file | tr '\n' '|' | sed 's/||$/\n/'
134.27.128.0|111.245.48.0|109.21.244.0

Використовуйте vim:

vim -n -u NONE -c '1,$-1s/\n/ | /g|wq!' data

Пояснення:

-n вимкнути файл свопу

-u NONE використовується для пропуску всіх ініціалізацій.

-c {command} виконувати команди після того, як файл був прочитаний.

1,$-1s/\n/ | /gє s/\n/ | /g(замініть нову лінію пробілом у просторі) для діапазону 1,$-1s(1-й рядок до останнього рядка - 1)

wq! примушуйте писати і кинути

Примітка:

Залежно від того, наскільки насправді великий ваш файл, це може бути поганою ідеєю.

Через пітон.

$ python -c '
import sys
with open(sys.argv[1]) as f:
    print " | ".join(line.strip() for line in f)' file

пробіли раніше printбули дуже важливими.

Ось ще один із використанням xxd

xxd -c1 -ps data | sed '$!s/0a/207c20/' | xxd -r -ps

Для повноти, ось ще одне awkбазове рішення, це взагалі не використовує ORS:

awk 'BEGIN { ORS="" } { print p$0; p=" | " } END { print "\n" }' file > new_file

Для пояснення дивіться мою публікацію за адресою /unix//a/338121/117599 .