У мене є декілька файлів з одним і тим же заголовком та різними векторами нижче цього. Мені потрібно об'єднати всі, але я хочу, щоб тільки заголовки першого файлу були об'єднані, і я не хочу, щоб інші заголовки були об'єднані, оскільки вони однакові.

наприклад: file1.txt

<header>INFO=<ID=DP,Number=1,Type=Integer>
<header>INFO=<ID=DP4,Number=4,Type=Integer>
A
B 
C

file2.txt

<header>INFO=<ID=DP,Number=1,Type=Integer>
<header>INFO=<ID=DP4,Number=4,Type=Integer>
D
E 
F

Мені потрібен вихід

<header>INFO=<ID=DP,Number=1,Type=Integer>
<header>INFO=<ID=DP4,Number=4,Type=Integer>
A
B
C
D
E 
F

Я міг би написати сценарій на R, але мені це потрібно в оболонці?

Якщо ви знаєте, як це зробити в R, то, звичайно, зробіть це в R. З класичними інструментами Unix, це, природно, робиться у див.

awk '
    FNR==1 && NR!=1 { while (/^<header>/) getline; }
    1 {print}
' file*.txt >all.txt

Перший рядок скрипту awk відповідає першому рядку файлу ( FNR==1), за винятком випадків, якщо це також перший рядок у всіх файлах ( NR==1). Коли ці умови виконуються, вираз while (/^<header>/) getline;виконується, що призводить до того, що awk продовжує читати інший рядок (пропускаючи поточний) до тих пір, поки поточний відповідає рівню ^<header>. Другий рядок сценарію awk друкує все, крім рядків, які раніше були пропущені.

Ще одне рішення, схоже на " cat+grep" зверху, використовуючи tailта head:

1. Запишіть заголовок першого файлу у вихід:

   head -2 file1.txt > all.txt

   - head -2отримує 2 перші рядки файлу.

2. Додайте вміст усіх файлів:

   tail -n +3 -q file*.txt >> all.txt

   - -n +3робить tailдруковані рядки з 3-го до кінця, -qкаже йому не друкувати заголовок із назвою файлу (читати man), >>додає у файл, не перезаписує його як >.

І обов’язково ви можете поставити обидві команди в один рядок:

head -2 file1.txt > all.txt; tail -n +3 -q file*.txt >> all.txt

або замість того, щоб ;ставити &&між ними для перевірки успіху.

Спробуйте зробити це:

$ cat file1.txt; grep -v "^<header" file2.txt
<header>INFO=<ID=DP,Number=1,Type=Integer>
<header>INFO=<ID=DP4,Number=4,Type=Integer>
A
B 
C
D
E 
F

ПРИМІТКА

• що -vозначає прапор , щоб інвертувати матч Grep
• ^у REGEX означає початок рядка
• якщо у вас є маса файлів, ви можете це зробити

:

array=( files*.txt )
{ cat ${array[@]:0:1}; grep -v "^<header" ${array[@]:1}; } > new_file.txt

Це техніка нарізки масиву bash .

tailКоманда (на GNU, по крайней мере) має можливість пропустити заданий число початкових ліній. Щоб надрукувати з другого рядка вперед, тобто пропустити однорядковий заголовок, виконайте:tail -n+2 myfile

Отже, щоб зберегти дворядковий заголовок першого файлу, а не другого, в Bash:

cat file1.txt <(tail -n+3 file2.txt) > combined.txt

Або для багатьох файлів:

head -n1 file1.txt > combined.txt
for fname in *.txt
do
    tail -n+3 $fname >> combined.txt
done

Якщо певний рядок, як відомо, присутній у всіх рядках заголовка, але ніколи в інших вхідних файлах, grep -vце більш простий підхід, як показав sputnik.

Коротше (не обов'язково швидше) із sed:

sed -e '3,${/^<header>/d' -e '}' file*.txt > all.txt

Це видалить усі рядки, <header>...починаючи з рядка 3, тому перший заголовок зберігається, а інші заголовки видаляються. Якщо в заголовку є інша кількість рядків, відрегулюйте команду відповідно (наприклад, для використання заголовка в 6 рядків 7замість 3).
Якщо кількість рядків у заголовку невідома, ви можете спробувати так:

sed '1{
: again
n
/^<header>/b again
}
/^<header>/d
' file*.txt > all.txt

array = (* .txt); head -1 $ {array [0]}> all.txt; хвіст -n +2 -q $ {масив [@]: 0} >> all.txt

Якщо припустити, що ви використовуєте папку з .txt файлами з тим самим заголовком, які потрібно об'єднати / об'єднати, цей код об'єднав би всі файли txt у all.txt лише з одним заголовком. перший рядок (рядки, розділені крапками з комою) збирає всі текстові файли для об'єднання, другий рядок виводить заголовок з першого файлу txt у all.txt , а останній рядок об'єднує всі текстові файли, зібрані без заголовка (запускаючи конкатенація від другого рядка далі) і додає її до all.txt .