Як отримати частину файлу після першого рядка, який відповідає регулярному виразу?

У мене файл з приблизно 1000 рядків. Я хочу, щоб частина мого файлу була після рядка, який відповідає моїй заяві grep.

Це є:

$ cat file | grep 'TERMINATE'     # It is found on line 534

Отже, я хочу, щоб файл з рядка 535 до рядка 1000 для подальшої обробки.

Як я можу це зробити?

Далі буде надруковано відповідність рядків TERMINATEдо кінця файлу:

sed -n -e '/TERMINATE/,$p'

Пояснено: -n вимикає поведінку sedдруку кожного рядка за замовчуванням після виконання його сценарію на ньому, -eвказаний скрипт sed, /TERMINATE/,$це вибір діапазону адреси (рядка), що означає перший рядок, що відповідає TERMINATEрегулярному виразу (наприклад, grep) до кінця файлу ( $) , і pце команда print, яка друкує поточний рядок.

Це буде надруковано з рядка, який слід за збігом рядків TERMINATEдо кінця файлу:
(ПІСЛЯ відповідного рядка до EOF, НЕ включаючи відповідний рядок)

sed -e '1,/TERMINATE/d'

Пояснюється: 1,/TERMINATE/ це вибір діапазону адреси (рядка), що означає перший рядок для введення в 1-й рядок, що відповідає TERMINATEзвичайному виразу, і dє командою delete, яка видаляє поточний рядок і переходить до наступного рядка. Оскільки sedповедінка за замовчуванням полягає у друкуванні рядків, вони надрукують рядки після TERMINATE закінчення введення.

Редагувати:

Якщо ви хочете, щоб рядки були раніше TERMINATE:

sed -e '/TERMINATE/,$d'

І якщо ви хочете, щоб обидва рядки до і після були TERMINATEу двох різних файлах за один прохід:

sed -e '1,/TERMINATE/w before
/TERMINATE/,$w after' file

Файли до і після містять рядок із завершенням, тому для обробки кожного, що вам потрібно використовувати:

head -n -1 before
tail -n +2 after

Edit2:

Якщо ви не хочете жорстко кодувати назви файлів у сценарії sed, ви можете:

before=before.txt
after=after.txt
sed -e "1,/TERMINATE/w $before
/TERMINATE/,\$w $after" file

Але тоді вам доведеться уникати $значення останнього рядка, щоб оболонка не намагалася розширити $wзмінну (зауважте, що зараз ми використовуємо подвійні лапки навколо сценарію замість одинарних лапок).

Я забув сказати, що новий рядок важливий після назви файлів у сценарії, щоб sed знав, що назви файлів закінчуються.

Редагувати: 2016-0530

Себастьєн Клімент запитав: "Як би ви замінили тверду коду TERMINATEзмінною?"

Ви зробите змінну для відповідного тексту, а потім зробите це так само, як попередній приклад:

matchtext=TERMINATE
before=before.txt
after=after.txt
sed -e "1,/$matchtext/w $before
/$matchtext/,\$w $after" file

використовувати змінну для відповідного тексту з попередніми прикладами:

## Print the line containing the matching text, till the end of the file:
## (from the matching line to EOF, including the matching line)
matchtext=TERMINATE
sed -n -e "/$matchtext/,\$p"

## Print from the line that follows the line containing the 
## matching text, till the end of the file:
## (from AFTER the matching line to EOF, NOT including the matching line)
matchtext=TERMINATE
sed -e "1,/$matchtext/d"

## Print all the lines before the line containing the matching text:
## (from line-1 to BEFORE the matching line, NOT including the matching line)
matchtext=TERMINATE
sed -e "/$matchtext/,\$d"

Важливі моменти заміни тексту змінними в таких випадках:

1. Змінні ( $variablename), додані до single quotes[ '], не "розширяться", але змінні всередині double quotes[ "] будуть. Таким чином, ви повинні змінити все , single quotesщоб , double quotesякщо вони містять текст , який ви хочете замінити змінну.
2. У sedдіапазонах також містять $і відразу ж слідують буква , як: $p, $d, $w. Вони також будуть виглядати як змінні , які будуть розширені, так що ви повинні уникнути цих $символів з зворотної косої межі [ \] , як: \$p, \$d, \$w.

Як просте наближення ви можете використовувати

grep -A100000 TERMINATE file

яка знімає TERMINATEта виводить до 100000 рядків за цим рядком.

Зі сторінки людини

-A NUM, --after-context=NUM

Роздрукуйте NUM рядків контуру контуру після відповідних рядків. Розміщує рядок, що містить роздільник групи (-) між суміжними групами сірників. Якщо параметр -o або --only-match, це не має ефекту, і надається попередження.

Інструмент для використання тут awk:

cat file | awk 'BEGIN{ found=0} /TERMINATE/{found=1}  {if (found) print }'

Як це працює:

1. Встановлюємо змінну "знайдено" в нуль, оцінюючи хибну
2. якщо відповідність терміна "TERMINATE" буде знайдена з регулярним виразом, встановимо його на один.
3. Якщо наша "знайдена" змінна оцінюється як True, надрукуйте :)

Інші рішення можуть зайняти багато пам'яті, якщо ви використовуєте їх на дуже великих файлах.

Якщо я правильно розумію ваше запитання, ви хочете, щоб рядки були після TERMINATE , не включаючи TERMINATE-line. awkце можна зробити простим способом:

awk '{if(found) print} /TERMINATE/{found=1}' your_file

Пояснення:

1. Хоча це не найкраща практика, ви можете розраховувати на те, що всі параметри за замовчуванням до 0 або порожній рядок, якщо вони не визначені. Тож перший вираз ( if(found) print) не надрукує нічого для початку.
2. Після завершення друку ми перевіряємо, чи це початковий рядок (що не слід включати).

Це буде друкувати всі рядки , після в TERMINATE-LINE.

Узагальнення:

• У вас є файл з початковою - і торцевої - лініями , і ви хочете , щоб лінії між цими лініями , за винятком на старті - і торцевих - лініях.
• початкові та кінцеві лінії можуть бути визначені регулярним виразом, що відповідає рядку.

Приклад:

$ cat ex_file.txt 
not this line
second line
START
A good line to include
And this line
Yep
END
Nope more
...
never ever
$ awk '/END/{found=0} {if(found) print} /START/{found=1}' ex_file.txt 
A good line to include
And this line
Yep
$

Пояснення:

1. Якщо кінцева лінія знайдена, друку не слід робити. Зауважте, що ця перевірка робиться перед фактичним друком, щоб виключити кінцеву лінію з результату.
2. Роздрукуйте поточний рядок, якщо foundвстановлено.
3. Якщо почати -лінії знайдені , то встановлюються found=1так , що наступні рядки друкуються. Зауважте, що ця перевірка робиться після фактичного друку, щоб виключити початкову лінію з результату.

Примітки:

• Код покладається на той факт, що всі awk-vars за замовчуванням до 0 або порожній рядок, якщо він не визначений. Це дійсно, але може бути не найкращою практикою, тому ви можете додати a BEGIN{found=0}на початок екс-виразу.
• Якщо знайдено кілька стартових кінцевих блоків, всі вони надрукуються.

Використовуйте розширення параметра bash таким чином:

content=$(cat file)
echo "${content#*TERMINATE}"

grep -A 10000000 файл "ЗАКРИТИ"

• набагато, набагато швидше, ніж sed, особливо працює над дійсно великим файлом. Він працює до 10 мільйонів ліній (або все, що ви вкладаєте), тому не зашкодьте зробити це досить великим, щоб вирішити будь-що, що потрапило.

Є багато способів зробити це з sedабо awk:

sed -n '/TERMINATE/,$p' file

Це шукає TERMINATEу вашому файлі та друкує з цього рядка до кінця файла.

awk '/TERMINATE/,0' file

Це точно така ж поведінка, як sed.

Якщо ви знаєте номер рядка, з якого ви хочете розпочати друк, ви можете вказати його разом NR(номер запису, який в кінцевому підсумку вказує на номер рядка):

awk 'NR>=535' file

Приклад

$ seq 10 > a        #generate a file with one number per line, from 1 to 10
$ sed -n '/7/,$p' a
7
8
9
10
$ awk '/7/,0' a
7
8
9
10
$ awk 'NR>=7' a
7
8
9
10

Якщо з будь-якої причини ви хочете уникнути використання sed, нижче буде надруковано відповідність рядків TERMINATEдо кінця файлу:

tail -n "+$(grep -n 'TERMINATE' file | head -n 1 | cut -d ":" -f 1)" file

і наступне буде друкувати з наступного рядка, що відповідає TERMINATEдо кінця файлу:

tail -n "+$(($(grep -n 'TERMINATE' file | head -n 1 | cut -d ":" -f 1)+1))" file

Щоб зробити sed, в одному процесі потрібно два процеси, і якщо файл зміниться між виконанням grep і хвостом, результат може бути невідповідним, тому я рекомендую використовувати sed. Більше того, якщо файли не містять TERMINATE, перша команда не працює.

Альтернативи відмінної sedвідповіді jfgagne, які не включають відповідні рядки:

• awk '/TERMINATE/ {y=1;next} y'( https://stackoverflow.com/a/18166628 )
• awk '/TERMINATE/ ? c++ : c'( https://stackoverflow.com/a/23984891 )
• perl -ne 'print unless 1 .. /TERMINATE/'( https://stackoverflow.com/a/18167194 )

Це може бути одним із способів зробити це. Якщо ви знаєте, у якому рядку файлу є ваше слово grep і скільки рядків у вашому файлі:

grep -A466 файл "ЗАКРИТИ"

sed - набагато кращий інструмент для роботи: файл sed -n '/ re /, $ p'

де re - регексп.

Інший варіант - греп - прапор після контексту. Вам потрібно вказати число, яке закінчиться на, використання wc у файлі повинно дати потрібне значення, на якому зупиниться. Поєднайте це з виразом -n та відповідності.

Вони надрукують усі рядки з останнього знайденого рядка "ЗАКРИТИ" до кінця файлу:

LINE_NUMBER=`grep -o -n TERMINATE $OSCAM_LOG|tail -n 1|sed "s/:/ \\'/g"|awk -F" " '{print $1}'`
tail -n +$LINE_NUMBER $YOUR_FILE_NAME