Як використовувати sed / grep для вилучення тексту між двома словами?

Я намагаюся вивести рядок, який містить все між двома словами рядка:

вхід:

"Here is a String"

вихід:

"is a"

Використання:

sed -n '/Here/,/String/p'

включає кінцеві точки, але я не хочу їх включати.

sed -e 's/Here\(.*\)String/\1/'

GNU grep також може підтримувати позитивний та негативний погляд вперед та огляд назад: Для вашого випадку командою було б:

echo "Here is a string" | grep -o -P '(?<=Here).*(?=string)'

За наявності кількох входжень Hereі string, ви можете вибрати , чи хочете ви , щоб відповідати від першого Hereі останнього stringабо зіставити їх по окремості. З точки зору регулярного вираження, його називають жадібним матчем (перший випадок) або нежадливим збігом (другий випадок)

$ echo 'Here is a string, and Here is another string.' | grep -oP '(?<=Here).*(?=string)' # Greedy match
 is a string, and Here is another 
$ echo 'Here is a string, and Here is another string.' | grep -oP '(?<=Here).*?(?=string)' # Non-greedy match (Notice the '?' after '*' in .*)
 is a 
 is another 

Прийнята відповідь не видаляє текст, який міг бути до Hereабо після String. Це буде:

sed -e 's/.*Here\(.*\)String.*/\1/'

Основна відмінність - додавання .*безпосередньо до Hereі після String.

Ви можете знімати рядки лише в Bash :

$ foo="Here is a String"
$ foo=${foo##*Here }
$ echo "$foo"
is a String
$ foo=${foo%% String*}
$ echo "$foo"
is a
$

І якщо у вас є GNU grep, що включає PCRE , ви можете використовувати твердження нульової ширини:

$ echo "Here is a String" | grep -Po '(?<=(Here )).*(?= String)'
is a

Через GNU awk,

$ echo "Here is a string" | awk -v FS="(Here|string)" '{print $2}'
 is a 

grep з -P( perl-regexp ) підтримує параметр \K, який допомагає відкинути раніше відповідні символи. У нашому випадку раніше узгоджений рядок був Hereтаким, що його відкидали від кінцевого виводу.

$ echo "Here is a string" | grep -oP 'Here\K.*(?=string)'
 is a 
$ echo "Here is a string" | grep -oP 'Here\K(?:(?!string).)*'
 is a 

Якщо ви хочете, щоб результат is aбув, ви можете спробувати нижче,

$ echo "Here is a string" | grep -oP 'Here\s*\K.*(?=\s+string)'
is a
$ echo "Here is a string" | grep -oP 'Here\s*\K(?:(?!\s+string).)*'
is a

Якщо у вас довгий файл з безліччю багаторядкових точок, корисно спочатку надрукувати рядки з цифрами:

cat -n file | sed -n '/Here/,/String/p'

Це може допомогти вам (GNU sed):

sed '/Here/!d;s//&\n/;s/.*\n//;:a;/String/bb;$!{n;ba};:b;s//\n&/;P;D' file 

Це представляє кожне подання тексту між двома маркерами (у цьому випадку Hereта String) на новому рядку та зберігає нові рядки в тексті.

Усі вищезазначені рішення мають недоліки, коли останній рядок пошуку повторюється в іншому місці рядка. Мені було найкраще написати функцію bash.

    function str_str {
      local str
      str="${1#*${2}}"
      str="${str%%$3*}"
      echo -n "$str"
    }

    # test it ...
    mystr="this is a string"
    str_str "$mystr" "this " " string"

Можна використовувати дві команди s

$ echo "Here is a String" | sed 's/.*Here//; s/String.*//'
 is a 

Також працює

$ echo "Here is a StringHere is a String" | sed 's/.*Here//; s/String.*//'
 is a

$ echo "Here is a StringHere is a StringHere is a StringHere is a String" | sed 's/.*Here//; s/String.*//'
 is a 

Щоб зрозуміти sedкоманду, ми повинні будувати її поетапно.

Ось ваш оригінальний текст

user@linux:~$ echo "Here is a String"
Here is a String
user@linux:~$ 

Спробуємо видалити Hereрядок з sопцією ubstition вsed

user@linux:~$ echo "Here is a String" | sed 's/Here //'
is a String
user@linux:~$ 

На даний момент, я вважаю , ви могли б видалити String, а

user@linux:~$ echo "Here is a String" | sed 's/String//'
Here is a
user@linux:~$ 

Але це не ваш бажаний результат.

Для комбінування двох команд sed використовуйте -eпараметр

user@linux:~$ echo "Here is a String" | sed -e 's/Here //' -e 's/String//'
is a
user@linux:~$ 

Сподіваюся, це допомагає

Ви можете використовувати \1(див. Http://www.grymoire.com/Unix/Sed.html#uh-4 ):

echo "Hello is a String" | sed 's/Hello\(.*\)String/\1/g'

Вміст, що знаходиться всередині дужок, буде зберігатися як \1.

Проблема. Мої збережені повідомлення Claws Mail загортаються так, і я намагаюся витягнути рядки Subject:

Subject: [SLC38A9 lysosomal arginine sensor; mTORC1 pathway] Key molecular
 link in major cell growth pathway: Findings point to new potential
 therapeutic target in pancreatic cancer [mTORC1 Activator SLC38A9 Is
 Required to Efflux Essential Amino Acids from Lysosomes and Use Protein as
 a Nutrient] [Re: Nutrient sensor in key growth-regulating metabolic pathway
 identified [Lysosomal amino acid transporter SLC38A9 signals arginine
 sufficiency to mTORC1]]
Message-ID: <20171019190902.18741771@VictoriasJourney.com>

Як A2 у цій темі, Як використовувати sed / grep для вилучення тексту між двома словами? перший вираз внизу "працює" до тих пір, поки відповідний текст не містить нового рядка:

grep -o -P '(?<=Subject: ).*(?=molecular)' corpus/01

[SLC38A9 lysosomal arginine sensor; mTORC1 pathway] Key

Однак, незважаючи на спробу численних варіантів ( .+?; /s; ...), я не зміг змусити їх працювати:

grep -o -P '(?<=Subject: ).*(?=link)' corpus/01
grep -o -P '(?<=Subject: ).*(?=therapeutic)' corpus/01
etc.

Рішення 1.

Текст на вилучення між двома рядками в різних рядках

sed -n '/Subject: /{:a;N;/Message-ID:/!ba; s/\n/ /g; s/\s\s*/ /g; s/.*Subject: \|Message-ID:.*//g;p}' corpus/01

що дає

[SLC38A9 lysosomal arginine sensor; mTORC1 pathway] Key molecular link in major cell growth pathway: Findings point to new potential therapeutic target in pancreatic cancer [mTORC1 Activator SLC38A9 Is Required to Efflux Essential Amino Acids from Lysosomes and Use Protein as a Nutrient] [Re: Nutrient sensor in key growth-regulating metabolic pathway identified [Lysosomal amino acid transporter SLC38A9 signals arginine sufficiency to mTORC1]]                              

Рішення 2. *

Per Як я можу замінити символ нового рядка (\ п) з використанням СЕД?

sed ':a;N;$!ba;s/\n/ /g' corpus/01

замінить нові рядки пробілом.

Зв'язавши це з A2 в Як використовувати sed / grep для вилучення тексту між двома словами? , ми отримуємо:

sed ':a;N;$!ba;s/\n/ /g' corpus/01 | grep -o -P '(?<=Subject: ).*(?=Message-ID:)'

що дає

[SLC38A9 lysosomal arginine sensor; mTORC1 pathway] Key molecular  link in major cell growth pathway: Findings point to new potential  therapeutic target in pancreatic cancer [mTORC1 Activator SLC38A9 Is  Required to Efflux Essential Amino Acids from Lysosomes and Use Protein as  a Nutrient] [Re: Nutrient sensor in key growth-regulating metabolic pathway  identified [Lysosomal amino acid transporter SLC38A9 signals arginine  sufficiency to mTORC1]] 

Цей варіант видаляє подвійні пробіли:

sed ':a;N;$!ba;s/\n/ /g; s/\s\s*/ /g' corpus/01 | grep -o -P '(?<=Subject: ).*(?=Message-ID:)'

давання

[SLC38A9 lysosomal arginine sensor; mTORC1 pathway] Key molecular link in major cell growth pathway: Findings point to new potential therapeutic target in pancreatic cancer [mTORC1 Activator SLC38A9 Is Required to Efflux Essential Amino Acids from Lysosomes and Use Protein as a Nutrient] [Re: Nutrient sensor in key growth-regulating metabolic pathway identified [Lysosomal amino acid transporter SLC38A9 signals arginine sufficiency to mTORC1]]