Я видаляю слова із зупинки з тексту, приблизно використовуючи цей код

У мене є таке

$ cat file
file
types
extensions

$ cat stopwords
i
file
types

grep -vwFf stopwords file

Я очікую результату: extensions

але я отримую (я вважаю неправильним)

file
extensions

Це так, ніби слово fileбуло пропущено у файл зупинок. Тепер ось прохолодно трохи: якщо я змінити файл ігнорованих слів, шляхом зміни одного слова / букви iна першій лінії, в будь-який інший ASCii літери , крім f, i, l, e, то та ж команда Grep дає мені інший і правильний результат extensions.

Що тут відбувається і як це виправити?

Я використовую grep (BSD grep) 2.5.1-FreeBSD на базі Mac OSX GNU, версія 4.4.12 (1)

Це помилка bsdgrep, що стосується змінної, яка відслідковує частину поточного рядка досі для сканування, яка перезаписується послідовними викликами до двигуна відповідних регулярних виразів, коли задіяно кілька шаблонів.

локальне виправлення

Ви можете подолати це певною мірою, не скориставшись -wопцією, яка спирається на цю змінну для правильної роботи і, таким чином, не працює, але замість цього використовуйте розширення регулярних виразів, які відповідають початку та кінці слів, роблячи ваш stopwordsфайл схожим:

\ <i \>
\ <файл \>
\ <типи \>

Цей спосіб вирішення також зажадає не використовувати цей -Fпараметр.

Зауважте, що задокументовані компоненти регулярних виразів [[:<:]]та [[:>:]]те, що re_formatкерівництво розповідає про вас, тут не працюватимуть. Це пояснюється тим, що в бібліотеці регулярних виразів, яка компілюється, bsdgrepувімкнено підтримку сумісності регулярних виразів GNU. Це ще одна помилка, яку, як повідомляється, виправлено.

виправлення обслуговування

Ця помилка була виправлена ​​на початку цього року. Виправлення ще не перетворило його на STABLE або RELEASE ароматизатори FreeBSD, але, як повідомляється, в СУЧАСНО.

Щоб отримати це у версії MacOS grep, що походить від FreeBSD bsdgrep, зверніться до Apple. ☺

Подальше читання

• Джонатан де Бойне Поллард (2017-10-15). bsdgrep веде себе неправильно, коли задано кілька моделей . Помилка # 223031. FreeBSD Bugzilla.
• Кайл Еванс (2017-04-03). bsdgrep: виправити відповідність поведінки . Версія 316477. Джерело FreeBSD.
• Кайл Еванс (2017-05-02). bsdgrep: fix -w -v невідповідний відповідності певним шаблонам . Версія 317665. Джерело FreeBSD.
• Nathan Weeks (2014-06-16). grep (1) і bsdgrep (1) не розпізнають [[: <:]] і [[:>:]] . Помилка №191086. FreeBSD Bugzilla.

Цей код:

pl " Input data file data1 and stopwords file data2:"
head data1 data2

pl " Expected output:"
cat $E

pl " Results, grep:"
# grep -vwFf stopwords file
grep -vwFf data2 data1

pl " Results, cgrep:"
cgrep -x1 -vFf data2 data1

виробляє:

-----
 Input data file data1 and stopwords file data2:
==> data1 <==
file
types
extensions

==> data2 <==
i
file
types

-----
 Expected output:
extensions

-----
 Results, grep:
file
extensions

-----
 Results, cgrep:
extensions

У такій системі, як:

OS, ker|rel, machine: Apple/BSD, Darwin 16.7.0, x86_64
Distribution        : macOS 10.12.6 (16G29), Sierra
bash GNU bash 3.2.57

Більш детальна інформація про cgrep, доступна за допомогою пивоваріння та від sourceforge:

cgrep   shows context of matching patterns found in files (man)
Path    : ~/executable/cgrep
Version : 8.15
Type    : Mach-O64-bitexecutablex86_64 ...)
Home    : http://sourceforge.net/projects/cgrep/ (doc)

ура, др