Як греп біжить так швидко?

Я дуже вражений функціональністю GREP в оболонці, раніше я використовував метод підрядки в Java, але зараз я використовую GREP для цього, і він виконується за лічені секунди, це надзвичайно швидше, ніж код Java, який я писав. (на моєму досвіді я можу помилитися)

Якщо говорити, я не зміг зрозуміти, як це відбувається? в Інтернеті також мало доступного.

Хтось може мені допомогти у цьому?

Припустимо, що ваше питання стосується GNU grepконкретно. Ось примітка автора Майка Хаертеля:

GNU grep - це швидке, оскільки воно ВИМОГАЄ ГОЛОСУВАТИ НА ВСІЙ ВХОДНІЙ БАЙТ.

GNU Grep дуже швидко , тому що він виконує дуже мало інструкції для кожного BYTE , що робить погляд на.

GNU grep використовує добре відомий алгоритм Бойєра-Мура, який спочатку шукає остаточну літеру цільового рядка та використовує таблицю пошуку, щоб сказати, наскільки далеко вперед він може пропустити у вхід, коли знайде невідповідний символ.

GNU grep також розгортає внутрішню петлю Boyer-Moore і встановлює записи дельти таблиці Boyer-Moore таким чином, що їй не потрібно робити тест виходу з циклу на кожному розкрученому кроці. Результат цього полягає в тому, що, за межами, GNU grep в середньому менше 3 x86 інструкцій, виконаних для кожного вхідного байта, який він насправді переглядає (і він пропускає багато байтів цілком).

GNU grep використовує необмежену систему вхідних викликів Unix і уникає копіювання даних після їх читання. Більше того, GNU греп уникає ВРУШЕННЯ В ЛІНІЙ. Шукання нових рядків уповільнить показник у кілька разів, тому що для пошуку нових рядків потрібно було б переглянути кожен байт!

Тож замість використання лінійно-орієнтованого введення GNU grep зчитує необроблені дані у великий буфер, шукає буфер за допомогою Boyer-Moore, і лише коли знайде відповідність, він переходить і шукає обмежуючі нові рядки (певні параметри командного рядка, наприклад - n відключити цю оптимізацію.)

Ця відповідь є підмножиною інформації, взятої звідси .

Щоб додати до відмінної відповіді Стіва.

Це може не бути широко відомим, але grep майже завжди швидше, коли прихоплюється на довший шаблон-рядок, ніж короткий, тому що в більш тривалому шаблоні Boyer-Moore може пропускати вперед більш тривалими кроками, щоб досягти ще кращих підлінійних швидкостей:

Приклад:

# after running these twice to ensure apples-to-apples comparison
# (everything is in the buffer cache) 

$ time grep -c 'tg=f_c' 20140910.log
28
0.168u 0.068s 0:00.26

$ time grep -c ' /cc/merchant.json tg=f_c' 20140910.log
28
0.100u 0.056s 0:00.17

Більш довга форма на 35% швидша!

Як це? Бойєр-Мур обчислює таблицю пропускання вперед із рядка шаблону, і коли виникає невідповідність, він вибирає найдовший можливий пропуск (від останнього символу до першого), перш ніж порівнювати одну таблицю вхідних даних до таблиці в таблиці пропуску.

Ось відео з поясненням Бойєра Мура (заслуга kommradHomer)

Ще одна поширена помилкова думка (для GNU grep) - fgrepце швидше, ніж grep. fв fgrepне означає "швидкий", він означає "фіксований" (див. головну сторінку), і оскільки обидва є однією і тією ж програмою, і обидва використовують Boyer-Moore , немає різниці у швидкості між ними при пошуку фіксованих- рядки без спеціальних символів. Єдина причина , чому я використовувати fgrep, коли є регулярний вираз спеціальний символ (наприклад ., []чи *) Я не хочу, щоб це було витлумачено як такої. І навіть тоді більш портативна / стандартна форма grep -Fкраще fgrep.