Як насправді працюють регулярні вирази?

Скажіть, у вас є документ із написаним есе. Ви хочете розібрати цей твір, щоб вибрати лише певні слова. Класно.

Чи використовувати регулярний вираз швидше, ніж розбирати файл рядок за рядком і слово за словом шукати відповідність? Якщо так, то як це працює? Як можна піти швидше, ніж дивитися на кожне слово?

Як це працює?

Погляньте на теорію автоматів

Коротше кажучи, кожен регулярний вираз має еквівалентний кінцевий автомат і може бути складений та оптимізований до кінцевого автомата. Задіяні алгоритми можна знайти в багатьох книгах-компіляторах. Ці алгоритми використовуються програмами unix, такими як awk та grep.

Однак у більшості сучасних мов програмування (Perl, Python, Ruby, Java (та на базі JVM мов), C #) не використовується такий підхід. Вони використовують рекурсивний підхід зворотного відстеження, який збирає регулярне вираження в дерево або послідовність конструкцій, що представляють різні підряди регулярного виразу. Більшість сучасних синтаксисів "регулярного вираження" пропонують зворотні посилання, які знаходяться поза групою регулярних мов (вони не мають представлення в кінцевих автоматиках), які тривіально реалізовані в рекурсивному підході до зворотного відстеження.

Оптимізація зазвичай дає більш ефективну машину. Наприклад: розгляньте aaaab | aaaac | aaaad, звичайний програміст може отримати просту, але менш ефективну реалізацію пошуку (порівняння трьох рядків окремо) прямо за десять хвилин; але розуміючи, що це еквівалентно aaaa [bcd], кращий пошук можна здійснити шляхом пошуку спочатку чотирьох "a", а потім протестуйте 5-й символ на [b, c, d]. Процес оптимізації був одним із моїх домашніх робіт із компілятора багато років тому, тому я припускаю, що він є і в більшості сучасних двигунів регулярної експресії.

З іншого боку, державні машини мають певну перевагу, коли вони приймають рядки, оскільки вони використовують більше місця в порівнянні з "тривіальною реалізацією". Розглянемо програму для скасування котирування на рядках SQL, тобто: 1) починається та закінчується одинарними лапками; 2) Одиночні лапки виходять двома послідовними цитатами. Отже: вхід ['a' ''] повинен дати вихід [a ']. За допомогою машини машини послідовними одинарними лапками обробляються два штати. Ці два стани служать метою запам'ятовування історії введення таким чином, що кожен символ введення обробляється рівно лише один раз, як показано нижче:

...
S1->'->S2
S1->*->S1, output *, * can be any other character 
S2->'->S1, output '
S2->*->END, end the current string

Отже, на мою думку, регулярне вираження може бути повільнішим у деяких тривіальних випадках, але зазвичай швидше, ніж алгоритм пошуку, створений вручну, враховуючи той факт, що оптимізація не може бути надійно виконана людиною.

(Навіть у тривіальних випадках, таких як пошук рядка, розумний двигун може розпізнати єдиний шлях на карті стану і звести цю частину до простого порівняння рядків та уникнути управління станами.)

Конкретний двигун з фреймворку / бібліотеки може бути повільним, оскільки двигун робить купу інших речей, які програміст зазвичай не потребує. Приклад: клас Regex в .NET створює купу об'єктів, включаючи Match, Group та Captures.

Регулярні вирази просто виглядають швидко, оскільки у вас швидкі комп’ютери.

Ще в 1980-х, коли 1 MIPS був швидким комп'ютером, регулярні вислови були досить великою областю хвилювань, занепокоєнь та досліджень, оскільки вони були повільними та негарними та обчислювали інтенсивно. Розумна розробка алгоритму слідувала і допомагала - але для всіх практичних цілей сьогодні ви бачите диво, як швидкі машини обробляють тріщини.

Чому, на вашу думку, вони швидші, ніж пошук документа?

Ви можете виконати кілька хитрощів, наприклад. якщо ви шукаєте слово з 10 літер, що починається з A і закінчується на B, то якщо ви знайдете A і позицію символу 9 далі не B, ви можете пропустити деякі. див. алгоритм Кнута – Морріса – Пратта

Що робить регулярний вираз швидким?

Насправді їх немає. Не так багато. Просто вони недостатньо повільні, щоб більшість із нас помітили. Ще в "старих повільних днях" це було набагато помітніше.

Вони також не є правильним інструментом для кожної роботи - молотком .

RegEx порівняно швидше коду, який ви можете написати, тому що більшість бібліотек є результатом того, що багато розробників витрачають багато років, оптимізуючи їх, щоб вичавити кожну останню можливу ефективність. Одному особі важко дублювати це у власному коді пошуку.

Ваша основна передумова неправильна.

Регулярні вирази не завжди швидші, ніж простий пошук. Все залежить від контексту. Це залежить від складності виразу, довжини документа, який шукається, і цілого ряду факторів.

Що відбувається, так це те, що регулярний вираз буде зібраний у простий парсер (на який потрібен час). Таким чином, якщо документ невеликий, цей додатковий час буде переважувати будь-яку перевагу. Крім того, якщо вираз простий, то регулярний вираз не дасть вам жодної переваги.

Якщо вираз складний і документ досить великий, то можна отримати певну користь. Чи буде це досить важливим, щоб вважати регулярні вирази швидшими, залежатиме багато від того, скільки зусиль ви хочете докласти до пошуку (також регулярні вирази можуть мати певні оптимізації, які бібліотека могла б забезпечити, що ви б не думали про себе).

Що я намагаюся сказати, це те, що немає узагальненої, ковдрої відповіді. Якщо у вас був конкретний вираз (і відомий розмір документа), ви можете сказати, що отримаєте відповідь так / ні про те, чи буде вираз швидшим, ніж простий пошук (і чому).

Справжня перевага регулярних виразів полягає в тому, що раз ви зрозумієте, як їх записати, можливість висловити складний пошук стислим способом. Оскільки це узагальнена форма, ви можете потім будувати інструменти, які дозволяють здійснювати пошук способом, який корисний у загальному випадку; Зазвичай це як мінімум так само швидко, як простий пошук (на документах мінімального розміру; на документах менших розмірів це не має значення, оскільки навіть якщо він повільніше, він все ще досить швидкий).

Імовірно, що в деяких мовах високого рівня (можливо, JavaScript) використання бібліотеки регулярних виразів, реалізованої мовою низького рівня (можливо, C), було б швидше, ніж написання логіки синтаксичного аналізу на мові високого рівня.

Правдоподібно - я поняття не маю, чи справді це взагалі так.