Чи є окремий синтаксичний аналіз та лексинг належними практиками щодо комбінаторів парсерів?

Коли я почав використовувати комбінатори парсера, першою моєю реакцією було відчуття звільнення від того, що відчувалося штучним розмежуванням між синтаксичним розбором і лексингом. Раптом усе просто розбиралося!

Однак я нещодавно натрапив на цю публікацію на codereview.stackexchange, що ілюструє того, хто знову відновив цю відмінність. Спочатку я думав, що це дуже нерозумно, але потім факт, що в Парсеку існують функції для підтримки такої поведінки, змушує мене ставити під сумнів себе.

Які переваги / недоліки розбираються над уже зафіксованим потоком у аналізаторах аналізаторів?

Під розбором ми розуміємо найчастіше аналіз контекстних мов. Мова без контексту є більш потужною, ніж звичайна, тому аналізатор може (найчастіше) виконувати роботу лексичного аналізатора відразу.

Але, це а) досить неприродно б) часто неефективно.

Для a) якщо я думаю про те, як, наприклад, ifвиглядає вираз, я думаю, що IF expr THEN expr ELSE expr, а не 'i' 'f', можливо, деякі пробіли, то будь-який символ, з якого може виходити вираз, тощо. Ви отримуєте ідея.

Для б) є потужні інструменти, які виконують відмінну роботу з розпізнавання лексичних сутностей, таких як ідентифікатори, літерали, дужки всіх видів і т. Д. Вони виконають свою роботу практично в найкоротші терміни і нададуть вам приємний інтерфейс: список жетонів. Більше не хвилюйтеся про пропуск пробілів у аналізаторі, ваш аналізатор буде набагато абстрактнішим, коли він має справу з лексемами, а не символами.

Зрештою, якщо ви думаєте, що аналізатор повинен бути зайнятий матеріалами низького рівня, навіщо взагалі обробляти символи? Можна було б написати це також на рівні бітів! Розумієте, такий аналізатор, який працює на рівні бітів, був би майже незрозумілим. Так само і з символами, і з лексемами.

Всього мої 2 копійки.

Усі, хто припускає, що розділення лексингу та синтаксичного розбору є «хорошою практикою» - я не погоджуюся - у багатьох випадках виконання лексингу та розбору за один прохід дає набагато більше сили, а наслідки для продуктивності не такі вже й погані, як вони представлені в інші відповіді (див. Packrat ).

Цей підхід світить, коли потрібно змішати декілька різних мов в одному вхідному потоці. Для цього потрібні не тільки дивні мови, орієнтовані на метапрограмування, такі як Катахдін та подібні , але й для набагато більше основних програм, як грамотне програмування (змішування латексу та, скажімо, C ++), використання HTML у коментарях, заповнення Javascript у HTML та так далі.

Лексичний аналізатор розпізнає звичайну мову, а аналізатор розпізнає без контекстну мову. Оскільки кожна регулярна мова є також контекстною (вона може бути визначена так званою праволінійною граматикою ), аналізатор також може розпізнати регулярну мову, а відмінність аналізатора від лексичного аналізатора, здається, додає певної непотрібної складності: єдиний контекст -вільна граматика (парсер) могла б виконати завдання аналізатора та лексичного аналізатора.

З іншого боку, може бути корисним зафіксувати деякі елементи безконтекстної мови через звичайну мову (а отже, лексичний аналізатор), оскільки

1. Часто ці елементи з’являються настільки часто, що з ними можна поводитися стандартним чином: розпізнавання числових та рядкових літералів, ключових слів, ідентифікаторів, пропуск білого простору тощо.
2. Визначення звичайної мови лексем робить спрощену без контексту граматику більш простою, наприклад, можна міркувати з точки зору ідентифікаторів, а не з точки зору окремих символів, або можна повністю ігнорувати пробіл, якщо це не стосується конкретної мови.

Отже, відокремлення синтаксичного аналізу від лексичного аналізу має перевагу в тому, що ви можете працювати з більш простою без контексту граматикою та інкапсулювати деякі основні (найчастіше рутинні) завдання в лексичному аналізаторі (поділитись і імпера).

EDIT

Мені не знайомі комбінатори парсерів, тому я не впевнений, як вищезазначені міркування застосовуються в цьому контексті. Моє враження, що навіть якщо в комбінаторах аналізатора є лише одна грамота без контексту, розрізнення двох рівнів (лексичний аналіз / розбір) може допомогти зробити цю граматику більш модульною. Як було сказано, нижній рівень лексичного аналізу може містити базові аналізатори багаторазового використання для ідентифікаторів, літералів тощо.

Просто лексику та розбір слід розділити, оскільки вони різні за складністю. Лексінг - це DFA (детермінований кінцевий автомат), а аналізатор - PDA (автоматичний штовхач). Це означає, що розбір по суті споживає більше ресурсів, ніж lexing, і існують конкретні методи оптимізації, доступні лише DFA. Крім того, написати машину з кінцевим станом набагато менш складно, і її простіше автоматизувати.

Ви марно витрачаєтесь, використовуючи алгоритм аналізу синтаксису.

Однією з головних переваг окремого розбору / lex є проміжне подання - потік токенів. Це можна обробити різними способами, що в іншому випадку було б неможливим за допомогою комбінованого lex / синтаксичного аналізу.

Сказавши це, я виявив, що хороший рекурсивний пристойний може бути менш складним і простішим в роботі з навчанням деякого генератора парсера, і змушений з'ясувати, як виразити слабкість граммера в рамках правил генератора парсера.