У якому процесі виникає помилка синтаксису? (токенізація чи розбір)

Я намагаюся зрозуміти компіляцію та інтерпретацію, крок за кроком з'ясовуючи загальний образ. Тому я підійшов до питання, читаючи http://www.cs.man.ac.uk/~pjj/farrell/comp3.html цю статтю

Він говорить :

Наступний етап компілятора називається Парсер. Ця частина укладача має розуміння граматики мови. Він несе відповідальність за виявлення синтаксичних помилок і за переклад програми без помилок у внутрішні структури даних, які можна інтерпретувати або виписати іншою мовою.

Але я не міг зрозуміти, як токенізатор може правильно токенізувати даний потік, який має синтаксичну помилку.

Він повинен застрягнути там чи дати неправильну інформацію парцеру. Я маю на увазі, чи не токенізація також є різновидом перекладача?

Отож, як тільки перемогти лексичні зіпсовані рядки коду під час токенізації.

Наведений приклад маркера всередині вище посилання в заголовку The Tokenizer .

Як я розумію, виглядає така форма маркера, якби щось не було в коді, то маркер також був би пошкоджений.

Не могли б ви пояснити моє непорозуміння?

Токенізатор - це лише оптимізація аналізатора. Цілком можливо реалізувати аналізатор без токенізатора.

Токенізатор (або лексер, або сканер) розбиває дані до списку лексем. Деякі частини рядка (коментарі, пробіли) зазвичай ігноруються. Кожен маркер має тип (значення цього рядка в мові) та значення (рядок, що складає маркер). Наприклад, фрагмент джерела PHP

$a + $b

могли бути представлені лексемами

Variable('$a'),
Plus('+'),
Variable('$b')

Токенізатор не враховує, чи можливий маркер у цьому контексті. Наприклад, вхід

$a $b + +

радісно виробляв би токен потік

Variable('$a'),
Variable('$b'),
Plus('+'),
Plus('+')

Коли потім аналізатор споживає ці лексеми, він помітить, що дві змінні не можуть слідувати одна за одною, а також два оператори інфіксації не можуть. (Зверніть увагу, що в інших мовах є різні синтаксиси, де такий потік токенів може бути законним, але не в PHP).

Аналізатор може все-таки вийти з ладу на етапі токенізатора. Наприклад, може бути незаконний характер:

$a × ½ — 3

Токенізатор PHP не зміг би зіставити цей вхід зі своїми правилами і створить помилку до початку основного розбору.

Більш формально токенізатори використовуються, коли кожен маркер можна описати як звичайну мову . Токени можуть потім бути узгоджені надзвичайно ефективно, можливо, реалізовані як DFA. На відміну від цього, основна граматика, як правило, не є контекстною і вимагає складнішого, менш ефективного алгоритму розбору, такого як LALR.

Ви б зазвичай очікувати , що більшість помилок синтаксису виходити від синтаксичного аналізатора, а НЕ Лексер.

Лексер може створити помилку, якщо (і здебільшого лише тоді) на вході є щось, що не може бути токенізовано. Однак у багатьох мовах майже будь-яку послідовність символів можна перетворити на лексеми певного роду, тому помилки тут досить незвичні.

Аналізатор генерує помилку, якщо вхід містить дійсні лексеми, але ці лексеми не розташовані таким чином, що вони утворюють дійсні заяви / вирази на цільовій мові. Це, як правило, набагато частіше.

Токенізатор просто розбиває потік символів на лексеми. Для токенізатора POV це повністю дійсно:

1 * * 1

і перекладається на щось на кшталт: ["1", MULTIPLY, MULTIPLY, "1"] Тільки аналізатор може відкинути такі вирази - він знає, що оператор множення не може слідувати за іншим оператором множення. Наприклад, у JavaScript це створює:

Uncaught SyntaxError: Unexpected token *(…)

Є помилки, які може виявити токенізатор. Наприклад незавершені рядкові літерали: "abcабо недійсні номери: 0x0abcdefg. Вони все ще можуть повідомлятися як синтаксичні помилки:

Uncaught SyntaxError: Unexpected token ILLEGAL

Зауважте, однак маркер не розпізнається і повідомляється як ILLEGAL.