Запитання з тегом «lexer»

Чи справді лексери та аналізатори відрізняються теоретично? Здається модно ненавидіти регулярні вирази: кодування жахів , ще одна публікація в блозі . Тим НЕ менше, популярні лексичні інструментів на основі: pygments , Geshi або прикрашати , все використовувати регулярні вирази. Вони ніби лексують що-небудь ... Коли лексика достатня, коли вам потрібен …

308 parsing  antlr  lexer  pygments 

Я шукаю чіткого визначення того, що таке "токенізатор", "аналізатор" і "лексер" і як вони пов'язані один з одним (наприклад, чи використовує аналізатор токенізатор чи навпаки)? Мені потрібно створити програму буде проходити через вихідні файли c / h для витягування декларації даних та визначень. Я шукав приклади і можу знайти деяку …

151 parsing  lexer  tokenize 

Я хочу навчитися писати лексер. У моєму університетському курсі було завдання, де ми повинні були написати синтаксичний аналізатор (і лексер, щоб піти з ним), але це було дано нам без жодних вказівок чи відгуків (понад позначку), тож я насправді багато чого не навчився. Після пошуку цієї теми я можу знайти …

86 language-agnostic  lexer  compiler-construction