Запитання з тегом «lexer»

Нещодавно я глибоко занурився у світ парсерів, бажаючи створити власну мову програмування. Однак я виявив, що існує два дещо різні підходи написання парсерів: Parser Generators і Parser Combinators. Цікаво, що мені не вдалося знайти жодного ресурсу, який би пояснив, у яких випадках кращий підхід; Швидше за все , багато ресурсів …

59 parsing  lexer  parser-combinator 

Я повільно працюю, щоб закінчити свою ступінь, і цей семестр - «Компілятори 101». Ми використовуємо «Книгу Драконів» . Незабаром ми переходимо до курсу, і ми говоримо про лексичний аналіз та про те, як його можна реалізувати за допомогою детермінованих кінцевих автоматів (далі - DFA). Налаштуйте різні стани лексерів, визначте переходи …

24 compiler  lexer  pragmatism 

Як сказано в заголовку, який тип даних повинен лексеру повернути / надати парсер? Читаючи статтю про лексичний аналіз, яку має Вікіпедія, було зазначено, що: У інформатиці лексичний аналіз - це процес перетворення послідовності символів (наприклад, у комп’ютерній програмі чи веб-сторінці) у послідовність лексем ( рядків із визначеним «значенням»). Однак, в …

21 data-types  lexer  flex 

Коли я почав використовувати комбінатори парсера, першою моєю реакцією було відчуття звільнення від того, що відчувалося штучним розмежуванням між синтаксичним розбором і лексингом. Раптом усе просто розбиралося! Однак я нещодавно натрапив на цю публікацію на codereview.stackexchange, що ілюструє того, хто знову відновив цю відмінність. Спочатку я думав, що це дуже …

18 parsing  lexer  parser-combinator 

Які хороші ресурси щодо того, як написати лексему на C ++ (книги, навчальні посібники, документи), які хороші методи та практики? Я подивився в Інтернеті, і всі кажуть використовувати генератор лексерів, як Lex. Я не хочу цього робити, я хочу написати лексеру вручну.

18 c++  compiler  lexer 

Я пишу аналізатор для створеної мною мови розмітки (пишу в python, але це не дуже важливо для цього питання - адже, якщо це здається поганою ідеєю, я хотів би запропонувати кращий шлях) . Я читаю про парсери тут: http://www.ferg.org/parsing/index.html , і я працюю над написанням лексеру, який повинен, якщо я …

14 python  parsing  lexer 

Читаючи відповідь на запитання Роз’яснення щодо граматики, лексерів та парсерів , у відповіді було зазначено, що: [...] Граматика BNF містить усі правила, необхідні для лексичного аналізу та розбору. Це траплялося для мене якось дивно, тому що до цього часу я завжди вважав, що лексема взагалі не заснована на граматиці, в …

13 design  design-patterns  development-process  grammar  lexer 

Я дивився на кілька лексем у різних мовах вищого рівня ( Python , PHP , Javascript серед інших), і всі вони, здається, використовують регулярні вирази в тій чи іншій формі. Хоча я впевнений, що регулярні вирази - це, мабуть, найкращий спосіб зробити це, мені було цікаво, чи є якийсь спосіб …

9 theory  regular-expressions  lexer