Шукаєте чіткого визначення того, що таке «токенізатор», «парсер» та «лексери» та як вони пов’язані між собою та використовуються?

Я шукаю чіткого визначення того, що таке "токенізатор", "аналізатор" і "лексер" і як вони пов'язані один з одним (наприклад, чи використовує аналізатор токенізатор чи навпаки)? Мені потрібно створити програму буде проходити через вихідні файли c / h для витягування декларації даних та визначень.

Я шукав приклади і можу знайти деяку інформацію, але мені дуже важко зрозуміти основні поняття, такі як граматичні правила, розбір дерев та дерево абстрактних синтаксисів та те, як вони взаємодіють одне з одним. Врешті ці концепції потрібно зберігати у фактичній програмі, але 1) як вони виглядають, 2) чи є загальні реалізації.

Я переглядав Вікіпедію на такі теми та програми, як Lex та Yacc, але ніколи не пройшов клас компілятора (EE major), мені важко повністю зрозуміти, що відбувається.

Токенізатор розбиває потік тексту на лексеми, зазвичай, шукаючи пробіли (вкладки, пробіли, нові рядки).

Лексер - це в основному лексема, але він зазвичай прикріплює додатковий контекст до лексем - цей маркер є числом, цей маркер є рядковим літералом, цей інший маркер є оператором рівності.

Парсер бере потік лексем з лексеру і перетворює його в абстрактне дерево синтаксису, що представляє (як правило) програму, представлену оригінальним текстом.

Останнє, що я перевірив, найкращою книгою на цю тему була "Укладачі: принципи, методи та засоби", зазвичай відома як "Книга Дракона".

Приклад:

int x = 1;

Лексери або маркери розділять це на лексеми 'int', 'x', '=', '1', ';'.

Аналізатор візьме ці лексеми і використає їх для розуміння певним чином:

• у нас є заява
• це визначення цілого числа
• ціле число називається "x"
• 'x' має бути ініціалізовано зі значенням 1

Я б сказав, що лексери та токенізатори - це одне і те ж, і вони розбивають текст на його складові частини ("лексеми"). Потім аналізатор інтерпретує лексеми за допомогою граматики.

Я б не надто зациклювався на точному термінологічному використанні, хоча люди часто використовують «розбір», щоб описати будь-яку дію інтерпретації грудочки тексту.

( додавання до поданих відповідей )

• Tokenizer також видалить будь-які коментарі та поверне лише лексеми до Lexer.
• Лексер також визначить сфери дії для цих жетонів (змінні / функції)
• Parser тоді створить структуру коду / програми