Як би ви пішли розбирати Маркдаун? [зачинено]

Редагувати: Нещодавно я дізнався про проект під назвою CommonMark, який правильно ідентифікує і вирішує неясності в оригінальній специфікації Markdown. http://commonmark.org/ Він має чудову підтримку бібліотеки C #.

Ви можете знайти синтаксис тут .

Джерело, яке випливає із завантаженням, написане на Perl , яке я не маю наміру шанувати. Він пронизаний регулярними виразами, і він покладається на хеші MD5, щоб уникнути певних символів. Щось у цьому просто не так!

Я збираюся жорстко розібрати парсер для Markdown . Який досвід з цим?

Якщо у вас немає нічого значущого сказати про фактичний розбір Маркдауна, шкодуйте мене часу. (Це може здатися суворим, але так, я шукаю розуміння, а не рішення, тобто сторонню бібліотеку).

Щоб допомогти трохи у відповідях, регулярні вирази призначені для виявлення шаблонів ! НЕ розбирати цілу граматику. Що люди вважають, що це роблять, це foobar.

• Якщо ви думаєте про Маркдаун, він принципово ґрунтується на концепції пунктів.
• Таким чином, розумним підходом може бути поділ даних на абзаци.
• Існує багато видів абзаців, наприклад, заголовок, текст, список, блок-котирування та код.
• Завдання полягає в тому, щоб визначити ці пункти та в якому контексті вони виникають.

Я повернусь із рішенням, як тільки знайду, що його варто поділитись.

Тільки уцінка реалізацією я знаю, що використовує фактичний аналізатор, є Jon MacFarleane «s кілочок-уцінка . Його аналізатор заснований на генераторі граматичного аналізатора парсингу виразів під назвою прив’язка .

EDIT: Маурісіо Фернандес нещодавно випустив свій синтаксичний аналізатор Simple Markup Markdown , який він написав як частину свого веб- журналу OcsiBlog Engine. Оскільки аналізатор написаний в OCaml , він надзвичайно простий і короткий (268 SLOC для аналізатора , 43 SLOC для випромінювача HTML ), але надзвичайно швидкий (на 20% швидше, ніж знижка (написаний вручну, оптимізований С) і в шістьсот разів швидший ніж BlueCloth ( Ruby)), незважаючи на те, що він ще не оптимізований для продуктивності. Оскільки він призначений лише для внутрішнього використання самим Маурісіо для свого веб-журналу, є кілька відхилень від офіційної специфікації Markdown , але Маурісіо створив гілку, яка скасовує більшість цих змін .

Минулого тижня я випустив нову реалізацію Java Markdown Java, що називається pegdown . pegdown використовує парсер PEG для спочатку побудови абстрактного дерева синтаксису, який згодом виписується в HTML. Як такий, це досить чисто і набагато простіше читати, підтримувати та розширювати, ніж підхід на основі регулярних виразів. Граматика PEG базується на застосуванні Джона МакФарланеса C "прив'язка".

Можливо, щось цікавить вас ...

Якби я намагався проаналізувати розмітку (і її розширення Markdown додатково ), я думаю, я б спробував використати державну машину і проаналізував її по одній знакові за один раз, пов'язуючи разом деякі внутрішні структури, що представляють шматочки тексту, коли я йду далі, один раз все проаналізовано, генеруючи вихід з об'єктів, які з'єднані між собою.

В основному я буду будувати міні-DOM-дерево, коли читаю вхідний файл.
Для отримання результату я б просто перемістив дерево та вивів HTML або що-небудь інше (PS, LaTex, RTF, ...)

Речі, які можуть збільшити складність:

• Справа в тому, що ви можете змішувати HTML і розмітку, хоча це правило може бути легко здійснити: просто ігноруйте все, що знаходиться між двома збалансованими тегами, і виведіть його дослівно.

• URL-адреси та примітки можуть мати посилання внизу тексту. Використання структур даних для гіперпосилань може просто записати щось на кшталт:

  [my text to a link][linkkey]
  results in a structure like: 
      URLStructure: 
      |  InnerText : "my text to a link"
      |  Key       : "linkkey"
      |  URL       : <null>
  

• Заголовки можна визначити за допомогою підкреслення, що може змусити нас використовувати просту структуру даних для загального абзацу та змінювати його властивості під час читання файлу:

  ParagraphStructure:
  |  InnerText    : the current paragraph text 
  |                 (beginning of line until end of line).
  |  HeadingLevel : <null> or 1-4 when we can assess 
  |                 that paragraph heading level, if any.
  

У всякому разі, лише деякі думки.

Я впевнений, що є багато дрібних деталей, про які слід подбати, і я майже впевнений, що Regexes може стати в нагоді під час процесу.
Зрештою, вони мали на меті обробляти текст.

Я, мабуть, прочитав специфікацію синтаксису достатньо разів, щоб її знати, і зрозуміти, як її розібрати.

Читання існуючого коду парсера, звичайно, геніальне, як для того, щоб побачити, що здається головним джерелом складності, і якщо використовуються якісь спеціальні хитрі хитрощі. Використання контрольної суми MD5 здається трохи дивним, але я недостатньо вивчив код, щоб зрозуміти, чому це робиться. У коментарі у рутині, що називається _EscapeSpecialChars():

Ми замінюємо кожен такий символ відповідним значенням контрольної суми MD5; це, ймовірно, перевищення, але це повинно запобігти випадковому зіткненню зі значеннями втечі.

Заміна одного символу на повний MD5 здається екстравагантною, але, можливо, це справді має сенс.

Звичайно, було б розумно розглянути можливість створення «справжнього» синтаксису для такого інструменту, як Flex, щоб вийти з болота регулярних виразів.

Якщо Perl - це не ваша річ, є реалізація Markdown щонайменше в 10 інших мовах . Вони, мабуть, не мають 100% сумісності, але, як правило, досить близькі.

MarkdownPapers - ще одна реалізація Java, аналізатор якої визначений у граматиці JavaCC .

Якщо ви використовуєте мову програмування, яка містить більше трьох інших користувачів, ви повинні мати можливість знайти бібліотеку для її розбору. Швидкий пошук Google розкриває бібліотеки для CL, Haskell, Python, JavaScript, Ruby тощо. Навряд чи вам знадобиться винаходити це колесо.

Якщо вам справді доводиться писати це з нуля, рекомендую написати належний аналізатор. Завдяки цій техніці вам не доведеться уникати речей з хешами MD5. (Я згоден, що якщо вам доведеться зробити щось подібне, саме час переглянути свій дизайн.)

Є бібліотеки, доступні на кількох мовах, включаючи php, ruby, java, c #, javascript. Я б запропонував переглянути деякі з них для ідей.

Залежно від того, якою мовою ви хочете скористатися, для найкращого втілення в життя є ідіоматичні та неідіоматичні способи це зробити.

Regexes працюють у perl, тому що perl та regex - найкращі друзі.

Markdown - це JAWL (просто інша мова вікі)

Вікі з відкритим кодом відкрито для того, щоб ви могли вивчити код аналізатора. Більшість використовують REGEX

Перевірте вікі-винт, чи є цікавий конвертер формату багатопрохідного формату, дуже приємна техніка - див. /Core/Formatter.cs та /core/FormatterPipeline.cs

Найкраще використовувати / приєднуватися до вже існуючого проекту, такі речі завжди набагато складніше, ніж вони з'являються

Ось ви можете знайти JavaScript-реалізацію Markdown. Вона також сильно покладається на регулярні вирази, оскільки це лише найшвидший і найпростіший спосіб розбору тексту.

Але він забуває частину MD5.

Я не можу допомогти безпосередньо з кодуванням розбору, але, можливо, це посилання може допомогти вам так чи інакше.