Чи існує для кожного «злого» виразу, чи існує альтернатива, яка не є злою, чи в граматиці є чорт?

Мабуть, атаки ReDos експлуатують характеристики деяких (інакше корисних) регулярних виразів ... по суті викликаючи вибух можливих шляхів через графік, визначений NFA.

Чи можна уникнути подібних проблем, написавши рівнозначний «не злий» підсумок? Якщо ні (таким чином, граматика не може оброблятись у практичному просторі / часі NFA), який підхід до розбору був би кращим? Чому?

Це залежить від того, чи маєте ви регулярний вираз чи регулярне вираження: регулярні вирази - це зло, але регулярні вирази - це краса і ніколи не зроблять вас злом.

Під регулярним виразом я маю на увазі сучасний регулярний вираз: тобто регулярний вираз з додатковими сучасними функціями, такими як зворотні посилання - наприклад, регулярний вираз, сумісний з Perl. Це є більш потужним, ніж класичне регулярне вираження з підручника з теорії формальних мов / автоматів, оскільки класичні регулярні вирази не допускають зворотних посилань, пошуку, огляду назад тощо.

Для класичного регулярного вираження, якщо у вас є хороша реалізація для відповідника, то жодне регулярне вираження не є занадто злим. Зокрема, стандартним алгоритмом зіставлення є перетворення регулярного виразу в NFA і потім виконання NFA у рядок введення. Для цього алгоритму найгірший час запуску для тестування рядка -символу - O ( n ) , коли регулярний вираз фіксований. Це означає, що час роботи не може вибухнути занадто швидко. Немає рядка, який би викликав експоненціальне збільшення часу роботи. Таким чином, якщо ви використовуєте математику, яка використовує цей алгоритм, жоден класичний регулярний вираз не буде злим.$n$$O(n)$

Це залежить від реалізації відповідного регулярного виразу. Якщо у вас є наївна або погана реалізація відповідника, то відповідність може зайняти експоненціальний час; безумовно, є алгоритми з цим властивістю. Але найкраща відповідь на це, мабуть, не зміна регулярного виразу; напевно, краще вибрати кращий збірник, якщо вас турбують атаки відмови в обслуговуванні.

Для порівняння, деякі сучасні виразки неминуче злі. Якщо у вас є сучасний регулярний вираз, то відповідність може вимагати експоненціального часу. Зокрема, регулярні вирази з зворотними пересиланнями можуть розпізнавати жорсткі мови NP. Отже, за правдоподібних припущень, існує клас злих регенексів, де тестування на відповідність займає експоненціальний час. Таким чином, деякі сучасні регулярні виразки неминуче злі: немає єдиного можливого способу знайти еквівалентний регулярний вираз, який не спричинить експоненціальний вибух у часі роботи.

(Такий еквівалент може існувати і навіть теоретично підходить до кінця, але, за правдоподібних припущень, пошук еквівалентного регулярного вираження забирає експоненціальний час, що практично неможливо на практиці. Якщо у вас була систематична процедура пошуку еквівалентного регулярного виразів у поліноміальний час , тоді ви могли б вирішити NP-важку проблему за багаточлен, довівши, що P = NP. Це не дуже добре для того, щоб існувати еквівалентний регулярний вираз, якщо немає способу знайти його протягом життя.)

Передумови та джерела:

• На яких мовах розпізнають регулярні вирази, сумісні з Perl? та Виразність сучасних регулярних виразів містять посилання на обґрунтування того, що сучасні регулярні виразки можуть розпізнавати жорсткі мови NP.

• Як імітувати зворотні спостереження, магістралі та диски ззаду в автоматах з кінцевим станом? і коли регулярний вираз не є регулярним виразом? може бути корисним для розуміння різниці між регулярними виразами та регулярними виразами.

• У цій статті від Russ Cox є вдале пояснення двох різних способів побудови відповідного регулярного виразу, і пояснюється, чому час роботи, якщо ви використовуєте правильний алгоритм, лінійний по довжині вхідного рядка (коли регулярний вираз утримується фіксованим і його довжина трактується як константа). Зокрема, алгоритм на основі NFA - також відомий як алгоритм Томпсона - має лінійний час роботи в гіршому випадку. Він також показує, як деякі популярні мови мають реабілітаційні програми, які можуть стати експоненціальними на деяких регулярних виразів, і він обговорює, які аспекти сучасних регулярних виразів можуть вводити експоненціальні часи роботи.

• У цій посаді я припускаю P! = NP. Більше того, коли я маю на увазі "правдоподібні припущення", я маю на увазі експоненціальну гіпотезу часу .

Ця відповідь більш детально розгляне цю незвичну ситуацію, що стосується перехресних ситуацій, де теорія складності застосовна до кібербезпеки, а приклад містить деякі суттєві нюанси / тонкощі, які можуть відбутися в цій галузі. Це по суті схоже на "ін'єкційну атаку", коли певні несподівані введення спричиняють патологічну поведінку, або руйнуючи систему, або спричиняючи її ненормально тривалий час.

У Вікіпедії є 15 категорій атак на відмову в сервісі, і ця атака потрапляє до "наводнення рівня програми" у цьому списку. Ще один дещо подібний приклад - атака, яка заповнює журнали додатків.

Одне виправлення для ін'єкційних атак - це "очищення введення". Дизайнер додатків може переоцінити, якщо необхідно скомпілювати довільні регулярні вирази, надані потенційно шкідливим користувачем. Для усунення цієї атаки, ймовірно, буде достатньо лише викреслити вкладені вирази в регулярному вираженні або якесь інше подібне обмеження. Хоча вони властиві багатьом сучасним програмним забезпеченням, можна забезпечити велику кількість функціональних можливостей без оцінки регулярних виразів. Контекст має значення, деякі програми не потребують такої безпеки.

Інший підхід для поліпшення відмовостійкості / стійкості, застосований тут, є тайм-аути, визначені на різних рівнях програмного забезпечення / ієрархії. Ідея полягала б у тому, щоб визначити обмеження часу / процесора чи інструкції для "середнього" регулярного оцінювання виразів та припинити достроково, якщо його перевищено. Вони можуть бути реалізовані за допомогою спеціальних рішень, але не дуже багато програмного забезпечення або мов програмування мають вбудовані тайм-аути або рамки для цієї мети.

Ось чудовий приклад використання тайм-аутів для покращення відмовостійкості та показує дизайн / архітектуру / pov високого рівня для пом’якшення таких проблем: Допуск відмов у великій гучності, розподілена система / Netflix. Він не має нічого конкретно пов'язаного з регулярними виразами, але в цьому і суть: практично будь-яка / вся логіка рівня програми може вписатися в цю рамку або щось подібне.

Ця стаття вказує на те, як зворотний трек зокрема може призвести до повільного зіставлення регулярних показів У Regexps є багато різних особливостей, і можна спробувати оцінити, які з них призводять до гіршого поведінки.

Ось приємне наукове дослідження цієї конкретної теми із запропонованим рішенням статичного аналізу :

• Статичний аналіз для регулярного експоненційного періоду регулярної експресії за допомогою підструктурної логіки / Rathnayake, Thielecke

  Регулярна відповідність виразів за допомогою зворотного відстеження може мати експоненціальний час виконання, що призводить до алгоритмічної атаки складності, відомої як REDoS в літературі щодо системних систем. У цій роботі ми спираємося на нещодавно опублікований статичний аналіз, який виявляє, чи може заданий регулярний вираз мати експоненціальний час виконання для деяких входів. Ми систематично будуємо більш точний аналіз, формуючи потужності та продукти перехідних відносин і тим самим зводячи проблему REDoS до доступності. Правильність аналізу доведена за допомогою підструктурного обчислення дерев пошуку, де розгалуження дерева, що викликає експоненціальне вибухування, характеризується як форма нелінійності.