Обчислити відстань Левенштейна швидко

Враховуючи величезну базу даних дозволених слів (в алфавітному порядку відсортованих) та слово, знайдіть слово з бази даних, яка найбільш близька до даного слова з точки зору відстані Левенштейна.

Наївний підхід - це, звичайно, просто обчислити відстань Левенштейна між даним словом та всіма словами в словнику (ми можемо виконати двійковий пошук у базі даних, перш ніж насправді обчислити відстані).

Цікаво, чи існує більш ефективне рішення цієї проблеми. Можливо, деяка евристика, яка дозволяє нам зменшити кількість слів для пошуку, або оптимізація алгоритму відстані Левенштейна.

Посилання на документи на цю тему вітаються.

Те, про що ви питаєте, - це проблема пошуку сусідів на відстані редагування. Ви не згадали, цікавляться ви теоретичними результатами чи евристикою, тому я відповім на перший.

Відстань для редагування дещо неприємно вирішувати для побудови пошукових структур поблизу. Основна проблема полягає в тому, що, як метрика, вона поводиться (як би) як інші добре відомі погані метрики, такі як з метою зменшення розмірів і наближення. На цю тему читається досить велика робота, і найкращим джерелом є набір робіт Алекса Андоні : слідуючи покажчиками назад (наприклад, з його документа FOCS 2010), ви отримаєте хороший набір джерел.$\ell_1$

Автомати Levenshtein: http://en.wikipedia.org/wiki/Levenshtein_automaton

Дерева BK: http://en.wikipedia.org/wiki/BK-tree

Якщо у вас є невелика кількість помилок, які ви будете терпіти, ви можете спробувати використовувати пунктирне дерево суфіксів . Відмова: Я написав цей папір, але він вирішує те, що ви хочете: він має високу вартість місця на диску, але запити дійсно швидкі.

Загалом, на це краще дивитися навпаки: у вас є індекс усіх слів у словнику. Тепер для вхідного слова w, якщо воно є в словнику, зупиніться. В іншому випадку генеруйте всі варіанти на відстані 1 і шукайте їх. Якщо їх там немає, шукайте варіації на відстані 2 і так далі ...

У цій базовій ідеї є декілька вдосконалень.

$O(m^{k+1} \cdot \sigma^{k})$$m$$\sigma$$k$

Я написав відповідь на дуже схоже запитання на cs.stackexchange.com ( /cs//a/2096/1490 ), і тоді я знайшов це питання. Відповідь є приблизним пошуком поблизу сусіда на відстані редагування (тобто алгоритм виводить рядок, приблизно такий же близький до рядка запиту, як найближчий сусід рядка запиту). Я розміщую тут повідомлення, оскільки я не знаходжу жодної з посилань, які я дав там, у відповідях, поданих тут.

Я думаю, що вам потрібно алгоритм Вагнера-Фішера: https://en.wikipedia.org/wiki/Wagner%E2%80%93Fischer_algorithm Основне розуміння полягає в тому, що оскільки словник, який ви проходите, сортується, два слова підряд є велика ймовірність поділитися довгим префіксом, тому вам не потрібно оновлювати всю матрицю для кожного обчислення відстані.

Ви можете використовувати Ви мали на увазі?

А потім знайдіть відстань Левенштейна між відповіддю, поверненим "Ви мали на увазі" "та рядком введення, використовуючи" Динамічне програмування ".

Один із способів - це підготовка моделі машинного навчання для відображення слів у вектори та відображення відстані Левенштейна до евклідової відстані. Тоді ви можете побудувати KDTree з векторів для словника, який ви хочете використовувати. Я створив зошит з юпітером, який робить це тут: https://gist.github.com/MichaelSnowden/9b8b1e662c98c514d571f4d5c20c3a03

Відповідно до коментарів DW:

1. тренувальна процедура = стохастичний градієнтний спуск з адаптивними градієнтами
2. функція втрати = середня квадратна помилка між істинною відстані редагування та евклідовою дистанцією
3. навчальні дані = випадкові рядки довжиною від 1 до 32 символів (можна покращити дані, що відповідають фактичному розподілу загальних помилок)
4. кількісні результати: після тренінгу приблизно за 150 епох з розміром партії 2048 (час стіни = приблизно одна хвилина), використовуючи вбудовування слів 512 розмірів, з одним прихованим шаром, середня абсолютна помилка між справжньою дистанцією редагування та передбачуваною дистанцією редагування сидить приблизно в 0,75, тобто передбачувана відстань редагування становить приблизно один символ

Короткий зміст структури моделі:

1. Створіть вивчене вбудовування для кожного символу, включаючи нульовий символ (використовується пізніше для правої панелі тексту під лімітом символів)
2. Прокладіть праву частину тексту з нульовим символом, поки він не буде на межі символу (32)
3. Об’єднайте ці вкладення
4. Запустіть вбудовування через нейронну мережу, що передається вперед, щоб створити вбудовуване слово нижнього розміру (512-мірне)
5. Зробіть це для обох слів
6. Знайдіть евклідову відстань між векторами
7. Встановіть втрату як середню квадратичну помилку між справжньою відстані Левенштейна та евклідовою дистанцією

Мої дані тренувань - це лише випадкові рядки, але я думаю, що результати могли б справді покращитися, якби дані тренувань були (помилка друку / правильне слово). Я закінчив просто використовувати, /usr/share/dict/wordsтому що це зазвичай доступно.