Який алгоритм зазвичай використовується при реалізації перевірки орфографії, яка супроводжується пропозиціями щодо слів?
Спочатку я подумав, що може мати сенс перевіряти кожне нове слово, набране (якщо його не знайти у словнику), на відстань Левенштейна від кожного іншого слова у словнику та повернення найкращих результатів. Однак, здається, це було б дуже неефективно, доводиться багато разів оцінювати весь словник.
Як це зазвичай робиться?
Відповіді:
Є хороший нарис Пітера Норвіга, як реалізувати коректор правопису. Це, головним чином, підхід грубої сили, пробуючи кандидатські рядки з заданою дистанцією редагування. ( Ось кілька порад, як можна покращити ефективність коректора орфографії за допомогою фільтра Bloom і швидшого хешування кандидата .)
Вимоги до перевірки орфографії слабкіші. Ви повинні лише з’ясувати, що слова немає у словнику. Ви можете використовувати фільтр Bloom для створення перевірки орфографії, яка споживає менше пам’яті. Старовинні версії описані в програмуванні перлів Джона Бентлі, використовуючи 64 кб для словника англійської мови.
BK-дерево являє собою альтернативний підхід. Приємна стаття тут .
Відстань Левеншштайна - не зовсім правильна відстань для редагування орфографії. Він знає лише вставку, видалення та заміну. Транспонування відсутня і створюється 2 для переміщення 1 символу (це 1 видалення та 1 вставка). Відстань Дамерау - Левенштейн - це правильна відстань для редагування.
Підхід для створення пропозицій, який я успішно використовував, але ніколи не бачив описаного ніде, - це попередньо обчислити пропозиції (під час створення словника) за допомогою "поганих" хеш-функцій.
Ідея полягає в тому, щоб переглянути типи орфографічних помилок, які люди роблять, і створити хеш-функції, які призначали б неправильне написання того ж відра, що і його правильне написання.
Наприклад, поширеною помилкою є використання неправильного голосного, як-от визначення, а не визначеного . Таким чином, ви проектуєте хеш-функцію, яка розглядає всі голосні як одну і ту ж букву. Простий спосіб зробити це спочатку "нормалізувати" вхідне слово, а потім поставити нормалізований результат за допомогою звичайної хеш-функції. У цьому прикладі нормалізуюча функція може скинути всі голосні, так і definiteстає dfnt. Потім "нормалізоване" слово хеширується з типовою хеш-функцією.
Вставте всі свої словникові слова в допоміжний індекс (хеш-таблицю) за допомогою цієї спеціальної хеш-функції. Відра в цій таблиці матимуть тривалі списки зіткнень, оскільки хеш-функція "погана", але ці списки зіткнення по суті є попередньо розрахованими пропозиціями.
Тепер, коли ви знайдете неправильно написане слово, ви шукаєте списки зіткнення для відра, на яке вводиться неправильне написання, в допоміжні індекси. Ta da: У вас є список пропозицій! Все, що вам потрібно зробити - це класифікувати слова на ньому.
На практиці вам знадобиться кілька допоміжних індексів з іншими хеш-функціями для обробки інших типів помилок, наприклад, перекладених літер, одинарних / подвійних літер і навіть спрощеного Soundex-подібного для лову фонетичних помилок. На практиці я виявив спрощену вимову, щоб пройти довгий шлях, і по суті застарів деякі з тих, які призначені для пошуку тривіальних помилок.
Отже, тепер ви шукаєте неправильні написання у кожному з допоміжних індексів і з'єднуєте списки зіткнень перед ранжуванням.
Пам'ятайте, що списки зіткнення містять лише слова, які є у словнику. За допомогою підходів, які намагаються створити альтернативні написання (як у статті про Пітера Норвіга), ви можете отримати (десятки) тисяч кандидатів, яких спочатку вам доведеться відфільтрувати до словника. При попередньо обчисленому підході ви отримаєте, можливо, кілька сотень кандидатів, і ви знаєте, що всі вони написані правильно, тому ви можете пропустити прямо до рейтингу.
Оновлення : з тих пір я знайшов опис алгоритму, подібний до цього, FAROO Розподілений пошук . Це все ще обмежений пошук за редагуванням, але це дуже швидко, тому що крок перед розрахунком працює як моя ідея "погані хеш-функції". FAROO просто використовує обмежену концепцію поганої хеш-функції.
Не потрібно знати точну відстань редагування кожного слова в словнику. Ви можете зупинити алгоритм після досягнення граничного значення та виключити слово. Це дозволить заощадити багато часу на обчислення.
Перевірку орфографії дуже просто здійснити, як в програмі орфографії Unix. Вихідний код доступний для всіх. Виправлення може бути задіяне, одна техніка - це редагування та ще раз перевірка, чи є це нове слово у словнику. Такі нові редагування можна групувати та показувати користувачеві.
У системі Unix використовується програма, написана Mc IllRoy. Альтернативний спосіб - використовувати Trie, який може бути корисним у випадку величезних файлів.
Для підходу unix потрібно дуже менше місця для величезного словника, оскільки він використовує алгоритм розсіювання хешу.