Кластеризація довгого списку рядків (слів) у групи подібності

У мене є така проблема: у мене дуже довгий перелік слів, можливо, імен, прізвищ тощо. Мені потрібно згрупувати цей список слів, щоб подібні слова, наприклад слова з аналогічною відстані редагування (Левенштейн), з’явились у той же кластер. Наприклад, "алгоритм" і "алогритм" повинні мати високі шанси відобразитися в одному кластері.

Я добре знаю класичні методи без кластерного кластеризації, такі як кластеризація k-засобів, кластеризація ЕМ в літературі про розпізнавання образів. Проблема тут полягає в тому, що ці методи працюють на точках, які знаходяться у векторному просторі. У мене тут є слова струн. Здається, на питання про те, як представити рядки в числовому векторному просторі та обчислити "засоби" струнних кластерів, недостатньо відповіли, згідно з моїми дослідженнями до цього часу. Наївним підходом до нападу на цю проблему було б поєднання кластеризації k-Means з відстані Левенштейна, але все ще залишається питання "Як зобразити", означає "струни?". Існує вага, який називається вагою TF-IDF, але здається, що він здебільшого пов'язаний з областю кластеризації "текстового документа", а не згрупуванням окремих слів. http://pike.psu.edu/cleandb06/papers/CameraReady_120.pdf

Мій пошук у цій галузі триває досі, але я хотів отримати ідеї і звідси. Що б ви порадили в цьому випадку, хтось знає якісь методи для подібного роду проблем?

Рекомендація відмітки @ mican щодо поширення спорідненості .

З статті: Л Фрей, Брендан Дж. Та Дельберт Дуек. "Кластеризація шляхом передачі повідомлень між точками даних." наука 315.5814 (2007): 972-976. .

Його супер простий у використанні через багато пакетів. Він працює над усім, що ви можете визначити подібність попарно. Що ви можете отримати, помноживши відстань Левенштейна на -1.

Я зібрав короткий приклад, використовуючи перший пункт вашого запитання як вхідний. У Python 3:

import numpy as np
import sklearn.cluster
import distance

words = "YOUR WORDS HERE".split(" ") #Replace this line
words = np.asarray(words) #So that indexing with a list will work
lev_similarity = -1*np.array([[distance.levenshtein(w1,w2) for w1 in words] for w2 in words])

affprop = sklearn.cluster.AffinityPropagation(affinity="precomputed", damping=0.5)
affprop.fit(lev_similarity)
for cluster_id in np.unique(affprop.labels_):
    exemplar = words[affprop.cluster_centers_indices_[cluster_id]]
    cluster = np.unique(words[np.nonzero(affprop.labels_==cluster_id)])
    cluster_str = ", ".join(cluster)
    print(" - *%s:* %s" % (exemplar, cluster_str))

Вихід був (зразки курсивом ліворуч від кластеру, для якого вони є прикладом):

• мати: шанси, редагувати, руку, мати, високий
• наступний: наступний
• проблема: проблема
• I: я, a, at і т. Д., У списку, з
• можливо: можливо
• кластер: кластер
• слово: бо, і, надовго, треба, треба, дуже, слово, слова
• подібний: подібний
• Левенштейн: Левенштейн
• відстань: відстань
• the: що, то, це, до, з
• те саме: приклад, список, імена, такі ж, такі, прізвища
• алгоритм: алгоритм, алогритм
• поява: з'являтися, з'являється

Запустивши його у списку 50 випадкових імен :

• Діана: Діана , Діана, Діонн, Джеральд, Ірина, Лісетт, Мінна, Нікі, Рікі
• Яні: Клер, Яні, Джейсон, Jc, Кімі, Ланг, Маркус, Максима, Ранді, Рауль
• Verline: Destiny, Kellye, Marylin, Mercedes, Sterling, Verline
• Гленн: Еленор, Гленн, Гвенда
• Армандіна: Армандіна, Августина
• Шіела: Ахмед, Естелла, Мілісса, Шиела, Треза, Вінелл
• Лорен: Осінь, Хайді, Лорен, Лорен
• Альберто: Альберта, Альберто, Роберт
• Лоре: Еммі, Дорін, Евра, Йозеф, Лоре, Лорі, Портер

На мене це виглядає досить чудово (це було весело).

Використовуйте алгоритми кластеризації графів, наприклад, кластеризація Лувен, Кластер кластеризованого пошуку з обмеженим сусідством (RNSC), Кластеризація розповсюдження афінності (APC) або алгоритм Марковського кластера (MCL).

Ви можете спробувати векторну космічну модель з n-грамами слів у вигляді записів векторного простору. Я думаю, що вам доведеться використовувати міру, подібну до косинусної подібності, в цьому випадку замість відстані редагування.