Text Mining: як кластерувати тексти (наприклад, статті новин) із штучним інтелектом?

Я створив кілька нейронних мереж (MLP (повністю підключений), Elman (повторюваний)) для різних завдань, таких як гра в понг, класифікація рукописних цифр та інше ...

Крім того, я спробував створити кілька первинних нейронних мереж, наприклад, для класифікації багатозначних рукописних нотаток, але я абсолютно новий для аналізу та кластеризації текстів, наприклад, у завданнях розпізнавання зображень / кластеризації можна покладатися на стандартизований ввід, наприклад, зображення розміром 25x25, RGB або відтінки сірого і так далі ... є багато функцій попереднього припущення.

Для видобутку тексту, наприклад, новинних статей, у вас постійно змінюється розмір вводу (різні слова, різні речення, різна довжина тексту, ...).

Як можна реалізувати сучасний інструмент видобутку тексту, використовуючи штучний інтелект, переважно нейронні мережі / СОМ?

На жаль, мені не вдалося знайти простих навчальних посібників для початку. Складні наукові праці важко читати і не найкращий варіант для вивчення теми (на мій погляд). Я вже читав досить багато робіт про MLP, техніку відміни, конволюційну нейронну мережу тощо, але мені не вдалося знайти основної теми щодо видобутку тексту - все, що я знайшов, був занадто високим рівнем для моїх дуже обмежених навичок видобутку тексту.

Латентне розподілення Діріхле (LDA) чудово, але якщо ви хочете чогось кращого, що використовує нейронні мережі, я настійно пропоную doc2vec ( https://radimrehurek.com/gensim/models/doc2vec.html ).

Що це робить? Він працює аналогічно Word2vec Google, але замість одного елемента функцій вектора ви отримуєте вектор функції для абзацу. Метод заснований на пропускній грамі моделі та нейронних мереж і вважається одним із найкращих методів вилучення векторного ознаки для документів.

Тепер, враховуючи, що у вас є цей вектор, ви можете запустити k-означає кластеризацію (або будь-який інший бажаний алгоритм) та кластеризувати результати.

Нарешті, для вилучення функціональних векторів ви можете це зробити так само просто:

from gensim.models import Doc2Vec
from gensim.models.doc2vec import LabeledSentence

class LabeledLineSentence(object):
    def __init__(self, filename):
        self.filename = filename
    def __iter__(self):
        for uid, line in enumerate(open(self.filename)):
            yield LabeledSentence(words=line.split(), labels=['TXT_%s' % uid])


sentences = LabeledLineSentence('your_text.txt')

model = Doc2Vec(alpha=0.025, min_alpha=0.025, size=50, window=5, min_count=5,
                dm=1, workers=8, sample=1e-5)

model.build_vocab(sentences)

for epoch in range(500):
    try:
        print 'epoch %d' % (epoch)
        model.train(sentences)
        model.alpha *= 0.99
        model.min_alpha = model.alpha
    except (KeyboardInterrupt, SystemExit):
        break

Крім LDA, ви можете використовувати прихований семантичний аналіз з K-засобами . Це не нейронні мережі, а скоріше "класична" кластеризація, але вона працює досить добре.

Приклад у sklearn (взято звідси ):

dataset = fetch_20newsgroups(subset='all', shuffle=True, random_state=42)
labels = dataset.target
true_k = np.unique(labels).shape[0]

vectorizer = TfidfTransformer()
X = vectorizer.fit_transform(dataset.data)

svd = TruncatedSVD(true_k)
lsa = make_pipeline(svd, Normalizer(copy=False))

X = lsa.fit_transform(X)

km = KMeans(n_clusters=true_k, init='k-means++', max_iter=100)
km.fit(X)

Тепер мітки призначення кластерів доступні в km.labels_

Наприклад, це теми, витягнуті з 20 груп новин з LSA:

Cluster 0:  space  shuttle  alaska  edu  nasa  moon  launch  orbit  henry  sci
Cluster 1:  edu  game  team  games  year  ca  university  players  hockey  baseball
Cluster 2:  sale  00  edu  10  offer  new  distribution  subject  lines  shipping
Cluster 3:  israel  israeli  jews  arab  jewish  arabs  edu  jake  peace  israelis
Cluster 4:  cmu  andrew  org  com  stratus  edu  mellon  carnegie  pittsburgh  pa
Cluster 5:  god  jesus  christian  bible  church  christ  christians  people  edu  believe
Cluster 6:  drive  scsi  card  edu  mac  disk  ide  bus  pc  apple
Cluster 7:  com  ca  hp  subject  edu  lines  organization  writes  article  like
Cluster 8:  car  cars  com  edu  engine  ford  new  dealer  just  oil
Cluster 9:  sun  monitor  com  video  edu  vga  east  card  monitors  microsystems
Cluster 10:  nasa  gov  jpl  larc  gsfc  jsc  center  fnal  article  writes
Cluster 11:  windows  dos  file  edu  ms  files  program  os  com  use
Cluster 12:  netcom  com  edu  cramer  fbi  sandvik  408  writes  article  people
Cluster 13:  armenian  turkish  armenians  armenia  serdar  argic  turks  turkey  genocide  soviet
Cluster 14:  uiuc  cso  edu  illinois  urbana  uxa  university  writes  news  cobb
Cluster 15:  edu  cs  university  posting  host  nntp  state  subject  organization  lines
Cluster 16:  uk  ac  window  mit  server  lines  subject  university  com  edu
Cluster 17:  caltech  edu  keith  gatech  technology  institute  prism  morality  sgi  livesey
Cluster 18:  key  clipper  chip  encryption  com  keys  escrow  government  algorithm  des
Cluster 19:  people  edu  gun  com  government  don  like  think  just  access

Ви також можете застосувати Негативну Матричну Факторизацію , яку можна інтерпретувати як кластеризацію. Все, що вам потрібно зробити, - це взяти найбільший компонент кожного документа в перетвореному просторі - і використовувати його як призначення кластеру.

У склеарні:

nmf = NMF(n_components=k, random_state=1).fit_transform(X)
labels = nmf.argmax(axis=1)

LSA + KMeans працює добре, але вам потрібно ввести кількість кластерів, яких ви очікуєте. Більше того, коефіцієнт силуету знайдених скупчень зазвичай низький.

Інший метод, за допомогою якого я отримую кращі результати - це використовувати приклад DBSCAN тут . Він шукає центри високої щільності і розширюється, щоб скласти кластери. У цьому методі він автоматично знаходить оптимальну кількість кластерів.

Я також вважаю дуже важливим використовувати стовбур, наприклад, Snowball for ex, який зменшує помилки через помилки. Хороший список зупинок слів також дуже важливий, якщо ви хочете бути впевненим, щоб позбутися від деяких кластерів, які не мали б сенсу через велику кількість поширених слів без значущого значення. Коли ви будуєте матрицю підрахунку, важлива також нормалізація, яка дозволяє додавати зважування до слова з низьким числом даних у наборі даних, але з високим заляганням у конкретних зразках. Ці слова є змістовними, і ви не хочете їх пропускати. Він також зменшує вагу слів з високою частотою зустрічальності у всіх конкретних зразках (близьких до зупинки слова, але для слів, які можуть мати невелике значення). Останнє, що я помітив, було важливим - це не надрукувати топ-10 слів ваших кластерів, а більш розширений вибір. Зазвичай якість та релевантність ключових слів до мітки, яку ви надаєте кластеру, мають тенденцію до різкого зниження після цих 10-20 слів. Таким чином, розширений перегляд найпопулярніших ключових слів допоможе вам проаналізувати, чи ваш кластер справді релевантний чи дуже забруднений шумом.

Мій улюблений метод - LDA ; ви можете подивитися тут підручник, використовуючи пакети python.

Ви також можете переглянути набагато простіші методи, як цей .