Word2Vec для іменного розпізнавання особи

Я хочу використовувати реалізацію google word2vec для побудови названої системи розпізнавання сутностей. Я чув, що рекурсивні нейронні мережі з поширенням назад через структуру добре підходять для названих завдань розпізнавання об'єктів, але мені не вдалося знайти гідної реалізації або гідного підручника для цього типу моделі. Оскільки я працюю з нетиповим корпусом, стандартні інструменти NER в NLTK та подібних програмах дуже погано працюють, і, схоже, мені доведеться тренувати власну систему.

Коротше кажучи, які ресурси доступні для подібної проблеми? Чи доступна стандартна рекурсивна реалізація нейронної сітки?

Замість "рекурсивних нейронних мереж із поширенням спини" ви можете розглянути підхід, який застосовують Франци та ін. ін. в Національному центрі розробки текстів (NaCTeM) при Манчестерському університеті для Терміна (див .: http://www.nactem.ac.uk/index.php та http://personalpages.manchester.ac.uk/staff/sophia). ananiadou / IJODL2000.pdf ) Замість глибоких нейронних мереж вони "поєднують мовну та статистичну інформацію".

Дві останні статті використовують для вирішення цієї проблеми архітектуру глибокого навчання під назвою CharWNN. CharWNN вперше був використаний для отримання сучасних результатів (без функцій ручної роботи) на тегах Part of Speech (POS) на англійському корпусі.

У другому документі того ж автора використовується однакова (або схожа) архітектура для прогнозування того, чи належить слово до 10 класів названих сутностей, із очевидними сучасними результатами.

Спробуйте http://deeplearning4j.org/word2vec.html . Це реалізація Word2Vec, що використовується замість Bag of Words для NER та інших завдань NLP.

Ось декілька ідей про те, як використовувати вектори слів для NER, який застосовує здебільшого непідтримуваний word2vec орієнтований підхід.

1. Давши набір векторів слів (або те, що ви навчили, або щось позаштатне, як GoogleNews-vectors-negative300.bin), знайдіть кластери у векторному просторі. Ці кластери - це в основному ваші визначення різних безіменних понять.
2. З мінімальним наглядом ви можете складати / перетворювати неназвані кластери, щоб вони відповідали людським знанням, створюючи таким чином названі концепції, засновані на відомих векторах слова та безіменних поняттях. Наприклад, метод findCluster(['joy', 'surprise', 'disgust', 'trust', 'fear', 'sadness', 'anger', 'anticipation'])може повернути список, що містить сотні слів, здебільшого пов'язаних з емоціями. Якщо ви називаєте цей список "емоцією", то там у вас є названа концепція "емоція", визначена на основі векторного простору.
3. Ви також можете зробити векторну математику, щоб знайти проміжну концепцію між двома заданими. Наприклад, векторна математика може сказати вам, що коли дано два слова "сюрприз" і "огида", між ними виявляються такі: тремтіння, здивування, розчарування, здивування, здивування, роздратування, невіра, шок тощо. Це дозволяє ви будуєте зв’язок між поняттями.
4. Ви можете повторити вище, щоб створити різні типи названих понять, наприклад: будні, усі емоції, щасливі емоції, транспортні засоби тощо.
5. Після того як ви створили шари з названими поняттями, ви зможете навчити RNN на текстовому корпусі, доповненому названими поняттями, тому "коричнева лиса стрибає" також "{color} {тварина} {дія}" тощо. Таким чином, RNN повинна мати можливість вивчити деякі рудиментарні граматики без нагляду.
6. Якщо ви створили досить потужну граматику з вищезазначеного, то ви повинні мати можливість застосувати її до деяких своїх завдань NER.