Запитання з тегом «natural-language»

Не впевнений, що це правильний стек-сайт, але тут ідеться. Як працює метод .симіліарності? Нічого чудовий spaCy! Модель tfidf може бути простішою, але w2v лише з одним рядком коду ?! У своєму підручнику з 10 рядків про spaCy andrazhribernik покажіть нам метод подібності, який можна запускати на лексемах, сентах, фрагментах слів …

13 natural-language  word2vec  tf-idf  nltk 

Цікаво, чому ієрархічний софтмакс кращий для нечастого слова, тоді як негативний вибірки краще для частих слів у моделях CBOW та пропуску грам word2vec. Я прочитав претензію на https://code.google.com/p/word2vec/ .

12 natural-language  word2vec  word-embeddings  softmax 

Скажіть, що я використовую RNN / LSTM для аналізу настроїв, що є підходом до багатьох (див. Цей блог ). Мережа тренується за допомогою усіченого зворотного розповсюдження через час (BPTT), де мережа розкручується лише 30 останніх кроків, як зазвичай. У моєму випадку кожен мій розділ тексту, який я хочу класифікувати, набагато …

12 neural-networks  deep-learning  natural-language  backpropagation 

У двох популярних мовних ідентифікаційних бібліотеках, компактному детекторі мови 2 для C ++ та мовному детекторі для Java, обидві вони використовували (на основі символів) n-грамів для отримання тексту. Чому мішок слів (одне слово / словник) не використовується, і яка перевага та недолік мішок слів і n-грам? Крім того, які ще …

12 machine-learning  classification  text-mining  natural-language 

Опис: Нехай проблемною областю буде класифікація документів там, де існує набір функцій векторів, кожен з яких належить до 1 або більше класів. Наприклад, документ doc_1може належати Sportsі Englishкатегорії. Питання: Використовуючи нейронну мережу для класифікації, якою міткою був би вектор функції? це був би вектор, що складається з усіх класів таким, …

12 machine-learning  neural-networks  natural-language  multilabel 

У мене виникають проблеми з розумінням пропускної грамної моделі алгоритму Word2Vec. У безперервному пакеті слів легко зрозуміти, як контекстні слова можуть "поміститися" в нейронній мережі, оскільки ви в основному їх середні після множення кожного з гарячих представлень кодування на вхідну матрицю W. Однак, у випадку пропуску грам, ви отримуєте вектор …

11 neural-networks  deep-learning  natural-language  word2vec  word-embeddings 

Я намагаюся вкласти приблизно 60 мільйонів фраз у векторний простір , а потім обчислити схожість косинусів між ними. Я використовую sklearn CountVectorizerз спеціально вбудованою функцією токенізатора, яка створює уніграми та біграми. Виявляється, що для отримання значущих уявлень, я повинен передбачити величезну кількість стовпців, лінійних за кількістю рядків. Це призводить до …

11 machine-learning  natural-language  word2vec  word-embeddings  cosine-similarity 

Я знайшов дуже корисний підручник щодо алгоритму ЕМ . Приклад та малюнок із підручника просто геніальні. Пов'язане питання щодо обчислення ймовірностей, як працює максимізація очікування? У мене є ще одне питання щодо того, як з'єднати теорію, описану в підручнику, із прикладом. Під час Е-кроку ЕМ вибирає функцію яка знижує межі …

11 machine-learning  clustering  algorithms  natural-language 

Один з способів генерації вкладення слів є наступними ( дзеркало ): Отримайте корпорацію, наприклад, "Мені подобається літати. Мені подобається NLP. Мені подобається глибоке навчання". Побудуйте з нього матрицю потоку слова: Виконайте SVD на та збережіть перші стовпці U.XXXkkk Кожен рядок підматриці буде словом, що вбудовує слово, яке представляє рядок (рядок …

11 natural-language  svd  mutual-information  word-embeddings  language-models 

У мене виникають проблеми з розумінням цього речення: Перша запропонована архітектура схожа на подачу NNLM, де нелінійний прихований шар видаляється і проекційний шар ділиться на всі слова (не тільки проекційну матрицю); таким чином, усі слова проектуються в одне і те ж положення (їхні вектори усереднюються). Що таке шар проекції проти …

11 machine-learning  neural-networks  natural-language  word-embeddings  language-models 

Для завдання з обробки природних мов (NLP) часто використовуються вектори word2vec як вбудовування для слів. Однак може бути багато невідомих слів, які не фіксуються векторами word2vec просто тому, що ці слова бачать недостатньо часто в навчальних даних (у багатьох реалізаціях використовується мінімальна кількість, перш ніж додати слово до словника). Особливо …

11 natural-language  word2vec  lstm  word-embeddings 

Як я можу оцінити кількість дисперсії у векторі лічильників слів? Я шукаю статистику, яка буде високою для документа А, оскільки вона містить багато різних слів, які трапляються нечасто, і низькі для документа B, оскільки вони містять одне слово (або кілька слів), які трапляються часто. Більш загально, як можна виміряти дисперсію …

10 variance  natural-language  gini  dispersion  bag-of-words 

Я читав: https://en.wikipedia.org/wiki/Tf%E2%80%93idf#Definition Але я не можу точно зрозуміти, чому формула була побудована такою, якою вона є. Що я розумію: iDF повинен на якомусь рівні вимірювати, як часто термін S з'являється в кожному з документів, зменшуючи значення, оскільки термін з'являється частіше. З цієї точки зору iDF(S)=# of Documents# of Documents …

10 machine-learning  clustering  mathematical-statistics  text-mining  natural-language 

Традиційним підходом побудови функцій для видобутку тексту є підхід із пакету слів, який можна вдосконалити, використовуючи tf-idf для налаштування вектора ознак, що характеризує даний текстовий документ. В даний час я намагаюся використовувати біграмову мовну модель або (N-грам) для побудови функціонального вектора, але не знаю, як це зробити? Чи можемо ми …

10 machine-learning  data-mining  text-mining  natural-language  language-models 

Я намагаюся згрупувати, наприклад, рядки про програмування з іншими рядками про програмування, рядки про фізику з іншими рядками про фізику тощо, для широкого кола тем. Незважаючи на яскравий теоретичний лінгвістичний аспект проблеми, я хочу реально зробити це за допомогою програмування / програмного забезпечення. Епізод: Зважаючи на велику кількість рядків, як …

10 natural-language  data-mining