Запитання з тегом «word2vec»

Я намагаюся зрозуміти, що схоже між латентним розподілом Діріхле і word2vec для обчислення схожості слів. Як я розумію, LDA карти слів вектора ймовірностей латентних тим, в той час як word2vec відображає їх у вектор дійсних чисел (пов'язаних з сингулярного розкладання точкової взаємної інформації см О. Леві, Ю. Голдберг, «Neural Слово …

39 machine-learning  self-study  natural-language  latent-variable  word2vec 

Як я можу використовувати вбудовуване слово для зіставлення документа на функціональний вектор, придатний для використання під контролем навчання? Слово вкладення відображає кожне слово до вектору , де деякі не дуже велика кількість (наприклад, 500). Популярні вбудовані слова включають word2vec та Glove .шшwv ∈ Rгv∈Rгv \in \mathbb{R}^dггd Я хочу застосувати контрольоване …

38 classification  natural-language  supervised-learning  word2vec  word-embeddings 

Після тренування векторів слів з word2vec, чи краще їх нормалізувати перед тим, як використовувати їх для деяких додатків за течією? Тобто які плюси / мінуси їх нормалізації?

38 natural-language  word2vec  word-embeddings 

Зачинено. Це питання поза темою . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб воно було тематичним для перехресної перевірки. Закрито 2 роки тому . Я використовую caret, щоб запустити перехрещений випадковий ліс над набором даних. Змінна Y - фактор. У моєму наборі даних немає NaN, Inf …

29 r  random-forest  caret  regression  prediction  fitting  social-science  poisson-distribution  distributions  characteristic-function  bayesian  prior  regression  normal-distribution  interaction  nonparametric  skewness  svm  standard-deviation  standard-error  regression-coefficients  igraph  natural-language  word2vec  word-embeddings  regression  machine-learning  sampling  r  regression  machine-learning  random-forest  ensemble  sampling  unbiased-estimator  proof  estimators  mse  probability  conditional-probability  bayes  anova  missing-data  neural-networks  recommender-system  r  confidence-interval  sample  multiple-imputation  r  time-series  forecasting  mase 

Я дуже намагався зрозуміти поняття негативної вибірки в контексті word2vec. Я не в змозі перетравити ідею [негативної] вибірки. Наприклад, у роботах Міколова негативне очікування вибірки сформульовано як logσ(⟨w,c⟩)+k⋅EcN∼PD[logσ(−⟨w,cN⟩)].log⁡σ(⟨w,c⟩)+k⋅EcN∼PD[log⁡σ(−⟨w,cN⟩)].\log \sigma(\langle w,c\rangle ) + k \cdot \mathbb E_{c_N\sim PD}[\log\sigma(−\langle w,c_N\rangle)]. Я розумію лівий термін , але не можу зрозуміти ідею вибірки негативних …

19 machine-learning  word2vec  word-embeddings 

Цікаво, чому пропускати грам краще для нечастого слова, ніж CBOW у word2vec. Я прочитав претензію на https://code.google.com/p/word2vec/ .

19 natural-language  word2vec  word-embeddings 

Моє запитання може бути дурним. Тому я заздалегідь прошу вибачення. Я намагався використовувати модель GLOVE, попередньо підготовлену групою Stanford NLP ( посилання ). Однак я помітив, що результати моєї подібності показали деякі негативні цифри. Це відразу ж підштовхнуло мене переглянути файл файлів даних word-vector. Мабуть, значення у векторах слова мали …

17 machine-learning  word2vec  cosine-similarity 

Не впевнений, що це правильний стек-сайт, але тут ідеться. Як працює метод .симіліарності? Нічого чудовий spaCy! Модель tfidf може бути простішою, але w2v лише з одним рядком коду ?! У своєму підручнику з 10 рядків про spaCy andrazhribernik покажіть нам метод подібності, який можна запускати на лексемах, сентах, фрагментах слів …

13 natural-language  word2vec  tf-idf  nltk 

Цікаво, чому ієрархічний софтмакс кращий для нечастого слова, тоді як негативний вибірки краще для частих слів у моделях CBOW та пропуску грам word2vec. Я прочитав претензію на https://code.google.com/p/word2vec/ .

12 natural-language  word2vec  word-embeddings  softmax 

У мене виникають проблеми з розумінням пропускної грамної моделі алгоритму Word2Vec. У безперервному пакеті слів легко зрозуміти, як контекстні слова можуть "поміститися" в нейронній мережі, оскільки ви в основному їх середні після множення кожного з гарячих представлень кодування на вхідну матрицю W. Однак, у випадку пропуску грам, ви отримуєте вектор …

11 neural-networks  deep-learning  natural-language  word2vec  word-embeddings 

Я намагаюся вкласти приблизно 60 мільйонів фраз у векторний простір , а потім обчислити схожість косинусів між ними. Я використовую sklearn CountVectorizerз спеціально вбудованою функцією токенізатора, яка створює уніграми та біграми. Виявляється, що для отримання значущих уявлень, я повинен передбачити величезну кількість стовпців, лінійних за кількістю рядків. Це призводить до …

11 machine-learning  natural-language  word2vec  word-embeddings  cosine-similarity 

Я дуже новачок у вкладанні слів. Я хочу уявити, як виглядають документи після навчання. Я читав, що t-SNE - це підхід до цього. У мене є 100K документів з 250 розмірами як розмір вбудовування. Також є кілька пакетів. Однак для t-SNE я не знаю, скільки ітерацій чи значення альфа чи …

11 pca  dimensionality-reduction  word2vec  word-embeddings  tsne 

Для завдання з обробки природних мов (NLP) часто використовуються вектори word2vec як вбудовування для слів. Однак може бути багато невідомих слів, які не фіксуються векторами word2vec просто тому, що ці слова бачать недостатньо часто в навчальних даних (у багатьох реалізаціях використовується мінімальна кількість, перш ніж додати слово до словника). Особливо …

11 natural-language  word2vec  lstm  word-embeddings 

Я намагаюся пропрацювати свій шлях через перший набір проблем навчального матеріалу онлайн-класу cs224d в Інтернеті, і у мене виникають проблеми з проблемою 3A: При використанні пропуску грамової моделі word2vec з функцією прогнозування softmax і функцією перехресної ентропії втрати ми хочемо обчислити градієнти відносно прогнозованих векторів слів. Отже, враховуючи функцію softmax: …

10 machine-learning  self-study  word2vec 

Я переживаю проблеми письмових завдань класу глибокого навчання в Stanford NLP http://cs224d.stanford.edu/assignment1/assignment1_soln Я намагаюся зрозуміти відповідь для 3а, де вони шукають похідне від вектора для центрального слова. Припустимо, вам надано прогнозований вектор слова vcvcv_{c}що відповідає центральному слову c для skipgram, а передбачення слів виконується за допомогою функції softmax, знайденої в …

9 self-study  neural-networks  backpropagation  word2vec