Запитання з тегом «word-embeddings»

У багатьох бібліотеках нейронної мережі є "вбудовувальні шари", як у Кераса або Лазанья . Я не впевнений, що розумію його функцію, незважаючи на те, що я читав документацію. Наприклад, у документації Keras написано: Перетворіть додатні цілі числа (індекси) у вектори денс фіксованого розміру, наприклад. [[4], [20]] -> [[0,25, 0,1], [0,6, …

92 machine-learning  neural-networks  python  word-embeddings 

Потрібно зрозуміти, як працює шар «Вбудовування» у бібліотеці Кераса. Я виконую наступний код у Python import numpy as np from keras.models import Sequential from keras.layers import Embedding model = Sequential() model.add(Embedding(5, 2, input_length=5)) input_array = np.random.randint(5, size=(1, 5)) model.compile('rmsprop', 'mse') output_array = model.predict(input_array) що дає наступний вихід input_array = [[4 …

70 text-mining  word-embeddings  keras 

Як я можу використовувати вбудовуване слово для зіставлення документа на функціональний вектор, придатний для використання під контролем навчання? Слово вкладення відображає кожне слово до вектору , де деякі не дуже велика кількість (наприклад, 500). Популярні вбудовані слова включають word2vec та Glove .шшwv ∈ Rгv∈Rгv \in \mathbb{R}^dггd Я хочу застосувати контрольоване …

38 classification  natural-language  supervised-learning  word2vec  word-embeddings 

Після тренування векторів слів з word2vec, чи краще їх нормалізувати перед тим, як використовувати їх для деяких додатків за течією? Тобто які плюси / мінуси їх нормалізації?

38 natural-language  word2vec  word-embeddings 

Зачинено. Це питання поза темою . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб воно було тематичним для перехресної перевірки. Закрито 2 роки тому . Я використовую caret, щоб запустити перехрещений випадковий ліс над набором даних. Змінна Y - фактор. У моєму наборі даних немає NaN, Inf …

29 r  random-forest  caret  regression  prediction  fitting  social-science  poisson-distribution  distributions  characteristic-function  bayesian  prior  regression  normal-distribution  interaction  nonparametric  skewness  svm  standard-deviation  standard-error  regression-coefficients  igraph  natural-language  word2vec  word-embeddings  regression  machine-learning  sampling  r  regression  machine-learning  random-forest  ensemble  sampling  unbiased-estimator  proof  estimators  mse  probability  conditional-probability  bayes  anova  missing-data  neural-networks  recommender-system  r  confidence-interval  sample  multiple-imputation  r  time-series  forecasting  mase 

Мене вразили результати в роботі ICML 2014 « Розподілені представлення вироків і документів » Ле та Міколова. Метод, який вони описують, називається "векторами абзацу", вивчає непідконтрольне уявлення довільно довгих абзаців / документів, заснованих на розширенні моделі word2vec. У статті представлено найсучасніші показники аналізу настроїв за допомогою цієї методики. Я сподівався …

20 text-mining  natural-language  word-embeddings  sentiment-analysis  reproducible-research 

Я дуже намагався зрозуміти поняття негативної вибірки в контексті word2vec. Я не в змозі перетравити ідею [негативної] вибірки. Наприклад, у роботах Міколова негативне очікування вибірки сформульовано як logσ(⟨w,c⟩)+k⋅EcN∼PD[logσ(−⟨w,cN⟩)].log⁡σ(⟨w,c⟩)+k⋅EcN∼PD[log⁡σ(−⟨w,cN⟩)].\log \sigma(\langle w,c\rangle ) + k \cdot \mathbb E_{c_N\sim PD}[\log\sigma(−\langle w,c_N\rangle)]. Я розумію лівий термін , але не можу зрозуміти ідею вибірки негативних …

19 machine-learning  word2vec  word-embeddings 

Цікаво, чому пропускати грам краще для нечастого слова, ніж CBOW у word2vec. Я прочитав претензію на https://code.google.com/p/word2vec/ .

19 natural-language  word2vec  word-embeddings 

Як навчається шар вбудовування в шар вбудовування Keras? (скажімо, використовуючи заголовок tensorflow, тобто це схоже на word2vec, рукавичку або швидкий текст) Припустимо, ми не використовуємо перевірене вбудовування.

14 deep-learning  keras  word-embeddings 

Цікаво, чому ієрархічний софтмакс кращий для нечастого слова, тоді як негативний вибірки краще для частих слів у моделях CBOW та пропуску грам word2vec. Я прочитав претензію на https://code.google.com/p/word2vec/ .

12 natural-language  word2vec  word-embeddings  softmax 

У мене виникають проблеми з розумінням пропускної грамної моделі алгоритму Word2Vec. У безперервному пакеті слів легко зрозуміти, як контекстні слова можуть "поміститися" в нейронній мережі, оскільки ви в основному їх середні після множення кожного з гарячих представлень кодування на вхідну матрицю W. Однак, у випадку пропуску грам, ви отримуєте вектор …

11 neural-networks  deep-learning  natural-language  word2vec  word-embeddings 

Я намагаюся вкласти приблизно 60 мільйонів фраз у векторний простір , а потім обчислити схожість косинусів між ними. Я використовую sklearn CountVectorizerз спеціально вбудованою функцією токенізатора, яка створює уніграми та біграми. Виявляється, що для отримання значущих уявлень, я повинен передбачити величезну кількість стовпців, лінійних за кількістю рядків. Це призводить до …

11 machine-learning  natural-language  word2vec  word-embeddings  cosine-similarity 

Я дуже новачок у вкладанні слів. Я хочу уявити, як виглядають документи після навчання. Я читав, що t-SNE - це підхід до цього. У мене є 100K документів з 250 розмірами як розмір вбудовування. Також є кілька пакетів. Однак для t-SNE я не знаю, скільки ітерацій чи значення альфа чи …

11 pca  dimensionality-reduction  word2vec  word-embeddings  tsne 

Один з способів генерації вкладення слів є наступними ( дзеркало ): Отримайте корпорацію, наприклад, "Мені подобається літати. Мені подобається NLP. Мені подобається глибоке навчання". Побудуйте з нього матрицю потоку слова: Виконайте SVD на та збережіть перші стовпці U.XXXkkk Кожен рядок підматриці буде словом, що вбудовує слово, яке представляє рядок (рядок …

11 natural-language  svd  mutual-information  word-embeddings  language-models 

У мене виникають проблеми з розумінням цього речення: Перша запропонована архітектура схожа на подачу NNLM, де нелінійний прихований шар видаляється і проекційний шар ділиться на всі слова (не тільки проекційну матрицю); таким чином, усі слова проектуються в одне і те ж положення (їхні вектори усереднюються). Що таке шар проекції проти …

11 machine-learning  neural-networks  natural-language  word-embeddings  language-models