Запитання з тегом «natural-language»

Існують рекурентні нейронні мережі та рекурсивні нейронні мережі. Обидва зазвичай позначаються однаковим абревіатурою: RNN. Згідно з Вікіпедією , періодичні NN насправді є рекурсивними NN, але я не дуже розумію пояснення. Більше того, я не вважаю, що краще (із прикладами чи так) для обробки природних мов. Справа в тому, що, хоча …

48 machine-learning  neural-networks  deep-learning  natural-language 

Я хочу вивчити нейронні мережі. Я - комп'ютерний лінгвіст. Я знаю підходи до статистичного машинного навчання і можу кодувати в Python. Я хочу почати з її концепцій, і знаю одну або дві популярні моделі, які можуть бути корисні з точки зору обчислювальної лінгвістики. Я переглянув Інтернет для ознайомлення і знайшов …

43 neural-networks  deep-learning  references  natural-language  computer-vision 

Я намагаюся зрозуміти, що схоже між латентним розподілом Діріхле і word2vec для обчислення схожості слів. Як я розумію, LDA карти слів вектора ймовірностей латентних тим, в той час як word2vec відображає їх у вектор дійсних чисел (пов'язаних з сингулярного розкладання точкової взаємної інформації см О. Леві, Ю. Голдберг, «Neural Слово …

39 machine-learning  self-study  natural-language  latent-variable  word2vec 

Як я можу використовувати вбудовуване слово для зіставлення документа на функціональний вектор, придатний для використання під контролем навчання? Слово вкладення відображає кожне слово до вектору , де деякі не дуже велика кількість (наприклад, 500). Популярні вбудовані слова включають word2vec та Glove .шшwv ∈ Rгv∈Rгv \in \mathbb{R}^dггd Я хочу застосувати контрольоване …

38 classification  natural-language  supervised-learning  word2vec  word-embeddings 

Після тренування векторів слів з word2vec, чи краще їх нормалізувати перед тим, як використовувати їх для деяких додатків за течією? Тобто які плюси / мінуси їх нормалізації?

38 natural-language  word2vec  word-embeddings 

Я розумію, що HMM (моделі прихованих марків) є генеративними моделями, а CRF - дискримінаційними моделями. Я також розумію, як проектуються та використовуються CRF (умовні випадкові поля). Чого я не розумію, чим вони відрізняються від НММ? Я читав, що у випадку HMM ми можемо моделювати наступний стан лише на попередньому вузлі, …

33 machine-learning  hidden-markov-model  natural-language  conditional-random-field 

Зачинено. Це питання поза темою . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб воно було тематичним для перехресної перевірки. Закрито 2 роки тому . Я використовую caret, щоб запустити перехрещений випадковий ліс над набором даних. Змінна Y - фактор. У моєму наборі даних немає NaN, Inf …

29 r  random-forest  caret  regression  prediction  fitting  social-science  poisson-distribution  distributions  characteristic-function  bayesian  prior  regression  normal-distribution  interaction  nonparametric  skewness  svm  standard-deviation  standard-error  regression-coefficients  igraph  natural-language  word2vec  word-embeddings  regression  machine-learning  sampling  r  regression  machine-learning  random-forest  ensemble  sampling  unbiased-estimator  proof  estimators  mse  probability  conditional-probability  bayes  anova  missing-data  neural-networks  recommender-system  r  confidence-interval  sample  multiple-imputation  r  time-series  forecasting  mase 

Ідентичний сенс, що він буде робити ідентичні результати для ранжирування подібності між вектором ¯u і набором векторами V . У мене є векторна космічна модель, яка в якості параметрів має міру відстані (евклідова відстань, схожість косинусів) і техніку нормалізації (немає, l1, l2). Наскільки я розумію, результати налаштувань [косинус, жоден] повинні …

27 normalization  natural-language  euclidean  cosine-distance  cosine-similarity 

Популярні моделі тем, як LDA, як правило, кластеризують слова, які мають тенденцію спільно зустрічатися в одну тему (кластер). У чому полягає основна відмінність таких моделей тематики від інших простих підходів, заснованих на кластеризації на основі спільного виникнення, таких як PMI? (PMI позначає точку взаємної інформації, і вона використовується для ідентифікації …

26 machine-learning  text-mining  natural-language  topic-models 

Мене вразили результати в роботі ICML 2014 « Розподілені представлення вироків і документів » Ле та Міколова. Метод, який вони описують, називається "векторами абзацу", вивчає непідконтрольне уявлення довільно довгих абзаців / документів, заснованих на розширенні моделі word2vec. У статті представлено найсучасніші показники аналізу настроїв за допомогою цієї методики. Я сподівався …

20 text-mining  natural-language  word-embeddings  sentiment-analysis  reproducible-research 

Цікаво, чому пропускати грам краще для нечастого слова, ніж CBOW у word2vec. Я прочитав претензію на https://code.google.com/p/word2vec/ .

19 natural-language  word2vec  word-embeddings 

Наразі це питання не підходить для нашого формату запитань. Ми очікуємо, що відповіді будуть підкріплені фактами, посиланнями або експертними знаннями, але це питання, ймовірно, вимагатиме дискусій, аргументів, опитувань чи розширеної дискусії. Якщо ви вважаєте, що це питання можна вдосконалити та, можливо, знову відкрити, відвідайте довідковий центр для ознайомлення . Закрито …

18 machine-learning  text-mining  natural-language 

З того, що я бачив, формула згладжування (другого порядку) Кнайзера-Нея так чи інакше подається як P2KN(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn)PKN2(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn) \begin{align} P^2_{KN}(w_n|w_{n-1}) &= \frac{\max \left\{ C\left(w_{n-1}, w_n\right) - D, 0\right\}}{\sum_{w'} C\left(w_{n-1}, w'\right)} + \lambda(w_{n-1}) \times P_{cont}(w_n) \end{align} з нормуючим коефіцієнтом λ(wn−1)λ(wn−1)\lambda(w_{n-1}) заданим як λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙)λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙) \begin{align} \lambda(w_{n-1}) &= \frac{D}{\sum_{w'} C\left(w_{n-1}, w'\right)} \times N_{1+}\left(w_{n-1}\bullet\right) \end{align} і …

15 machine-learning  natural-language  naive-bayes  smoothing  language-models 

Натхненний цим питанням , мені цікаво, чи зроблена якась робота над тематичними моделями для великих збірок надзвичайно коротких текстів. Моя інтуїція полягає в тому, що Twitter повинен бути природним натхненником для таких моделей. Однак, з деяких обмежених експериментів, схоже, що стандартні тематичні моделі (LDA тощо) на цих даних досить погано …

14 references  text-mining  topic-models  natural-language 

Роблячи природну мову, можна взяти корпус і оцінити ймовірність появи наступного слова в послідовності n. n зазвичай вибирається як 2 або 3 (біграми і триграми). Чи відомий момент, коли відстеження даних для n-го ланцюга стає контрпродуктивним, враховуючи кількість часу, яке потрібно для класифікації певного корпусу один раз на цьому рівні? …

13 text-mining  natural-language