Запитання з тегом «language-models»

З того, що я бачив, формула згладжування (другого порядку) Кнайзера-Нея так чи інакше подається як P2KN(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn)PKN2(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn) \begin{align} P^2_{KN}(w_n|w_{n-1}) &= \frac{\max \left\{ C\left(w_{n-1}, w_n\right) - D, 0\right\}}{\sum_{w'} C\left(w_{n-1}, w'\right)} + \lambda(w_{n-1}) \times P_{cont}(w_n) \end{align} з нормуючим коефіцієнтом λ(wn−1)λ(wn−1)\lambda(w_{n-1}) заданим як λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙)λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙) \begin{align} \lambda(w_{n-1}) &= \frac{D}{\sum_{w'} C\left(w_{n-1}, w'\right)} \times N_{1+}\left(w_{n-1}\bullet\right) \end{align} і …

15 machine-learning  natural-language  naive-bayes  smoothing  language-models 

Один з способів генерації вкладення слів є наступними ( дзеркало ): Отримайте корпорацію, наприклад, "Мені подобається літати. Мені подобається NLP. Мені подобається глибоке навчання". Побудуйте з нього матрицю потоку слова: Виконайте SVD на та збережіть перші стовпці U.XXXkkk Кожен рядок підматриці буде словом, що вбудовує слово, яке представляє рядок (рядок …

11 natural-language  svd  mutual-information  word-embeddings  language-models 

У мене виникають проблеми з розумінням цього речення: Перша запропонована архітектура схожа на подачу NNLM, де нелінійний прихований шар видаляється і проекційний шар ділиться на всі слова (не тільки проекційну матрицю); таким чином, усі слова проектуються в одне і те ж положення (їхні вектори усереднюються). Що таке шар проекції проти …

11 machine-learning  neural-networks  natural-language  word-embeddings  language-models 

Традиційним підходом побудови функцій для видобутку тексту є підхід із пакету слів, який можна вдосконалити, використовуючи tf-idf для налаштування вектора ознак, що характеризує даний текстовий документ. В даний час я намагаюся використовувати біграмову мовну модель або (N-грам) для побудови функціонального вектора, але не знаю, як це зробити? Чи можемо ми …

10 machine-learning  data-mining  text-mining  natural-language  language-models