Наука про дані nlp

1

Word2Vec проти Sentence2Vec проти Doc2Vec

Нещодавно я натрапив на терміни Word2Vec , Sentence2Vec і Doc2Vec, і я щось плутаю , оскільки я новачок у векторній семантиці. Чи може хтось, будь ласка, детально прояснити відмінності цих методів. Які найбільш підходящі завдання для кожного методу?

18 machine-learning data-mining clustering nlp unsupervised-learning

5

Кращий практичний алгоритм подібності речень

У мене є два речення, S1 і S2, обидва з яких мають кількість слів (як правило) нижче 15. Назвіть найбільш практично корисні та успішні алгоритми (машинне навчання), які, можливо, легко здійснити (нейронна мережа справна, якщо архітектура не така складна, як Google Inception тощо). Я шукаю алгоритм, який буде добре працювати, …

18 nlp clustering word2vec similarity

1

НЛП - чому "не" слово зупинки?

Я намагаюся видалити стоп-слова, перш ніж виконувати моделювання теми. Я помітив, що деякі заперечувальні слова (ні, ні, ніколи, ні т. Д.) Зазвичай не вважаються словами стоп. Наприклад, NLTK, spacy та sklearn містять "not" у списках стоп-слов. Однак якщо ми видалимо "не" з цих пропозицій нижче, вони втрачають значне значення, і …

18 nlp topic-model sentiment-analysis

4

Підвищити швидкість впровадження t-sne в python для величезних даних

Я хотів би зробити скорочення розмірності на майже 1 мільйон векторів кожних 200 вимірювань ( doc2vec). Я використовую для цього TSNEреалізацію з sklearn.manifoldмодуля, і головна проблема - складність у часі. Навіть при method = barnes_hutцьому швидкість обчислення залишається низькою. Деякий час навіть не вистачає пам'яті. Я працюю на 48-ядерному процесорі …

18 python bigdata nlp scikit-learn dimensionality-reduction

5

збільшують теплову карту для новонароджених

Я створюю corr()df з оригінального df. corr()ДФ вийшов 70 X 70 і неможливо уявити собі Heatmap ... sns.heatmap(df). Якщо я спробую відобразити corr = df.corr()таблицю, таблиця не відповідає екрану, і я бачу всі кореляції. Це спосіб або надрукувати весь, dfнезалежно від його розміру, або контролювати розмір теплової карти?

17 visualization pandas plotting machine-learning neural-network svm decision-trees svm efficiency python linear-regression machine-learning nlp topic-model lda named-entity-recognition naive-bayes-classifier association-rules fuzzy-logic kaggle deep-learning tensorflow inception classification feature-selection feature-engineering machine-learning scikit-learn tensorflow keras encoding nlp text-mining nlp rnn python neural-network feature-extraction machine-learning predictive-modeling python r linear-regression clustering r ggplot2 neural-network neural-network training python neural-network deep-learning rnn predictive-modeling databases sql programming distribution dataset cross-validation neural-network deep-learning rnn machine-learning machine-learning python deep-learning data-mining tensorflow visualization tools sql embeddings orange feature-extraction unsupervised-learning gan machine-learning python data-mining pandas machine-learning data-mining bigdata apache-spark apache-hadoop deep-learning python convnet keras aggregation clustering k-means r random-forest decision-trees reference-request visualization data pandas plotting neural-network keras rnn theano deep-learning tensorflow inception predictive-modeling deep-learning regression sentiment-analysis nlp encoding deep-learning python scikit-learn lda convnet keras predictive-modeling regression overfitting regression svm prediction machine-learning similarity word2vec information-retrieval word-embeddings neural-network deep-learning rnn

2

НЛП - Чи вісник читів?

В NLP існує концепція, Gazetteerяка може бути досить корисною для створення анотацій. Наскільки я розумію: Газета складається з набору списків, що містять назви організацій, таких як міста, організації, дні тижня тощо. Ці списки використовуються для виявлення зустрічей цих імен у тексті, наприклад, для завдання розпізнавання названої сутності. Отже, це по …

16 nlp named-entity-recognition

2

Витягніть найбільш інформативні частини тексту з документів

Чи є статті чи дискусії щодо вилучення частини тексту, яка містить найбільше інформації про поточний документ. Наприклад, у мене є великий корпус документів з одного домену. Є частини тексту, які містять ключову інформацію, про яку йдеться в одному документі. Я хочу витягти деякі з цих частин і використовувати їх як …

16 nlp text-mining

3

Яка різниця між RNN на основі слів на основі слів і на основі знаків?

Читаючи про генерування тексту за допомогою періодичних нейронних мереж, я помітив, що деякі приклади були реалізовані для генерації тексту слово за словом, а інші - за символом, не фактично вказуючи чому. Отже, в чому різниця між моделями РНН, котрі пророкують текст кожного слова основи і ті , які пророкують текст …

15 machine-learning neural-network nlp rnn

4

Схожість між двома словами

Я шукаю бібліотеку Python, яка допомагає мені виявити подібність між двома словами чи реченнями. Я буду робити перетворення аудіо в текст, що призведе до словника англійської мови або слова без словника (Це може бути назва особи або компанії) Після цього мені потрібно порівняти це з відомим словом або словами. Приклад: …

15 nlp nltk

5

Прогнозування подібності вироку

Я хочу вирішити таку проблему: у мене є набір речень як мій набір даних, і я хочу мати можливість ввести нове речення та знайти речення, яке нове є найбільш подібним до цього в наборі даних. Приклад виглядає так: Нове речення: " I opened a new mailbox" Прогнозування на основі даних: …

15 python nlp scikit-learn similarity text

4

Як ініціалізувати нову модель word2vec з попередньо підготовленими вагами моделі?

Я використовую бібліотеку Gensim у python для використання та навчання моделі word2vector. Нещодавно я розглядав ініціалізацію ваги моєї моделі з якоюсь попередньо навченою моделлю word2vec, такою як (попередньо вивчена модель GoogleNewDataset). Я боровся з цим пару тижнів. Тепер я просто дізнався, що в gesim є функція, яка може допомогти мені …

14 python nlp word-embeddings word2vec gensim

2

Які функції, як правило, використовуються з дерев Парсера в процесі класифікації в NLP?

Я вивчаю різні типи структур дерев розбору. Дві широко відомі структури дерев розбору: a) Дерево розбору, засноване на окружності, і b) Деревові структури розбору на основі залежності. Я можу використовувати генерувати обидва типи структур дерева розбору за допомогою пакету Stanford NLP. Однак я не впевнений, як використовувати ці структури дерев …

13 machine-learning nlp feature-selection feature-extraction

1

Що таке 1D згортковий шар у глибокому навчанні?

Я добре розумію роль та механізм звивистих шарів у програмі Deep Learning для обробки зображень у разі двовимірної чи тривимірної реалізації - вони "просто" намагаються вловлювати 2D-шаблони у зображеннях (у 3-х каналах у випадку 3D). Але нещодавно я наткнувся на 1D згорткові шари в контексті обробки природних мов, що є …

13 deep-learning nlp convolution

3

Натуральна мова до SQL-запиту

Я працював над розробкою системи "Перетворення природної мови в SQL-запит". Я прочитав відповіді з подібних питань, але не зміг отримати інформацію, яку я шукав. Нижче наведено блок-схему такої системи, яку я отримав з «Алгоритму перетворення природної мови» в SQL запити для реляційних баз даних Гаріма Сінгх, Арун Соланкі Я зрозумів …

13 machine-learning nlp sql natural-language-process

1

То в чому спіймана LSTM?

Я розширюю свої знання щодо пакету Keras і оснащую деякі доступні моделі. У мене є проблема бінарної класифікації NLP, яку я намагаюся вирішити і застосовую різні моделі. Працюючи з деякими результатами і читаючи все більше і більше про LSTM, здається, що цей підхід є набагато кращим за все, що я …

12 neural-network nlp lstm recurrent-neural-net

Запитання з тегом «nlp»