Запитання з тегом «similarity»

Коли я кажу "документ", я маю на увазі такі веб-сторінки, як статті Вікіпедії та новини. Я вважаю за краще відповіді, що дають або ванільну лексичну метрику відстані, або сучасні семантичні метричні відстані, з більш сильним перевагою останніх.

34 machine-learning  data-mining  nlp  text-mining  similarity 

Подібність Жакарда та косинусова схожість - це два дуже поширених виміру при порівнянні подібності предметів. Однак мені не дуже зрозуміло, в якій ситуації потрібно віддати перевагу іншій. Чи може хтось допомогти з’ясувати відмінності цих двох вимірювань (різниця в понятті чи принципі, а не у визначенні чи обчисленнях) та їх кращих …

27 similarity 

У мене є два речення, S1 і S2, обидва з яких мають кількість слів (як правило) нижче 15. Назвіть найбільш практично корисні та успішні алгоритми (машинне навчання), які, можливо, легко здійснити (нейронна мережа справна, якщо архітектура не така складна, як Google Inception тощо). Я шукаю алгоритм, який буде добре працювати, …

18 nlp  clustering  word2vec  similarity 

Припустимо, що ми маємо набір елементів E і подібність ( не відстань ) функції sim (ei, ej) між двома елементами ei, ej ∈ E . Як ми могли (ефективно) кластеризувати елементи E , використовуючи sim ? k- значить, наприклад, вимагає заданого k , для кластеризації Canopy потрібно два порогових значення. …

18 clustering  algorithms  similarity 

Я створюю corr()df з оригінального df. corr()ДФ вийшов 70 X 70 і неможливо уявити собі Heatmap ... sns.heatmap(df). Якщо я спробую відобразити corr = df.corr()таблицю, таблиця не відповідає екрану, і я бачу всі кореляції. Це спосіб або надрукувати весь, dfнезалежно від його розміру, або контролювати розмір теплової карти?

17 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

Я хочу вирішити таку проблему: у мене є набір речень як мій набір даних, і я хочу мати можливість ввести нове речення та знайти речення, яке нове є найбільш подібним до цього в наборі даних. Приклад виглядає так: Нове речення: " I opened a new mailbox" Прогнозування на основі даних: …

15 python  nlp  scikit-learn  similarity  text 

Я працював над невеликим особистим проектом, який займає робочі навички користувача та пропонує найбільш ідеальну кар’єру для них, виходячи з цих навичок. Для цього я використовую базу списків завдань. На даний момент код працює наступним чином: 1) Обробіть текст кожного списку завдань, щоб витягнути навички, які згадуються в лістингу 2) …

12 nlp  text-mining  similarity  cosine-distance 

Припустимо, у мене є п'ять наборів, які я хотів би згрупувати. Я розумію, що описана тут техніка SimHashing: https://moultano.wordpress.com/2010/01/21/simple-simhashing-3kbzhsxyg4467-6/ може дати три кластери ( {A}, {B,C,D}і {E}), наприклад, якщо його результати були: A -> h01 B -> h02 C -> h02 D -> h02 E -> h03 Аналогічно, техніка MinHashing, …

12 clustering  similarity 

Мають корпус з понад мільйона документів Для даного документа потрібно знайти подібні документи, використовуючи косинус, як у векторній космічній моделі d1⋅d2/(||d1||||d2||)г1⋅г2/(||г1||||г2||)d_1 \cdot d_2 / ( ||d_1|| ||d_2|| ) Всі tf були нормалізовані за допомогою збільшеної частоти, щоб запобігти упередженню до більш довгих документів, як у цьому tf-idf : tf(t,d)=0.5+0.5f(t,d)max{f(t,d):t∈d}тf(т,г)=0,5+0,5f(т,г)мах{f(т,г):т∈г}tf(t,d)=0.5+0.5\frac{f(t,d)}{\mathrm{max}\{f(t,d): t\in …

10 text-mining  similarity 

У мене тисячі списків рядків, і кожен список містить близько 10 рядків. Більшість рядків у даному списку дуже схожі, хоча деякі рядки (рідко) повністю не пов'язані з іншими, а деякі рядки містять нерелевантні слова. Їх можна вважати галасливими варіаціями канонічної струни. Я шукаю алгоритм чи бібліотеку, які перетворять кожен список …

10 nlp  similarity  information-retrieval