Запитання з тегом «k-means»

Я хотів би зрозуміти, в чому полягає основна різниця в реалізації між стандартними та сферичними алгоритмами кластеризації к-засобів. На кожному кроці k-означає обчислює відстані між елементами векторів і центроїдами кластера і переназначає документ цьому кластеру, центроїд якого найближчий. Потім всі центроїди перераховуються. У сферичних k-засобах всі вектори нормалізуються, а міра …

28 clustering  data-mining  algorithms  k-means 

Мені потрібно використовувати бінарні змінні (значення 0 і 1) у k-значенні. Але k-означає працює лише з безперервними змінними. Я знаю, що деякі люди до цих пір використовують ці бінарні змінні в k-значенні, ігноруючи той факт, що k-засоби призначені лише для суцільних змінних. Це для мене неприйнятно. Запитання: То який статистично …

27 r  clustering  binary-data  k-means  mixed-type-data 

У мене є кілька точок в R pX={x1,...,xn}X={x1,...,xn}X=\{x_1,...,x_n\}RpRpR^p , і я хочу об'єднати точки так, щоб: Кожен кластер містить рівну кількість елементів . (Припустимо, що кількість кластерів ділить nXXXnnn .) Кожен кластер є «просторово згуртованим» у певному сенсі, як кластери з значень.kkk Легко придумати безліч процедур кластеризації, які задовольняють одну …

25 machine-learning  clustering  k-means  unsupervised-learning 

У мене є база даних даних про передачу даних між різними вузлами. Це величезна база даних (майже 40 мільйонів передач). Одним з атрибутів є кількість переданих байтів (нбайт), яка становить від 0 байт до 2 тера байт. Я б хотів кластеризувати nbytes таким чином, що за даними кластерів k деякі …

24 clustering  k-means 

Я хочу виконати кластеризацію K-засобів на об'єктах, які у мене є, але об'єкти не описуються як точки в просторі, тобто за objects x featuresнабором даних. Однак я в змозі обчислити відстань між будь-якими двома об’єктами (воно засноване на функції подібності). Отже, я розпоряджаюсь матрицею відстані objects x objects. Я раніше …

22 machine-learning  clustering  data-mining  k-means  distance 

Я читаю Бішопа про алгоритм ЕМ для GMM та взаємозв'язок між GMM та k-засобами. У цій книзі йдеться про те, що k-засоби - це тверда версія GMM. Мені цікаво, чи означає це, що якщо дані, які я намагаюся кластеризувати, не є гауссовими, я не можу використовувати k-засоби (або, принаймні, непридатні …

21 clustering  data-mining  k-means  gaussian-mixture 

У мене є кореляційна матриця, яка визначає, як кожен елемент співвідноситься з іншим елементом. Отже, для N елементів я вже маю кореляційну матрицю N * N. Використовуючи цю кореляційну матрицю, як я кластеризую N елементів у M-бункерах, щоб я міг сказати, що Nk-елементи в kth bin поводяться однаково. Прошу допомогти …

20 clustering  python  k-means 

Для завдання мені було запропоновано надати доказ того, що k-засоби зближуються в обмеженій кількості кроків. Ось що я написав: CCC E ( C )E(C)=∑xmini=1k∥x−ci∥2E(C)=∑xmini=1k‖x−ci‖2E(C)=\sum_{\mathbf{x}}\min_{i=1}^{k}\left\Vert \mathbf{x}-\mathbf{c}_{i}\right\Vert ^{2}E(C)E(C)E(C) Крок 2 позначає крок, який позначає кожну точку даних її найближчим центром кластера, а крок 3 - це крок, на якому центри оновлюються за …

20 mathematical-statistics  k-means 

Чи може хтось пояснити плюси та мінуси ієрархічної кластеризації? Чи мають ієрархічні кластери такі ж недоліки, що і K? Які переваги ієрархічної кластеризації перед K означає? Коли ми повинні використовувати засоби K над ієрархічною кластеризацією та навпаки? Відповіді на цю посаду дуже добре пояснюють недоліки k означає. Як зрозуміти недоліки …

19 clustering  k-means  unsupervised-learning  hierarchical-clustering 

Чи є спосіб визначити, які функції / змінні набору даних є найбільш важливими / домінуючими в кластерному рішенні k-означає?

19 machine-learning  clustering  k-means  importance 

Я використовую K-засоби для кластеризації своїх даних і шукав спосіб запропонувати "оптимальний" номер кластера. Статистика прогалин, здається, є загальним способом пошуку хорошої кількості кластерів. Чомусь він повертає 1 як оптимальне число кластера, але коли я дивлюся на дані, то очевидно, що є 2 кластери: Ось як я називаю розрив у …

18 r  machine-learning  clustering  k-means 

У мене є набір даних з 16 змінними, і після кластеризації по kmeans я хочу побудувати дві групи. Які сюжети ви пропонуєте візуально представити двома кластерами?

18 data-visualization  clustering  k-means 

Я читав, що алгоритм k-означає сходиться лише до локального мінімуму, а не до глобального мінімуму. Чому це? Я логічно можу подумати про те, як ініціалізація могла б вплинути на остаточну кластеризацію, і існує можливість субоптимальної кластеризації, але я не знайшов нічого, що це математично доведе. Крім того, чому k - …

17 clustering  k-means  convergence  gradient-descent  minimum 

Я експериментую з алгоритмом машини для підвищення градієнта через caretпакет в Р. Використовуючи невеликий набір даних про вступ до коледжу, я застосував такий код: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting machine …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 

Місця, які я читав про прокляття розмірності, пояснюють це в поєднанні насамперед з kNN та лінійними моделями взагалі. Я регулярно бачу найкращих рейтингів у Kaggle, використовуючи тисячі функцій на наборі даних, які навряд чи мають 100k балів даних. Вони, в основному, використовують бусте дерева та NN, серед інших. Це багато …

15 neural-networks  svm  k-means  k-nearest-neighbour  high-dimensional