Різниця між стандартними та сферичними алгоритмами k-означає

Я хотів би зрозуміти, в чому полягає основна різниця в реалізації між стандартними та сферичними алгоритмами кластеризації к-засобів.

На кожному кроці k-означає обчислює відстані між елементами векторів і центроїдами кластера і переназначає документ цьому кластеру, центроїд якого найближчий. Потім всі центроїди перераховуються.

У сферичних k-засобах всі вектори нормалізуються, а міра відстані - це косинусна несхожість.

Це все, чи є щось інше?

Питання:

Яка різниця між класичними k-засобами та сферичними k-засобами?

Класичні K-засоби:

У класичних k-засобах ми прагнемо мінімізувати евклідову відстань між центром кластера та членами кластеру. Інтуїція, що стоїть за цим, полягає в тому, що радіальна відстань від центру кластера до місця розташування елемента повинна «мати однаковість» або «бути подібною» для всіх елементів цього кластера.

Алгоритм:

• Встановити кількість кластерів (також кількість кластерів)
• Ініціалізуйте, випадковим чином призначивши точки в просторі для кластерних індексів
• Повторюйте до сходження
  • Для кожної точки знайдіть найближчий кластер і призначте точку кластеру
  • Знайдіть середнє значення для кожного кластера та середнє значення центру оновлення
  • Помилка - норма відстані кластерів

Сферичні K-засоби:

У сферичних k-засобах ідея полягає в тому, щоб встановити центр кожного кластера таким чином, щоб він робив однорідний і мінімальний кут між компонентами. Інтуїція схожа на погляд зірок - точки повинні мати послідовні відстані між собою. Цей простір простіше оцінити як "косинусну схожість", але це означає, що немає галактик "молочного шляху", що утворюють великі яскраві ділянки по небі даних. (Так, я намагаюся поговорити з бабусею в цій частині опису.)

Більш технічна версія:

Подумайте про вектори, речі, які ви зображуєте як стрілки з орієнтацією та фіксованою довжиною. Він може бути переведений де завгодно і бути однаковим вектором. реф

Орієнтацію точки в просторі (її кут від опорної лінії) можна обчислити за допомогою лінійної алгебри, зокрема крапкового добутку.

Якщо перемістити всі дані так, щоб їхній хвіст знаходився в одній і тій же точці, ми можемо порівняти "вектори" за їхнім кутом і згрупувати подібні в єдиний кластер.

Для наочності довжини векторів масштабують, щоб їх було легше «порівняти з очним яблуком».

Ви можете подумати про це як сузір'я. Зірки в одному скупченні в деякому сенсі близькі один одному. Це мої очні яблука, які вважаються сузір'ями.

Цінність загального підходу полягає в тому, що він дозволяє нам придумувати вектори, які в іншому випадку не мають геометричного виміру, як, наприклад, у методі tf-idf, де вектори є частотою слова в документах. Два "та" слова, що додаються, не дорівнює "the". Слова бувають неперервними та нечисловими. Вони нефізичні в геометричному сенсі, але ми можемо їх змайструвати геометрично, а потім використовувати геометричні методи для обробки. Сферичні k-засоби можна використовувати для кластеризації на основі слів.

$$\begin{bmatrix} x1&y1&x2&y2&group\\ 0&-0.8&-0.2013&-0.7316&B\\ -0.8&0.1&-0.9524&0.3639&A\\ 0.2&0.3&0.2061&-0.1434&C\\ 0.8&0.1&0.4787&0.153&B\\ -0.7&0.2&-0.7276&0.3825&A\\ 0.9&0.9&0.748&0.6793&C\\ \end{bmatrix}$$

Деякі моменти:

• Вони проектуються в одиничну сферу для обліку відмінностей у довжині документа.

Давайте попрацюємо над фактичним процесом, і подивимось, наскільки (погано) було моє «очне яблуко».

Процедура така:

1. (неявне в проблемі) з'єднайте хвости векторів за початком
2. проект на одиничну сферу (для врахування відмінностей у довжині документа)
3. використовувати кластеризацію для мінімізації " косинусної несхожості "

$$J = \sum_{i} d \left( x_{i},p_{c\left( i \right)} \right)$$
$$d \left( x,p \right) = 1- cos \left(x,p\right) = \frac{\langle x,p \rangle}{\left \|x \right \|\left \|p \right \|}$$

(незабаром буде більше змін)

Посилання:

1. http://epub.wu.ac.at/4000/1/paper.pdf
2. http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.1.111.8125&rep=rep1&type=pdf
3. http://www.cs.gsu.edu/~wkim/index_files/papers/refinehd.pdf
4. https://www.jstatsoft.org/article/view/v050i10
5. http://www.mathworks.com/matlabcentral/fileexchange/32987-the-spherical-k-means-algorithm
6. https://ocw.mit.edu/courses/sloan-school-of-management/15-097-prediction-machine-learning-and-statistics-spring-2012/projects/MIT15_097S12_proj1.pdf