Як зрозуміти недоліки ієрархічної кластеризації?

Чи може хтось пояснити плюси та мінуси ієрархічної кластеризації?

1. Чи мають ієрархічні кластери такі ж недоліки, що і K?
2. Які переваги ієрархічної кластеризації перед K означає?
3. Коли ми повинні використовувати засоби K над ієрархічною кластеризацією та навпаки?

Відповіді на цю посаду дуже добре пояснюють недоліки k означає. Як зрозуміти недоліки К-засобів

В той час, як $k$ -мейн намагається оптимізувати глобальну мету (дисперсія кластерів) і досягає локального оптимального, агломераційна ієрархічна кластеризація має на меті знайти найкращий крок у кожному злитті кластера (жадібний алгоритм), який робиться точно, але призводить до потенційно неоптимального рішення .

Слід використовувати ієрархічну кластеризацію, коли базові дані мають ієрархічну структуру (як кореляція на фінансових ринках), і ви хочете відновити ієрархію. Ви все ще можете застосувати $k$ для цього, але ви можете закінчити з розділами (від найбільш грубого (усі точки даних у кластері) до найтоншого (кожна точка даних є кластером)), які не вкладаються, і таким чином не належна ієрархія.

Якщо ви хочете зануритися в більш тонкі властивості кластеризації, ви, можливо, не захочете протиставити плоскі кластеризації, такі як $k$ -значення, ієрархічній кластеризації, такі як Одинична, Середня, Повна Зв'язки. Наприклад, всі ці кластеризації зберігають простір, тобто, коли ви створюєте кластери, ви не спотворюєте простір, тоді як ієрархічна кластеризація, наприклад Ward, не зберігає простір, тобто на кожному кроці об'єднання вона буде спотворювати метричний простір.

На закінчення, недоліки ієрархічних алгоритмів кластеризації можуть сильно відрізнятися один від одного. Деякі можуть поділяти властивості, схожі на $k$ -медіа. Але вони також можуть мати різні властивості: Уорд розширює простір, тоді як одинарний зв'язок зберігає простір, як $k$ -значення.

- редагування для точного властивостей, що зберігають простір, і розширення простору

Збереження простору: де D i j - відстань між кластерами C i і C j, які потрібно об'єднати, і

Розширення простору: тобто шляхом злиття C i і C j алгоритм відсуне далі кластер C k .

Масштабованість

означає, тут явний переможець. Про ( п ⋅ K ⋅ d ⋅ я ) набагато кращеніж O ( п 3 г ) (в деяких випадках O ( п 2 д ) ) масштабованість ієрархічної кластеризаціїтому щоправилоі до і я і д невеликі (на жаль, я , як правило, ростуть з п , тому O ( п ) робитьНЕ$k$$O(n\cdot k\cdot d\cdot i)$$O(n^3 d)$$O(n^2 d)$$k$$i$$d$$i$$n$$O(n)$зазвичай тримають). Також споживання пам’яті лінійне, на відміну від квадратичного (зазвичай існують спеціальні лінійні випадки).

Гнучкість

-засоби в застосуванні надзвичайно обмежені. Він по суті обмежений евклідовими відстанями (включаючи евклідові в ядрах простору і розбіжності Брегмана, але це досить екзотично, і ніхто насправді їх не використовує з k -засобами). Що ще гірше, k -менів працює лише на числових даних (які насправді повинні бути безперервними та щільними, щоб добре підходити для k -медіа).$k$$k$$k$$k$

Ієрархічна кластеризація - явний переможець тут. Він навіть не вимагає відстані - будь-який захід можна використовувати, включаючи функції подібності, просто віддаючи перевагу високим значенням низьким значенням. Категоричні дані? обов'язково використовуйте, наприклад, Жакард. Струни? Спробуйте відстань Левенштейна. Часовий ряд? впевнений. Дані змішаного типу? Відстань на говер. Є мільйони наборів даних, де можна використовувати ієрархічну кластеризацію, але де ви не можете використовувати -means.$k$

Модель

Тут немає переможця. -значить високий показник, оскільки він дозволяє значно скоротити дані. Центроїди легко зрозуміти та використовувати. З іншого боку, ієрархічна кластеризація виробляє дендрограму. Дендрограма також може бути дуже корисною для розуміння набору даних.$k$

Я просто хотів трохи додати до інших відповідей про те, як у певному сенсі є сильна теоретична причина віддати перевагу певним ієрархічним методам кластеризації.

Поширене припущення в кластерному аналізі полягає в тому, що дані вибираються з деякої основної щільності ймовірності якої ми не маємо доступу. Але припустимо, ми мали до нього доступ. Як ми визначаємо кластери з е ?$f$$f$

Дуже природним та інтуїтивно зрозумілим є підхід сказати, що кластери - це області високої щільності. Наприклад, розглянемо нижню пікову щільність нижче:$f$

Намалювавши лінію на графіку, ми спонукаємо набір кластерів. Наприклад, якщо ми намалюємо лінію при , отримаємо два кластери. Але якщо провести лінію на λ 3 , отримаємо єдиний кластер.$\lambda_1$$\lambda_3$

Щоб зробити це більш точним, припустимо, що у нас є довільне . Які кластери f на рівні λ ? Вони є сполученою складовою множини суперрівень { x : f ( x ) ≥ λ } .$\lambda > 0$$f$$\lambda$$\{x : f(x) \geq \lambda \}$

$\lambda$ $\lambda$$f$$f$

$f$$\mathcal X$$C_1$$\{ x : f(x) \geq \lambda_1 \}$$C_2$$\{ x : f(x) \geq \lambda_2 \}$$C_1$$\lambda_1$, and $C_2$ is a cluster at level $\lambda_2$. Then if $\lambda_2 < \lambda_1$, then either $C_1 \subset C_2$, or $C_1 \cap C_2 = \emptyset$. This nesting relationship holds for any pair of clusters in our collection, so what we have is in fact a hierarchy of clusters. We call this the cluster tree.

So now I have some data sampled from a density. Can I cluster this data in a way that recovers the cluster tree? In particular, we'd like a method to be consistent in the sense that as we gather more and more data, our empirical estimate of the cluster tree grows closer and closer to the true cluster tree.

Hartigan was the first to ask such questions, and in doing so he defined precisely what it would mean for a hierarchical clustering method to consistently estimate the cluster tree. His definition was as follows: Let $A$ and $B$ be true disjoint clusters of $f$ as defined above -- that is, they are connected components of some superlevel sets. Now draw a set of $n$ samples iid from $f$, and call this set $X_n$. We apply a hierarchical clustering method to the data $X_n$, and we get back a collection of empirical clusters. Let $A_n$ be the smallest empirical cluster containing all of $A \cap X_n$, and let $B_n$ be the smallest containing all of $B \cap X_n$. Then our clustering method is said to be Hartigan consistent if $\Pr(A_n \cap B_n) = \emptyset \to 1$ as $n \to \infty$ for any pair of disjoint clusters $A$ and $B$.

Essentially, Hartigan consistency says that our clustering method should adequately separate regions of high density. Hartigan investigated whether single linkage clustering might be consistent, and found that it is not consistent in dimensions > 1. The problem of finding a general, consistent method for estimating the cluster tree was open until just a few years ago, when Chaudhuri and Dasgupta introduced robust single linkage, which is provably consistent. I'd suggest reading about their method, as it is quite elegant, in my opinion.

So, to address your questions, there is a sense in which hierarchical cluster is the "right" thing to do when attempting to recover the structure of a density. However, note the scare-quotes around "right"... Ultimately density-based clustering methods tend to perform poorly in high dimensions due to the curse of dimensionality, and so even though a definition of clustering based on clusters being regions of high probability is quite clean and intuitive, it often is ignored in favor of methods which perform better in practice. That isn't to say robust single linkage isn't practical -- it actually works quite well on problems in lower dimensions.

Lastly, I'll say that Hartigan consistency is in some sense not in accordance with our intuition of convergence. The problem is that Hartigan consistency allows a clustering method to greatly over-segment clusters such that an algorithm may be Hartigan consistent, yet produce clusterings which are very different than the true cluster tree. We have produced work this year on an alternative notion of convergence which addresses these issues. The work appeared in "Beyond Hartigan Consistency: Merge distortion metric for hierarchical clustering" in COLT 2015.

An additional practical advantage in hierarchical clustering is the possibility of visualising results using dendrogram. If you don't know in advance what number of clusters you're looking for (as is often the case...), you can the dendrogram plot can help you choose $k$ with no need to create separate clusterings. Dedrogram can also give a great insight into data structure, help identify outliers etc. Hierarchical clustering is also deterministic, whereas k-means with random initialization can give you different results when run several times on the same data. In k-means, you also can choose different methods for updating cluster means (although the Hartigan-Wong approach is by far the most common), which is no issue with hierarchical method.

EDIT thanks to ttnphns: One feature that hierarchical clustering shares with many other algorithms is the need to choose a distance measure. This is often highly dependent on the particular application and goals. This might be seen as an additional complication (another parameter to select...), but also as an asset - more possibilities. On the contrary, classical K-means algorithm specifically uses Euclidean distance.