Регульований індекс Rand vs коригувана взаємна інформація

Я намагаюся оцінити ефективність кластеризації. Я читав документацію по вивченню skiscit на метриках . Я не розумію різниці між ARI та AMI. Мені здається, що вони роблять одне й те саме двома різними способами.

Посилаючись на документацію:

Враховуючи знання присвоєння основного класу правди labels_true та призначення алгоритму кластеризації одних і тих же зразків labels_pred, скоригований індекс Rand є функцією, яка вимірює схожість двох призначень, ігноруючи перестановки та з можливістю нормалізації.

проти

Враховуючи знання присвоєння основного класу правди labels_true та призначення алгоритму кластеризації одних і тих же зразків labels_pred, Взаємна інформація є функцією, яка вимірює узгодження двох призначень, ігноруючи перестановки ... AMI було запропоновано недавно і нормалізується проти шанс.

Чи варто використовувати їх обох у своїй оцінці кластеризації чи це буде зайвим?

clustering python scikit-learn

— al27091
джерело

Містер Ранд не випадковий.

— Має QUIT - Anonymous-Mousse

Відповіді:

Це два з десятка, які всі намагаються порівняти кластеризацію.

Але вони не рівноцінні. Вони використовують різну теорію.

Іноді ARI може віддавати перевагу одному результату, а AMI іншому. Але часто вони погоджуються на перевагу (а не в цифрах).

— Має QUIT - Аноні-Мус
джерело

Що ви маєте на увазі під собою: «вони згодні в перевазі (а не в цифрах)?»

— al27091

При порівнянні декількох результатів.

— Має QUIT - Anonymous-Mousse

Правило:

Використовуйте ARI, коли кластеризація основної істини має великі кластери однакового розміру
США AMI, коли кластеризація основної істини є незбалансованою та існують невеликі кластери

Я працював над цією темою. Довідка: коригування для порівняльних заходів порівняння випадків

— Симона
джерело

Я застосував HDBSCAN та KMeans на деяких моїх наборах даних з потрібною кількістю кластерів для KMeans та правильним розміром min кластера для HDBSCAN. Моя проблема полягає в тому, що прогресування AMI не співвідноситься з прогресуванням ГРЗ. Я отримую середнє значення 0,3 і 0,35 в AMI, що є низьким. Я отримую результати ГРЗ, близькі до значення 0: 0,07 і 0,01 відповідно. Навіть у випадках, коли я отримував кращі показники AMI за допомогою HDBSCAN, мої показники ARI були дуже близькими до 0, тобто HDBSCAN призводить до зниження ARI, ніж KMeans, навіть у випадках, коли AMI вище.

— ryuzakinho

Якому типу результатів кластеризації відповідають значення 0,3 та 0,35 для AMI?

— Симона

pastebin.com/raw/WHvTxbLm Це один із випадків, які я не розумію: Краще AMI не означає кращого ГРЗ і навпаки. Чи є якась причина, чому я би довіряв відносному покращенню того чи іншого. Я не впевнений, на яку метрику слід звернути увагу, щоб покращити свої результати (з паперу, який ви зв'язали, я вважаю, що це повинен бути AMI з огляду на розподіл мого класу, але я все ще плутаюся).

— ryuzakinho

У вашому випадку результат HDBSCAN показує дуже великий кластер і багато маленьких, що є, за визначенням, незбалансованим рішенням. Отже, AMI більше з DBSCAN. Ваша основна правда є більш збалансованою, ніж це рішення. Тому я б застосував ARI, щоб вибрати тут рішення. З цього приводу, здається, що отримані вами рішення кластеризації не такі хороші. Можливо, це тому, що у вас багато кластерів. Чи можете ви зменшити кількість кластерів, які ви хочете? Або у вас є функції, які потрібно брати до уваги, а не використовувати кластеризацію, засновану на чистому відстані?

— Симона

Після більш якісного тестування виявляється, що AMI був більш надійним для мого використання. Дійсно, AMI сказав, що HDBSCAN кращий, і я дійсно вважав це кращим. Хоча у мене був один великий кластер шуму, інші кластери були чистішими за кластери KMEANS.

— ryuzakinho