Циклічний алгоритм k-означає

9

Згідно з wiki, найпоширенішим критерієм конвергенції є "призначення не змінилося". Мені було цікаво, чи може відбуватися їзда на велосипеді, якщо ми будемо використовувати такий критерій конвергенції? Буду радий, якщо хтось вказав на посилання на статтю, яка дає приклад їзди на велосипеді або доведе, що це неможливо.

clustering algorithms k-means

— Томек Тарчинський
джерело

2

Дозвольте підкреслити (оскільки це часто не помічається), що докази конвергенції потребують (у квадраті) евклідової відстані , щоб функція відстані та середня функція оптимізували один і той же критерій. Якщо ви використовуєте іншу відстань (насправді, ви не повинні використовувати відстань, але "найменшу суму квадратів"), ви можете втратити конвергенцію в k-значенні.

— Має QUIT - Anonymous-Mousse

7

Цей документ, як видається, доводить конвергенцію в кінцевій кількості кроків.

— Саймон Берн
джерело

1

Саме те, що я шукав!

— Томек Тарчинський

4

The $k$ -означає, що цільова функція суворо зменшується із кожною зміною призначення, що автоматично передбачає конвергенцію без циклу. Більше того, розділи виробляються на кожному етапі $k$ - засоби задовольняють "властивість Вороного" тим, що кожна точка завжди присвоюється найближчому її центру. Звідси випливає верхня межа загальної кількості можливих розділів, що дає кінцеву верхню межу часу завершення для $k$ -засоби.

— Суреш Венкатасубраманійський
джерело

Дякую, інтуїтивно зрозуміло, що цільова функція зменшується, але я не був впевнений, що вона суворо знижується. Я хотів переконатися, що немає патологічного випадку так само, як у лінійному програмуванні

— Томек Тарчинський

Ну так і ні. Хоча вона сходиться, це може зайняти експоненціальний час, як і симплекс. Більше того, для обох проблем ви можете показати, що "згладжені" варіанти сходяться в поліномічний час

— Суреш Венкатасубраманійський

2

У обмеженій точності може з'являтися їзда на велосипеді.

Їзда на велосипеді є частою в одній точності, винятковою в подвійній точності.

Якщо близький до локального мінімуму, об'єктивна функція може іноді трохи збільшуватися через помилки округлення. Це часто є нешкідливим, оскільки функція алгоритму знову зменшується і з часом досягає локального мінімуму. Але періодично алгоритм крокує на раніше відвідане завдання і починає їздити на велосипеді.

Легко та безпечно спостерігати за циклами у реальному застосуванні критеріїв зупинки.

— Франсуа Платить
джерело