К-означає: Скільки ітерацій у практичних ситуаціях?

Я не маю досвіду в галузі видобутку даних або великих даних, тому хотілося б почути, як ви поділилися певним досвідом.

Чи реально люди керують k-засобами, PAM, CLARA тощо на дійсно великому наборі даних? Або вони просто випадковим чином вибирають з нього зразок? Якщо вони просто беруть вибірку набору даних, чи був би результат надійним, якщо набір даних зазвичай не розподіляється?

Чи можемо ми в практичних ситуаціях під час виконання цих алгоритмів сказати, скільки ітерацій зазвичай триватиме до зближення? Або кількість ітерацій завжди зростає з розміром даних?

Я запитую це, тому що я думаю розробити підхід до припинення ітеративних алгоритмів до конвергенції, але результати все ще прийнятні. Я думаю, що варто спробувати, якщо кількість повторень, скажімо, більше 1000, так що ми можемо заощадити деякі обчислювальні витрати та час. Як ти гадаєш?

1. K-засоби дешеві. Ви можете дозволити собі запустити його для багатьох ітерацій.

2. Існують погані алгоритми (стандартний) і хороші алгоритми. Для хороших алгоритмів пізніші ітерації часто коштують набагато менше 1% від першої ітерації.

3. Є реально повільні реалізації. Не використовуйте їх.

4. K-засобів на "великих" даних не існує. Тому що він працює лише на низькомірних векторних даних. Ви не перевищите пам'ять сучасного сервера з такими даними. так, більші дані існують - але ви не можете використовувати k-засоби, скажімо, за місяць даних Twitter, тому що це не дасть вам нічого корисного.

При гарній реалізації на сучасному сервері найбільшому набору даних ви можете знайти, де k-засобам все-таки дає корисний результат, ймовірно, потрібно менше 1 хвилини для обчислення до конвергенції. Так навіщо турбуватися думати про межу ітерації?