Формування формули інерції в науці

Я хотів би кодувати kmeans, що кластеруються в python, використовуючи панди та scikit learn. Для того, щоб вибрати хороший k, я хотів би зашифрувати статистику прогалини від Tibshirani та ін 2001 ( pdf ).

Мені хотілося б знати, чи можу я використати результат inertia_ від scikit і адаптувати статистичну формулу розриву без необхідності перекодувати всі розрахунки відстаней.

Хтось знає формулу інерції, яка використовується в scikit / знає простий спосіб перекодувати статистику розриву за допомогою функцій дистанції на високому рівні?

— Скретч
джерело

Я думаю, що це питання має достатній статистичний зміст, щоб бути тематичним для резюме, але зауважте, що воно вимагає досить складного програмування та знань Python. Отримати хорошу відповідь може бути важко. Ви можете попросити / бути готовим погодитися і на псевдокоді , і / або вам може знадобитися розділити це питання на 2 частини, 1 тут про статистичні аспекти та 1 частина на стеку Overflow про аспекти програмування Python. (А може, ні, я точно не знаю, але я просто хочу попередити вас; ми побачимо, як воно пройде.)

— gung - Відновіть Моніку

Це питання потребує визначення терміну "інерція". Це схоже на його вигадане всередині python.

— ttnphns

Я думаю, що я знайшов свою відповідь на кластеризацію kmeans:

Переглянувши вихідний код git, я виявив, що для scikit learn інерція обчислюється як сума квадратичної відстані для кожної точки до її найближчого центру, тобто присвоєного кластеру. Тому $I = \sum_{i}(d(i,cr))$ де $cr$ є центроїдом призначеного кластера і $d$ - відстань у квадраті.

Тепер формула статистики розриву передбачає

W_{к} = \sum_{r = 1}^{к} \frac{1}{(2 * н_{r})} D_{r}

$W_k = \sum_{r=1}^{k}\frac 1 {(2*n_r) }D_r$ де

D_{r}

$D_r$ - сума квадратних відстаней між усіма точками кластера

r

$r$ .

Вводячи $+c$ , $-c$ у формулі відстані у квадраті ( $c$ будучи центроїдом кластера $r$ координати), у мене є термін, який відповідає Інерції (як у scikit) + термін, який зникає, якщо кожен $c$ є барицентром кожного кластеру (який, як передбачається, є в кмеанах). Так я здогадуюсь $W_k$ насправді є науковою інерцією.

У мене ще два питання:

Ви вважаєте, чи моє обчислення правильне? (Наприклад, я не знаю, чи це стосується ієрархічної кластеризації.)
Якщо я правдивий вище, я зашифрував статистику розриву (як різницю інерцій журналу між оцінкою та кластеризацією), і вона погано спрацьовує, особливо на наборі даних райдужної оболонки, хто-небудь пробував це?

— Скретч
джерело

Найкраще не ставити питань у своїх відповідях. Якщо це насправді не відповідь на ваше запитання, а лише часткове рішення для уточнення реального питання, було б краще відредагувати своє запитання та вставити цю інформацію.

— gung - Відновіть Моніку

@Scratch Ви коли-небудь отримували пітонську реалізацію статистики розриву для роботи над набором даних про Iris? Я борюся з тим же питанням.

— Zelazny7

Так, я зашифрував один кілька місяців тому. Як я можу вам надіслати це?

— Скретч

Не повинно бути такої формули

W_{к} = \sum_{r = 1}^{к} \frac{D_{r}}{(2 * н_{r})}

$W_k = \sum_{r=1}^{k}\frac {D_r} {(2*n_r) }$ ?

— Бісванат