Використання кореляції як метрики відстані (для ієрархічної кластеризації)

Я хотів би ієрархічно кластеризувати свої дані, але замість того, щоб використовувати евклідову відстань, я хотів би використовувати кореляцію. Крім того, оскільки коефіцієнт кореляції коливається від -1 до 1, причому як -1, так і 1 позначають "співрегуляцію" в моєму дослідженні, я розглядаю як -1, так і 1 як d = 0. Отже, мій розрахунок становить $\ d = 1-|r|$

В окремому запитанні (щодо кластеризації k-значень) я читав, що ви повинні перетворити r в справжній евклідовий d, використовуючи теорему косинусу: $d = \sqrt{2(1-r)}$

Який найбільш точний спосіб перетворення кореляції на відстань для ієрархічної кластеризації?

— Мегатрон
джерело

Так, одним із можливих - і геометрично правдивим способом - є остання формула. Але ви можете знехтувати знаком якщо він має сенс для вас, так що . У більшості випадків ви можете скинути безпечно, не впливаючи на результати кластеризації. Відстань можна трактувати як евклідовий квадрат . У цій темі йшлося про те, чи є метричні відстані перетвореними кореляційними заходами.

r

$r$

d^{2} = 2 (1 - | r |)

$d^2=2(1-|r|)$

2

$2$

— ttnphns

Крім того, вам не потрібно завжди перетворювати у лінійну несхожість, таку як евклідова відстань. Не так рідко люди кластеризуються безпосередньо на абояк щодо подібності, це кутова схожість

r

$r$

r

$r$

| r |

$|r|$

— ttnphns

Вимоги до ієрархічної кластеризації

Ієрархічна кластеризація може використовуватися при довільній мірі подібності та несхожості. (Більшість інструментів очікують різниці, але дозволять отримати негативні значення. Ви самі переконаєтесь, чи будуть надані переваги малі чи великі значення.)

Тільки методи, засновані на центроїдах або дисперсії (такі як метод Уорда), є спеціальними, і їх слід застосовувати з квадратом Евкліда. (Щоб зрозуміти чому, будь ласка, уважно вивчіть ці зв’язки.)

Однозв'язний, середній зв'язок, повний зв'язок не сильно впливають, все одно це буде мінімум / середній / максимум парних відмінностей.

Кореляція як міра відстані

Якщо ви попередньо обробляєте свої дані ( спостережень, функцій) таким чином, що кожна функція має та (що відключає постійні функції!), То кореляція зводиться до косинусу: $n$ $p$ $\mu=0$ $\sigma=1$

Кор (Х, Y) = \frac{Ков (Х, Y)}{σ_{Х} σ_{Y}} = \frac{Е [(Х - {мк}_{Х}) (Y - {мк}_{Y})]}{σ_{Х} σ_{Y}} = Е [Х Y] = \frac{1}{н} ⟨ Х, Y ⟩

$\text{Corr} (X,Y) = \frac{\text{Cov}(X, Y)} {\sigma_X \sigma_Y} = \frac{\mathbb{E} \left[ (X - \mu_X) (Y - \mu_Y) \right]} {\sigma_X \sigma_Y} = \mathbb{E} [XY] = \frac1n \left<X, Y\right>$

За тих самих умов відстань у квадраті Евкліда також зменшується до косинусу:

г_{Евклід}^{2} (Х, Y) = \sum (Х_{i} - Y_{i})^{2} = \sum Х_{i}^{2} + \sum Y_{i}^{2} - 2 \sum Х_{i} Y_{i} = 2 н - 2 ⟨ Х, Y ⟩ = 2 н [1 - Кор (Х, Y)]

$d_\text{Euclid}^2(X,Y) = \sum (X_i - Y_i)^2 = \sum X_i^2 + \sum Y_i^2 - 2 \sum X_i Y_i \\ = 2n - 2\left<X, Y\right> = 2n \left[1 - \text{Corr}(X, Y)\right]$

Тому, якщо ваші дані не вироджуються, використання кореляції для ієрархічної кластеризації повинно бути добре. Просто попередньо обробіть його, як пояснено вище, а потім використовуйте квадратну евклідову відстань.

— Аноні-Мус
джерело

Only ward's method is special, and should be used with squared Euclidean. Не тільки Уорда. Будь-який метод обчислення центроїдів або відхилення від центроїдів потребує евклідової або квадратної евклідової (залежно від реалізації) відстані, задля геометричної точності. При втраті таких та належному попередженні їх можна використовувати з іншими метричними відстанями. Ці методи - це центроїда, "медіана", варда, дисперсія (не плутати з Вардом!) Та деякі інші.

— ttnphns

Дякую, я це зрозумів. Я не знав цих варіацій, я думав лише про одиночний / середній / повний / прихований.

— Аноні-Мус

У цій публікації багато помилок друку та невизначених виразів! Чи можете ви, будь ласка, переглянути його, виправити його та пояснити, що таке " " і на що може посилатися " "?

⟨, ⟩

$\langle, \rangle$

d i m

$dim$

— whuber