Евклідова відстань та схожість

13

Я просто працюю з книгою «Колективний інтелект» (Тобі Сегаран) і натрапив на евклідову оцінку дистанції. У книзі автор показує, як обчислити схожість між двома рекомендаційними масивами (тобто . $\textrm{person} \times \textrm{movie} \mapsto \textrm{score})$

Він обчислює евклідову відстань для двох осіб і по $p_1$ $p_2$

d (p_{1}, p_{2}) = \sqrt{\sum_{i \in item} (s_{p_{1}} - s_{p_{2}})^{2}}

$d(p_1, p_2) = \sqrt{\sum_{i~\in~\textrm{item}} (s_{p_1} - s_{p_2})^2}$

Це має для мене цілком сенс. Те, що я насправді не розумію, це те, чому він в кінці рахує наступне, щоб отримати "схожість на відстані":

\frac{1}{1 + d (p_{1}, p_{2})}

$\frac{1}{1 + d(p_1, p_2)}$

Отже, я якось розумію, що це повинно бути перетворення від відстані до подібності (правда?). Але чому формуляр виглядає так? Хтось може це пояснити?

distance-functions similarities

— орієнтуватися
джерело

Способів перетворення несхожості та подібності між собою може бути багато - конкретна формула залежить від того, що має сенс для вас і для подальшого аналізу. У тому підручнику автор чомусь віддав перевагу формулі, яку ви показуєте; хтось інший в іншій ситуації може обрати іншу формулу. Найбільш геометрично правильний спосіб перетворення евклідової відстані у подібність випливав би з теореми косинусів за умовами, орієнтованими на дані, і описаний тут у абз. 1.

— ttnphns

Гаразд! Але якщо я правильно розумію, ви насправді не перетворюєте евклідову відстань у подібність, а просто використовуєте іншу функцію, яка повертає вам значення в межах 0 і 1 (через косинус), правда? Я маю на увазі, що мені здається іншим, ніж обчислення всіх відстаней, а потім перетворення їх на подібність, наприклад, інтерполяція між найменшою та найбільшою відстані. Правильно?

— навігація

Якщо у вас квадратна симетрична матриця квадратних евклідових відстаней і ви виконуєте на ній операцію "подвійного центрування", то ви отримуєте матрицю скалярних добутків, яка б спостерігалася, коли ви ставите джерело евклідового простору в центр своєї конфігурації об’єкти. Ці скалярні вироби мають схожість під кутом. Вони дуже схожі на коваріації . Вони не пов'язані в межах 0-1, вони можуть бути негативними, позитивними, а елементи діагоналі не обов'язково 1. Все-таки вони є подібністю.

— ttnphns

12

Зворотне - змінити відстань на подібність.

1 у знаменнику має бути таким, щоб максимальне значення було 1 (якщо відстань дорівнює 0).

Квадратний корінь - я не впевнений. Якщо відстань зазвичай більша за 1, корінь зробить великі відстані менш важливими; якщо відстань менше 1, це зробить великі відстані важливішими.

— Пітер Флом - Відновити Моніку
джерело

Вибачте! Квадратний корінь помилявся. Автор насправді виклав її у другій формулі, але у першій її випустив. Тож не повинно бути там

— перейдіть

Так, але ваш підказ із встановленням максимального значення дорівнює 1 має сенс! Дякую!

— навігація

4

Для вимірювання відстані та подібності (у семантичному сенсі) перше, що слід перевірити, - чи рухаєтесь ви в евклідовому просторі чи ні. Емпіричний спосіб перевірити це - оцінити відстань пари значень, для яких ви знаєте значення.

— Клаудіо Мартінес
джерело

1

Як ви згадали, ви знаєте розрахунок відстані Евкліденції, тому я пояснюю другу формулу.

Евклідова формула обчислює відстань, яка буде меншою для людей або предметів, які є більш подібними. Як і якщо вони однакові, то відстань дорівнює 0 і абсолютно різна, ніж вище 0.

Однак нам потрібна функція, яка дає більш високе значення, вони схожі. Це можна зробити, додавши функцію 1 (так що ви не отримаєте помилку поділу на нуль) та інвертуючи її. Начебто, якщо оцінка 0 і схожість оцінка 1/1 = 1

— user10009133
джерело

Я не розумію цієї відповіді.

— Майкл Р. Черник

Добре, скажімо, евклідова відстань між пунктом 1 і пунктом 2 дорівнює 4, а між пунктом 1 і пунктом 3 дорівнює 0 (значить, вони на 100% схожі). Це відстань елементів у віртуальному просторі. менша величина відстані означає, що вони знаходяться поруч один з одним, значить більше шансів на подібні. Тепер ми хочемо, щоб числове значення було таким, що воно дає більше число, якщо вони значно схожі. Таким чином, ми можемо обернути значення відстані. Але що, якщо ми маємо відстань, це 0, тому ми додаємо 1 у знаменник. тому показник подібності для пунктів 1 і 2 дорівнює 1 / (1 + 4) = 0,2, а для пункту1 і пункту 3 дорівнює 1 / (1 + 0) = 0

— користувач10009133

Можливо, ви говорите про якусь міру відстані, але евклідова відстань дотримується конкретної формули щодо векторного простору.

— Майкл Р. Черник

1 / 1 + d (p 1, p 2)

$1/1+d(p1,p2)$