Як змінюється подібність косинусу після лінійного перетворення?

9

Чи є математичний зв’язок між:

косинусна схожість ім'я двох векторів і , і $\operatorname{sim}(A, B)$ $A$ $B$
косинус подібності з і , неоднорідне масштабується з допомогою даної матриці ? Тут - задана діагональна матриця з нерівними елементами по діагоналі. $\operatorname{sim}(MA, MB)$ $A$ $B$ $M$ $M$

Я намагався пройти обчислення, але не зміг досягти простого / цікавого посилання (вираз). Цікаво, чи є такий.

Наприклад, кути не зберігаються при нерівномірному масштабуванні, але яка залежність між початковими кутами та кутами після нерівномірного масштабування? Що можна сказати про зв’язок між набором векторів S1 та іншим набором векторів S2 - де S2 отримується шляхом нерівномірного масштабування S1?

linear-algebra cosine-similarity

— турдус-мерула
джерело

@whuber, дякую! Так, M - задана матриця (матриця масштабування - таким чином, діагональна матриця, інших обмежень немає). У певному сенсі я хотів знати, що відбувається (з точки зору подібності косинусу для будь-якої пари векторів) з векторним простором, який зазнає нелінійного масштабування.

— turdus-merula

2

Можливо, варто відзначити, що якщо всі масштабні чинники є негативними (як можна було б вважати, природно), то всі симетричні позитивно-визначені матриці можна вважати "масштабуючими" матрицями. Відносини, які ви шукаєте, широко використовуються, зокрема , при вивченні та описі спотворень у картографічних прогнозах. Там цікавлять центри максимального та мінімального кутів на земній поверхні, які були б пов'язані з двома перпендикулярними напрямками на карті. Між цими кутами та співвідношеннями двох масштабних факторів існує пряма залежність.

— whuber

8

Оскільки є досить загальним, а зміна косинусної подібності залежить від конкретних і та їх відношення до , жодна визначена формула неможлива. Однак існують практично обчислювальні межі того, наскільки може змінитися подібність косинусу . Їх можна знайти, екстремізуючи кут між і враховуючи, що схожість косинуса між і є заданим значенням, скажімо, (де - кут між і ). Відповідь повідомляє нам, скільки кут $M$ $A$ $B$ $M$ $MA$ $MB$ $A$ $B$ $\cos(2\phi)$ $2\phi$ $A$ $B$ $2\phi$ можливо , може бути зігнутий перетворенням . $M$

Розрахунки загрожують безладно. Деякі розумні варіанти позначення, а також деякі попередні спрощення, зменшують зусилля. Виявляється, рішення в двох вимірах розкриває все, що нам потрібно знати. Це відстежувана проблема, залежна лише від однієї реальної змінної , яка легко вирішується за допомогою методів обчислення. Простий геометричний аргумент поширює це рішення на будь-яку кількість вимірів . $\theta$ $n$

Математичні передумови

За визначенням косинус кута між будь-якими двома векторами і отримують шляхом нормалізації їх до одиничної довжини та взяття їх добутку. Таким чином, $A$ $B$

\frac{A^{'} B}{\sqrt{(A^{'} A) (B^{'} B)}} = \cos (2 ϕ)

$\frac{A^\prime B}{\sqrt{(A^\prime A)\, (B^\prime B)}} = \cos(2\phi)$

і, записуючи , косинус кута між зображеннями і при перетворенні дорівнює $\Sigma = M^\prime M$ $A$ $B$ $M$

\begin{matrix} (1) & \frac{(M A)^{'} (M B)}{\sqrt{((M A)^{'} (M A)) ((M B)^{'} (M B))}} = \frac{A^{'} Σ B}{\sqrt{(A^{'} Σ A) (B^{'} Σ B)}} . \end{matrix}

$\frac{(MA)^\prime (MB)}{\sqrt{((MA)^\prime (MA))\, ((MB)^\prime (MB))}} = \frac{A^\prime \Sigma B}{\sqrt{(A^\prime \Sigma A) (B^\prime \Sigma B)}}.\tag{1}$

Зауважте, що в аналізі мають значення лише , а $\Sigma$ не самТаким чином, ми можемо скористатися сингулярною декомпозицією величини (SVD) для спрощення проблеми. Нагадаємо, що це виражає як добуток (справа наліво) ортогональної матриці , діагональної матриці та іншої ортогональної матриці : $M$ $M$ $M$ $V^\prime$ $D$ $U$

M = U D V^{'} .

$M = U\,D\,V^\prime.$

Іншими словами, існує основа привілейованих векторів (стовпці ), на які діє, змінюючи масштаб кожного окремо за допомогою діагонального запису (який я називатиму ) , а потім застосовуючи обертання (або анти-обертання) до результату. Це остаточне обертання не змінить жодної довжини чи кутів, тому не повинно впливати на . Ви можете переконатися, що це формально з розрахунком $e_1, \ldots, e_n$ $V$ $M$ $e_i$ $i^\text{th}$ $D$ $d_i$ $U$ $\Sigma$

Σ = M^{'} M = (U D V^{'})^{'} (U D V^{'}) = V D (U^{'} U) D V^{'} = V D^{2} V^{'} .

$\Sigma = M^\prime M = (U D V^\prime)^\prime (U D V^\prime) = V D (U^\prime U) D V^\prime = V D^2 V^\prime.$

Отже, для вивчення ми можемо вільно замінити будь-якою іншою матрицею, яка створює однакові значення в . Замовивши так що зменшення розміру (і припускаючи не тотожне дорівнює нулю), вибір хороший з є $\Sigma$ $M$ $(1)$ $e_i$ $d_i$ $M$ $M$

M = \frac{1}{d_{1}} D V^{'} .

$M = \frac{1}{{d_1}} D V^\prime.$

Діагональні елементи є $(1/{d_1})D$

1 = d_{1} / d_{1} \geq λ_{2} = d_{2} / d_{1} \geq λ_{3} = d_{3} / d_{1} \geq \dots \geq λ_{n} = d_{n} / d_{1} \geq 0.

$1 = d_1/d_1 \ge \lambda_2 = d_2/{d_1} \ge \lambda_3 = d_3/{d_1} \ge \cdots \ge \lambda_n = d_n/{d_1} \ge 0.$

Зокрема, вплив (будь то в його первісному чи зміненому вигляді) на всі кути повністю визначається тим, що $M$

M e_{i} = λ_{i} e_{i} .

$M e_i = \lambda_i e_i.$

Аналіз окремого випадку

Нехай . Оскільки зміна довжин векторів не змінює кут між ними, ми можемо вважати, що і є одиничними векторами. У площині всі такі вектори можуть бути позначені кутом, який вони роблять з , що дозволяє нам писати $n=2$ $A$ $B$ $e_1$

A = \cos (θ - ϕ) e_{1} + \sin (θ - ϕ) e_{2} .

$A = \cos(\theta-\phi)e_1 + \sin(\theta-\phi)e_2.$

Тому

B = \cos (θ + ϕ) e_{1} + \sin (θ + ϕ) e_{2} .

$B = \cos(\theta+\phi)e_1 + \sin(\theta+\phi)e_2.$

(Дивіться рисунок нижче.)

Застосувати просто: він фіксує перші координати і і їх другі координати на . Тому кут від до дорівнює $M$ $A$ $B$ $\lambda_2$ $MA$ $MB$

f (θ) = \arctan (λ_{2} \tan (θ + ϕ)) - \arctan (λ_{2} \tan (θ - ϕ)) .

$f(\theta) = \arctan(\lambda_2 \tan(\theta+\phi)) - \arctan(\lambda_2 \tan(\theta-\phi)).$

Оскільки - неперервна функція, ця різниця кутів є безперервною функцією . Насправді він диференційований. Це дозволяє нам знайти крайні кути, перевіривши нулі похідної . Це похідне просто обчислити: це відношення тригонометричних функцій. Нулі можуть зустрічатися лише серед нулів його чисельника, тому не будемо намагатися обчислити знаменник. Ми отримуємо $M$ $\theta$ $f^\prime(\theta)$

f^{'} (θ) = \frac{λ_{2} (1 - λ_{2}) (λ_{2} + 1) \sin (2 θ) \sin (2 ϕ)}{*} .

$f^\prime(\theta) = \frac{\lambda_2(1-\lambda_2)(\lambda_2+1)\sin(2\theta)\sin(2\phi)}{*}.$

Особливі випадки , і легко зрозуміти: вони відповідають ситуаціям, коли має знижений ранг (і так розбиває всі вектори на лінію); де є кратним матриці ідентичності; і де і паралельні (звідки кут між ними не може змінюватися, незалежно від ). Випадок виключається умовою . $\lambda_2=0$ $\lambda_2=1$ $\phi=0$ $M$ $M$ $A$ $B$ $\theta$ $\lambda_2=-1$ $\lambda_2 \ge 0$

Крім цих особливих випадків, нулі трапляються лише там, де : тобто або . Це означає, що лінія, визначена розтинає кут . Тепер ми знаємо, що крайні значення кута між і повинні лежати серед значень , тому давайте обчислимо їх: $\sin(2\theta)=0$ $\theta=0$ $\theta=\pi/2$ $e_1$ $AB$ $MA$ $MB$ $f(\theta)$

\begin{aligned} f (0) & = \arctan (λ_{2} \tan (ϕ)) - \arctan (λ_{2} \tan (- ϕ)) = 2 \arctan (λ_{2} \tan (ϕ)); \\ f (π / 2) & = \arctan (λ_{2} \tan (π / 2 + ϕ)) - \arctan (λ_{2} \tan (π / 2 - ϕ)) = 2 \arctan (λ_{2} \cot (- ϕ)) . \end{aligned}

$\eqalign{ f(0) &= \arctan(\lambda_2 \tan(\phi)) - \arctan(\lambda_2 \tan(-\phi)) = 2\arctan(\lambda_2\tan(\phi)); \\ f(\pi/2) &= \arctan(\lambda_2 \tan(\pi/2+\phi)) - \arctan(\lambda_2 \tan(\pi/2-\phi)) = 2\arctan(\lambda_2\cot(-\phi)). }$

Відповідні косинуси є

\begin{matrix} (2) & \cos (f (0)) = \frac{1 - λ_{2}^{2} \tan (ϕ)^{2}}{1 + λ_{2}^{2} \tan (ϕ)^{2}} \end{matrix}

$\cos(f(0)) = \frac{1 - \lambda_2^2 \tan(\phi)^2}{1 + \lambda_2^2 \tan(\phi)^2}\tag{2}$

і

\begin{matrix} (3) & \cos (f (π / 2)) = \frac{1 - λ_{2}^{2} \cot (ϕ)^{2}}{1 + λ_{2}^{2} \cot (ϕ)^{2}} = \frac{\tan (ϕ)^{2} - λ_{2}^{2}}{\tan (ϕ)^{2} + λ_{2}^{2}} . \end{matrix}

$\cos(f(\pi/2)) = \frac{1 - \lambda_2^2 \cot(\phi)^2}{1 + \lambda_2^2 \cot(\phi)^2} = \frac{\tan(\phi)^2 - \lambda_2^2 }{\tan(\phi)^2 + \lambda_2^2}.\tag{3}$

Часто достатньо зрозуміти, як спотворює прямі кути. У цьому випадку , що веде до , який ви можете підключити до попередніх формул. $M$ $2\phi=\pi/2$ $\tan(\phi) = \cot(\phi) = 1$

Зауважте, що чим менше стає, тим стають ці кути і тим більше спотворення. $\lambda_2$

На цьому малюнку показано чотири конфігурації векторів і розділених кутом . Одиничне коло та його еліптичне зображення під затінені для відліку (з дією рівномірно змінено масштаб, щоб зробити ). На малюнку заголовки вказують значення , середню точку і . Найближчі будь-які такі і можуть прийти при перетворенні - конфігурація, подібна до лівої з $A$ $B$ $2\phi = \pi/3$ $M$ $M$ $\lambda_1=1$ $\theta$ $A$ $B$ $A$ $B$ $M$ $\theta=0$ . Найбільш віддаленою від них може бути конфігурація на зразок тієї, що знаходиться праворуч з . Показано дві проміжні можливості. $\theta=\pi/2$

Рішення для всіх вимірів

Ми бачили, як діє, розширюючи кожен вимір на коефіцієнт . Це спотворить одиничну сферу в еліпсоїд. У визначення його головних осей. В відстань від початку координат, уздовж цих осей, до еліпсоїда. Отже, найменша, , - найкоротша відстань (у будь-якому напрямку) від початку до еліпсоїда, а найбільша - найдальша відстань (у будь-якому напрямку) від початку від еліпсоїда. $M$ $i$ $\lambda_i$ $\{A\,|\, A^\prime A = 1\}$ $e_i$ $\lambda_i$ $\lambda_n$ $\lambda_1$

У більш високих розмірах , і є частиною двовимірного підпростору. відображає одиничне коло в цьому підпросторі на перетин еліпсоїда з площиною, що містить та . Цей перетин, будучи лінійним викривленням кола, є еліпсом. Очевидно, що найдальша відстань до цього еліпса не більше а найкоротша відстань - не менше . $n\gt 2$ $A$ $B$ $M$ $MA$ $MB$ $\lambda_1=1$ $\lambda_n$

Як ми спостерігали в кінці попереднього розділу, найбільш екстремальною є можливість, коли і розташовані в площині, що містить два з для яких співвідношення відповідних є якомога меншим. Це станеться в площині . У нас вже є рішення для цієї справи. $A$ $B$ $e_i$ $\lambda_i$ $e_1, e_n$

Висновки

Крайності косинусної подібності, які можна досягти, застосувавши до двох векторів, що мають схожість на косинус , задаються формулами та . Вони досягаються, розміщуючи і під рівними кутами до напрямку, в якому максимально подовжує будь-який вектор (наприклад, напрямок ) і відокремлює їх у напрямку, в якому мінімально подовжує будь-який вектор ( наприклад, напрямок ). $M$ $\cos(2\phi)$ $(2)$ $(3)$ $A$ $B$ $\Sigma=M^\prime M$ $e_1$ $\Sigma$ $e_n$

Ці крайнощі можуть бути обчислені в термінах СВД з . $M$

— дзижчати
джерело

Це фантастична відповідь! Дуже дякую за цю детальну дискусію! Я вважаю, що ви маєте помилку в знаку в eqn (3), де ви просто повинні мати загальний знак мінус.

— LFH

Мене цікавить випадок, коли кут наближається до нуля, і я хотів би отримати нерівність між і . Чи правда, що виходячи з ваших обчислень, мені просто потрібно знайти найбільш крайні (що найменші) і в цьому випадку асимптотичну нерівність як ?

2 ϕ

$2\phi$

2 ϕ

$2\phi$

f

$f$

λ_{n}

$\lambda_n$

2 λ_{n} ϕ \leq f \leq 2 λ_{n}^{- 1} ϕ

$2\lambda_n\phi\leq f\leq 2\lambda_n^{-1}\phi$

ϕ \to 0

$\phi\to0$

— LFH

6

Вас, мабуть, цікавить:

(M A, M B) = A^{T} (M^{T} M) B,

$(MA,MB)=A^T(M^TM)B,$

Ви можете діагоналізувати (або, як ви його називаєте, PCA), що говорить про те, що подібність при перетворенні поводиться, проектуючи на основні компоненти, а згодом обчислення подібності в цьому новому просторі. Щоб розібрати це трохи більше, нехай головні компоненти будуть з власними значеннями . Тоді $M^TM=U\Sigma U^T$ $A,B$ $M$ $A,B$ $u_i$ $\lambda_i$

U B = \sum_{i} (u_{i}, b_{i}) u_{i}, U A = \sum_{i} (u_{i}, a_{i}) u_{i},

$UB=\sum_i(u_i,b_i)u_i, \ UA=\sum_i(u_i,a_i)u_i,$

що дає вам:

(M A, M B) = \sum_{i = 1}^{n} (u_{i}, a_{i}) (u_{i}, b_{i}) λ_{i} .

$(MA,MB)=\sum_{i=1}^n (u_i,a_i)(u_i,b_i)\lambda_i.$

Зауважте, що тут відбувається масштабування: розтягуються / скорочуються. Коли - одиничні вектори, і якщо кожен , то відповідає обертанню, і ви отримуєте: , що є рівнозначно тому, що внутрішні продукти є інваріантними при обертаннях. Взагалі кут залишається таким же, коли - конформна трансформація, яка в цьому випадку вимагає, щоб було зворотним, а полярне розкладання задовольняло з , тобто . $\lambda_i$ $A,B$ $\lambda_i=1$ $M$ $\mbox{sim}(MA,MB)=\mbox{sim}(A,B)$ $M$ $M$ $M$ $M=OP$ $P=aI$ $M^TM=a^2I$

— Алекс Р.
джерело

1

Ваша початкова постановка проблеми нехтує нормалізацією векторів , , та необхідних для обчислення схожості косинусів. Не видається, що наступний аналіз також стосується цієї нормалізації. Зазначимо, зокрема, що схожість косинусу зберігається навіть тоді, коли всі власні значення знаходяться на рівні (позитивного) значення, що відрізняється від . Це навіть показує, що в цьому простому випадку можна сказати набагато більше.

A

$A$

B

$B$

M A

$MA$

M B

$MB$

1

$1$

— whuber

@whuber: подібність косинусу зберігається саме тоді, коли - конформна трансформація, яка в цьому випадку еквівалентна необхідності бути зворотним, а кратним тотожності. Іншим способом полярне розкладання задовольняє , де . Ви маєте рацію по приводу нормалізації , але, здається , безглуздо говорити про косинус схожості з не нормованими векторами .

M

$M$

M

$M$

M^{T} M = a^{2} I

$M^TM=a^2I$

M

$M$

M = O P

$M=OP$

P = a I

$P=aI$

A, B

$A,B$

— Алекс Р.

2

Зовсім не дурно! Оскільки ця «подібність» задана косинусом кута між векторами, має сенс будь-які два ненульові вектори. Що я мав в виду «набагато більше , можна сказати , " є те , що ефективні обмеження на кут між зображеннями і можуть бути отримані в термінах кута між і і власних .

A

$A$

B

$B$

A

$A$

B

$B$

M

$M$

— whuber