Розподіл скалярних добутків двох випадкових одиничних векторів у розмірах

Якщо і - два незалежні випадкові одиничні вектори в (рівномірно розподілені на одиничну сферу), який розподіл їх скалярного добутку (крапкового продукту) ? $\mathbf{x}$ $\mathbf{y}$ $\mathbb{R}^D$ $\mathbf x \cdot \mathbf y$

Я думаю, що при зростанні розподіл швидко (?) Стає нормальним з нульовою середньою величиною і зменшенням дисперсії у більших розмірах але чи є явна формула для ? $D$

lim_{D \to \infty} σ^{2} (D) \to 0,

$\lim_{D\to\infty}\sigma^2(D) \to 0,$

σ^{2} (D)

$\sigma^2(D)$

Оновлення

Я провів кілька швидких симуляцій. По-перше, генеруючи 10000 пар випадкових одиничних векторів для $D=1000$ можна легко побачити, що розподіл їх точкових продуктів ідеально гауссовий (насправді це досить гауссова вже для $D=100$ ), дивіться підплот зліва. По-друге, для кожного $D$ межах від 1 до 10000 (зі збільшенням кроків) я генерував 1000 пар і обчислював дисперсію. Білогаріфміческой графік показаний праворуч, і ясно , що формула дуже добре апроксимувати $1/D$ . Зауважте, що для $D=1$ і $D=2$ ця формула навіть дає точні результати (але я не впевнений, що станеться згодом).

крапкових продуктів між випадковими одиничними векторами

mathematical-statistics linear-algebra beta-distribution

— Амеба каже Відновити Моніку
джерело

@KarlOskar: дякую, це посилання є дуже актуальним, і насправді робить моє питання майже дублюючим, але не зовсім. Отже, існує чітка формула для яка є накопичувальною функцією розподілу крапових продуктів. Можна отримати похідну, щоб отримати PDF, а потім вивчити обмеження . Однак формула наведена з точки зору бета-функцій та неповних бета-функцій, тому розрахунки, ймовірно, будуть неприємними.

P {(x, y) > ϵ}

$P\{(\mathbf{x}, \mathbf{y})>\epsilon\}$

D \to \infty

$D\to \infty$

— Амеба каже: Відновити Моніку

@KarlOskar: від рівномірного розподілу на одиничній сфері в . Щоб генерувати випадковий вектор з цього розподілу, можна генерувати випадковий вектор з Гаусса з одиничною дисперсією, а потім нормалізувати його.

R^{D}

$\mathbb{R}^D$

— амеба каже: Відновити Моніку

Відповіді:

Оскільки ( як відомо ) рівномірний розподіл на одиничну сферу отримують шляхом нормалізації нормального розподілу варіантів, а крапковий добуток нормалізованих векторів є їх коефіцієнтом кореляції, відповіді на три питання: $S^{D-1}$ $D$ $t$

$u= (t+1)/2$ має розподіл Beta . $((D-1)/2,(D-1)/2)$
Різниця дорівнює (як припускається у запитанні). $t$ $1/D$
Стандартизований розподіл наближається до нормальності зі швидкістю $t$ $O\left(\frac{1}{D}\right).$

Метод

Точне розподіл скалярного твори одиничних векторів легко виходить геометричний, так як це компонент другого вектора в напрямку першого. Оскільки другий вектор не залежить від першого і рівномірно розподілений по одиничній сфері, його компонент у першому напрямку розподіляється так само, як і будь-яка координата сфери. (Зауважте, що розподіл першого вектора не має значення.)

Пошук щільності

Якщо ця координата остання, то щільність при пропорційна площі поверхні, що лежить на висоті між і на одиничній сфері. Ця пропорція виникає в поясі висотою та радіусом який по суті є конічним фрустумом, побудованим із радіусу $t \in [-1,1]$ $t$ $t+dt$ $dt$ $\sqrt{1-t^2},$ $S^{D-2}$ $\sqrt{1-t^2},$ висоти та нахилу . Звідси ймовірність пропорційна $dt$ $1/\sqrt{1-t^2}$

\frac{{(\sqrt{1 - t^{2}})}^{D - 2}}{\sqrt{1 - t^{2}}} d t = (1 - t^{2})^{(D - 3) / 2} d t .

$\frac{\left(\sqrt{1 - t^2}\right)^{D-2}}{\sqrt{1 - t^2}}\,dt = (1 - t^2)^{(D-3)/2} dt.$

Здавати в оренду $u=(t+1)/2 \in [0,1]$ тягне за собою . Підставлення цього до попереднього дає елемент ймовірності до нормалізуючої константи: $t = 2u-1$

f_{D} (u) d u \propto (1 - (2 u - 1)^{2})^{(D - 3) / 2} d (2 u - 1) = 2^{D - 2} (u - u^{2})^{(D - 3) / 2} d u .

$f_D(u)du \; \propto \; (1 - (2u-1)^2)^{(D-3)/2} d(2u-1) = 2^{D-2}(u-u^2)^{(D-3)/2}du.$

Одразу, що має бета-версію $u=(t+1)/2$ $((D-1)/2, (D-1)/2)$ розподіл , оскільки (за визначенням) його щільність також пропорційна

u^{(D - 1) / 2 - 1} {(1 - u)}^{(D - 1) / 2 - 1} = (u - u^{2})^{(D - 3) / 2} \propto f_{D} (u) .

$u^{(D-1)/2-1}\left(1-u\right)^{(D-1)/2-1} = (u-u^2)^{(D-3)/2} \; \propto \; f_D(u).$

Визначення граничної поведінки

Інформація про обмежувальну поведінку легко випливає з цього за допомогою елементарних прийомів: можна інтегрувати для отримання константи пропорційності ; можна інтегрувати (наприклад, використовуючи властивості функцій Beta), щоб отримати моменти, показавши, що дисперсія дорівнює і скорочується до (звідси, за теоремою Чебишева, ймовірність концентрується поблизу : $f_D$ $\frac{\Gamma \left(\frac{n}{2}\right)}{\sqrt{\pi } \Gamma \left(\frac{D-1}{2}\right)}$ $t^k f_D(t)$ $1/D$ $0$ $t=0$ ); і граничне розподіл потім знаходить, розглядаючи значення щільності стандартизованого розподілу, пропорційного для малих значень $f_D(t/\sqrt{D}),$ $t$

\begin{aligned} \log (f_{D} (t / \sqrt{D})) & = C (D) + \frac{D - 3}{2} \log (1 - \frac{t^{2}}{D}) \\ = C (D) - (1 / 2 + \frac{3}{2 D}) t^{2} + O (\frac{t^{4}}{D}) \\ \to C - \frac{1}{2} t^{2} \end{aligned}

$\eqalign{ \log(f_D(t/\sqrt{D})) &= C(D) + \frac{D-3}{2}\log\left(1 - \frac{t^2}{D}\right) \\ &=C(D) -\left(1/2 + \frac{3}{2D}\right)t^2 + O\left(\frac{t^4}{D}\right) \\ &\to C -\frac{1}{2}t^2 }$

де представляють (log) константи інтеграції. Очевидно, швидкість, з якою це наближається до нормальності (для якої щільність журналу дорівнює ), є $C$ $-\frac{1}{2}t^2$ $O\left(\frac{1}{D}\right).$

Малюнок

Цей графік показує щільність точкового добутку для , стандартизовану на одиницю дисперсії, та їх граничну щільність. Значення при збільшуються з (від синього через червоний, золотий, а потім зелений для стандартної нормальної щільності). Щільність для не відрізнятиметься від нормальної щільності при цій роздільній здатності. $D=4, 6, 10$ $0$ $D$ $D=1000$

— дзижчати
джерело

(+1) Дякую вам, @whuber, це чудова відповідь! Особлива подяка за те, що згадуєте слово "frustum". Так трапляється, що я прийняв іншу відповідь за кілька хвилин до того, як ви опублікували свою, і я не хотів би зараз її прийняти; сподіваюся, ти зрозумієш. Шкода, що не можна прийняти обох! До речі, зверніть увагу на дуже просте доказ виразу для відхилення від цієї відповіді: його можна побачити безпосередньо, не возившись з бета-функціями! Варіант крапкового добутку дорівнює дисперсії будь-якої координати сфери (як ви вже писали), і сума всіх з них повинна бути , QED

1 / D

$1/D$

D

$D$

1

$1$

— амеба говорить Відновити Моніку

Це приємне спостереження щодо варіацій.

— whuber

@amoeba, нещодавня активність також знову привернула мою увагу, і наскільки я ціную, що ти прийняв мою відповідь, цей набагато більш повний. Я б не заперечував проти того, якби ти змінився.

— еквалл

@ Student001: це чесний та щедрий коментар. Я переключив прийняту відповідь. Я також знайшов один Q і один з ваших, щоб подати заявку на компенсацію :)

— Амеба каже: Відновити Моніку

@mat Розподіл - . Це робить його бета-розподілом, який масштабується і зміщується з інтервалу в інтервал .

t

$t$

2 U - 1

$2U-1$

[0, 1]

$[0,1]$

[- 1, 1]

$[-1,1]$

— whuber

Давайте знайдемо розподіл, і тоді за стандартними результатами випливає дисперсія. Розгляньте векторний добуток і запишіть його у формі косинуса, тобто зауважте, що у нас де - кут між і . На останньому кроці я використав це для будь-яких подій іТепер розглянемо термін . Зрозуміло, що оскільки вибирається рівномірно відносно поверхні сфери, не має значення що

P (x^{'} y \leq t) = P (| x | | y | \cos θ \leq t) = P (\cos θ \leq t) = E P (\cos θ \leq t ∣ y),

$P(x'y\leq t)=P(|x||y|\cos\theta\leq t)=P(\cos\theta\leq t)=\mathbb{E}P(\cos\theta\leq t\mid y),$

θ

$\theta$

x

$x$

y

$y$

A

$A$

B

$B$

E P (A ∣ B) := E [E [χ_{A} ∣ B]] = E χ_{A} = P (A) .

$\mathbb EP(A\mid B):=\mathbb{E}[\mathbb{E}[\chi_A\mid B]]=\mathbb{E}\chi_A=P(A).$

P (\cos θ \leq t ∣ y)

$P(\cos\theta\leq t\mid y)$

x

$x$

y

$y$ насправді, має значення лише кут між і . Таким чином, термін всередині очікування насправді є постійним як функція і ми можемо вважати, щоТоді отримуємо, щоале оскільки є першою координатою нормалізованого гауссового вектора в ми маємо, що є гауссова з відхиленням , викликаючи асимптотичний результат цієї роботи .

x

$x$

y

$y$

y

$y$

y = [1, 0, 0, \dots]^{'} .

$y=[1,0,0,\dots ]'.$

P (x^{'} y \leq t) = P (x_{1} \leq t) .

$P(x'y\leq t)=P\left( x_1\leq t\right).$

x_{1}

$x_1$

R^{n},

$\mathbb{R}^n,$

x^{'} y

$x'y$

1 / n

$1/n$

Для явного результату дисперсії використовуйте той факт, що крапковий добуток є середнім нулем за незалежністю і, як показано вище, розподілений подібно до першої координати . За цими результатами пошук означає знаходження . Тепер зауважимо, що на кожну побудову і тому ми можемо записати де остання рівність випливає з того, що координати розподілені однаково. Складаючи речі, ми виявили, що $x$ $\text{Var}(x'y)$ $\mathbb{E}x_1^2$ $x'x=1$

1 = E x^{'} x = E \sum_{i = 1}^{n} x_{i}^{2} = \sum_{i = 1}^{n} E x_{i}^{2} = n E x_{1}^{2},

$1=\mathbb{E}x'x=\mathbb{E}\sum_{i=1}^nx_i^2=\sum_{i=1}^n\mathbb{E}x_i^2=n\mathbb{E}x_1^2,$

x

$x$

Var (x^{'} y) = E x_{1}^{2} = 1 / n

$\text{Var}(x'y)=\mathbb{E}x_1^2=1/n$

— еквалл
джерело

Дякую, але я розгублений: що саме є "бажаним результатом" і як це випливає з останнього рівняння? Остаточний розподіл ймовірностей має залежати від .

D

$D$

— амеба каже: Відновити Моніку

Насправді, як результат випливає з останнього рівняння, саме те, що обговорюється в math.SE потоці, який ви знайшли. Він включає бета-розподіли тощо, і обмежувальна поведінка (для мене) далеко не очевидна. Я припускаю , що повинен бути більш простий прямий шлях , щоб побачити , що .

σ^{2} (D) \approx 1 / D

$\sigma^2(D) \approx 1/D$

— Амеба каже: Відновити Моніку

Це залежить від розмірності, оскільки , де породжений вектор Гаусса. Відповідь я оновлю пізніше сьогодні чи завтра.

x_{1} = z_{1} | z |^{- 1}

$x_1=z_1 |z|^{-1}$

z

$z$

— еквалл

Нічого чудово, ваше останнє посилання забезпечує межу цього виразу, що включає зворотні бета-функції (які я боявся обчислити) у третьому рівнянні на сторінці 1. Отже, щоб завершити міркування: якщо сфера має радіус , то (асимптотично) розподіляється як . Це означає , що для сфери радіуса одиниці дисперсії разів менше, тобто . Однак у мене все ще виникає занепокоєння: я перевірив на від 1 до 4, і здається, дає точну дисперсію, навіть якщо розподіли для D = 1 або D = 2 дуже далекі від нормальних. За цим повинна бути глибша причина.

\sqrt{D}

$\sqrt{D}$

x_{1}

$x_1$

N (0, 1)

$\mathcal{N}(0,1)$

D

$D$

1 / D

$1/D$

D

$D$

1 / D

$1/D$

— amoeba повідомляє про відновлення Моніки

@amoeba Так, оновлено доказом цього.

— еквал

Щоб відповісти на першу частину вашого запитання, позначають . Визначте $Z = \langle X,Y \rangle = \sum X_i Y_i$ Добуток елементів елементів і позначених тут як буде розподілено відповідно до спільного розподілу та .

f_{Z_{i}} (z_{i}) = \int_{- \infty}^{\infty} f_{Z_{1}, \dots, Z_{D}} (z_{1}, \dots, z_{D}) d z_{i}

$f_{Z_i}(z_i) = \int_{-\infty}^\infty f_{Z_1,\ldots,Z_D}(z_1,\ldots,z_D) \: d z_i$

i^{t h}

$i^{th}$

X

$X$

Y

$Y$

Z_{i}

$Z_i$

X_{i}

$X_i$

Y_{i}

$Y_i$

тоді, оскільки

f_{Z_{i}} (z_{i}) = \int_{- \infty}^{\infty} f_{X_{i}, Y_{i}} (x, \frac{z_{i}}{x}) \frac{1}{| x |} d x

$f_{Z_i}(z_i) = \int_{-\infty}^\infty f_{X_i,Y_i}(x,\frac{z_i}{x})\frac{1}{|x|}dx$

Z = \sum Z_{i}

$Z = \sum Z_i$

f_{Z} (z) = \int_{- \infty}^{\infty} \dots \int_{- \infty}^{\infty} f_{Z_{1}, \dots, Z_{D}} (z_{1}, \dots, z_{d}) δ (z - \sum z_{i}) d z_{1} \dots d z_{d}

$f_Z(z) = \int_{-\infty}^\infty \ldots \int_{-\infty}^\infty f_{Z_1,\ldots,Z_D} (z_1,\ldots,z_d) \: \delta(z - \sum z_i)\: dz_1\ldots d z_d$

$\sigma$ $X$ $Y$

$\{Z_1,\ldots,Z_D\}$ $\mathbb{E}[Z_i] = \mu$ $\mathbb{V}[Z_i] = \sigma^2$ $\sigma^2(D) = \frac{\sigma^2}{D}$ $\lim_{D\to\infty} \sigma^2(D) = 0$

— Том
джерело

X

$X$

Y

$Y$

σ^{2} (D) = V a r (z_{i}) / D

$\sigma^2(D) = \mathrm{Var}(z_i)/D$

V a r (z_{i})

$\mathrm{Var}(z_i)$

D

$D$

V a r (z_{i}) = 1 / 2

$\mathrm{Var}(z_i)=1/2$

z_{i}

$z_i$

X

$X$

Y

$Y$

V a r (z_{i})

$\mathrm{Var}(z_i)$

V a r (z)

$\mathrm{Var}(z)$

1 / D

$1/D$