Момент, що генерує функцію внутрішнього добутку двох гауссових випадкових векторів

Чи може хто-небудь підказати, як я можу обчислити функцію, що генерує момент, внутрішнього добутку двох гауссових випадкових векторів, кожен розподілений як , незалежних один від одного? Чи є для цього якийсь стандартний результат? Будь-який вказівник високо оцінений. $\mathcal N(0,\sigma^2)$

— abhibhat
джерело

Спочатку давайте розглянемо випадок . В кінці - (легке) узагальнення до довільного . $\Sigma = \sigma\mathbb{I}$ $\Sigma$

Почнемо з спостереження внутрішнього добутку - це сума змінних iid, кожна з них є добутком двох незалежних змінних Normal , тим самим зменшуючи питання до знаходження mgf останньої, оскільки mgf суми є продукт мгс. $(0,\sigma)$

Mgf можна знайти за допомогою інтеграції, але є більш простий спосіб. Коли $X$ і $Y$ є нормальними,

Х Y = ((Х + Y) / 2)^{2} - ((Х - Y) / 2)^{2}

$XY = ((X+Y)/2)^2 - ((X-Y)/2)^2$

- це різниця двох незалежних масштабованих чи-квадратних змінних. (Коефіцієнт масштабу становить тому що дисперсії дорівнюють .) Оскільки mgf змінної chi-квадрату дорівнює , mgf з дорівнює а mgf дорівнює . Помноживши, ми виявимо, що потрібний mgf дорівнює . $1/2$ $(X\pm Y)/2$ $1/2$ $1/\sqrt{1 - 2\omega}$ $((X+Y)/2)^2$ $1/\sqrt{1-\omega}$ $-((X-Y)/2)^2$ $1/\sqrt{1+\omega}$ $1/\sqrt{1-\omega^2}$

(Для подальшого ознайомлення зауважте, що коли і змінюються за шкалою , їхній масштаб продукту на , звідки також має масштабуватися на ) $X$ $Y$ $\sigma$ $\sigma^2$ $\omega$ $\sigma^2$

Це повинно виглядати звично: за деякими постійними факторами і знаком це виглядає як щільність ймовірності для розподілу Стьюдента t з градусами свободи. (Дійсно, якби ми працювали з характерними функціями замість mgfs, ми отримали б , що ще ближче до PDF-студента Student.) Не забувайте, що такого немає як Стьюдент t з dfs - важливо лише те, що mgf буде аналітичним в околиці і це явно (за теоремою бінома). $0$ $1/\sqrt{1 + \omega^2}$ $0$ $0$

З цього випливає, що розподіл внутрішнього продукту цих iid- гауссових векторів має mgf, рівний кратному продукту цього mgf, $n$ $n$

(1 - ω^{2} σ^{4})^{- н / 2}, н = 1, 2, \dots .

$(1 - \omega^2 \sigma^4)^{-n/2}, \quad n=1, 2, \ldots.$

При пошуку характеристичної функції розподілу Стьюдента, ми виводимо (з крихітним бітом алгебри або інтеграцією , щоб знайти постійну нормалізує) , що сам по собі PDF даються

f_{н, σ} (х) = \frac{2^{\frac{1 - н}{2}} | х |^{\frac{н - 1}{2}} К_{\frac{н - 1}{2}} (\frac{| х |}{σ^{2}})}{\sqrt{π} σ^{4} Γ (\frac{н}{2})}

$f_{n,\sigma}(x) = \frac{2^{\frac{1-n}{2}} |x|^{\frac{n-1}{2}} K_{\frac{n-1}{2}}\left(\frac{|x|}{\sigma ^2}\right)}{\sqrt{\pi } \sigma ^4 \Gamma \left(\frac{n}{2}\right)}$

( - функція Бесселя). $K$

Наприклад, ось сюжет цього PDF-файлу, накладеного на гістограму випадкової вибірки з таких внутрішніх добутків, де і : $10^5$ $\sigma=1/2$ $n=3$

Гістограма

Важко підтвердити точність мг на основі моделювання, але зауважимо (з теорії бінома), що

(1 + т^{2} σ^{4})^{- 3 / 2} = 1 - \frac{3 σ^{4} т^{2}}{2} + \frac{15 σ^{8} т^{4}}{8} - \frac{35 σ^{12} т^{6}}{16} + \frac{315 σ^{16} т^{8}}{128} + \dots,

$(1 + t^2 \sigma^4)^{-3/2} = 1-\frac{3 \sigma ^4 t^2}{2}+\frac{15 \sigma ^8 t^4}{8}-\frac{35 \sigma ^{12} t^6}{16}+\frac{315 \sigma ^{16} t^8}{128}+\ldots,$

з яких ми можемо відчитати моменти (розділені на фактичні факти). Через симетрію близько лише парні моменти. Для ми отримуємо такі значення, які порівнюються з необробленими моментами цього моделювання: $0$ $\sigma=1/2$

 k    mgf           simulation/k!
 2    0.09375       0.09424920
 4    0.00732422    0.00740436
 6    0.00053406    0.00054128
 8    0.00003755    0.00003674
10    2.58 e-6      2.17 e-6

Як і слід було очікувати, високі моменти моделювання почнуть відходити від моментів, поданих mgf; але принаймні до десятого моменту є чудова згода.

До речі, при розподіл двоекспонентний. $n=2$

Щоб розглянути загальний випадок, почніть із зауваження, що внутрішній продукт є об'єктом, що не залежить від координат. Тому ми можемо взяти основні напрямки (власні вектори) як координати. У цих координатах внутрішній добуток - це сума незалежних добутків незалежних нормальних змінних, кожен компонент розподілений з відхиленням, рівним його асоційованому власного значення. Таким чином, дозволяючи ненульовим власним значенням бути (з ), mgf повинен дорівнювати $\Sigma$ $\sigma_1^2, \sigma_2^2, \ldots, \sigma_d^2$ $0 \le d \le n$

{(\prod_{i = 1}^{г} (1 - ω^{2} σ_{i}^{4}))}^{- 1 / 2} .

$\left(\prod_{i=1}^d (1 - \omega^2\sigma_i^4)\right)^{-1/2}.$

Щоб підтвердити, що я не помилився в цьому міркуванні, я розробив приклад, де є матрицею $\Sigma$

(\begin{array}{ccc} 1 & \frac{1}{2} & - \frac{1}{8} \\ \frac{1}{2} & 1 & - \frac{1}{4} \\ - \frac{1}{8} & - \frac{1}{4} & \frac{1}{2} \end{array})

$\left( \begin{array}{ccc} 1 & \frac{1}{2} & -\frac{1}{8} \\ \frac{1}{2} & 1 & -\frac{1}{4} \\ -\frac{1}{8} & -\frac{1}{4} & \frac{1}{2} \end{array} \right)$

і обчислив, що його власні значення є

(σ_{1}^{2}, σ_{2}^{2}, σ_{3}^{2}) = (\frac{1}{16} (17 + \sqrt{65}), \frac{1}{16} (17 - \sqrt{65}), \frac{3}{8}) \approx (1.56639, 0,558609, 0,375) .

$\left(\sigma_1^2, \sigma_2^2, \sigma_3^2\right) = \left(\frac{1}{16} \left(17+\sqrt{65}\right),\frac{1}{16} \left(17-\sqrt{65}\right),\frac{3}{8}\right)\approx \left(1.56639,0.558609,0.375\right).$

Можна було обчислити PDF, числово оцінивши перетворення Фур'є характерної функції (як випливає з формули mgf, наведеної тут): графік цього PDF зображений на наступному малюнку у вигляді червоної лінії. У той же час я згенерував iid змінних з нормального розподілу та ще iid змінних таким же чином і обчислив крапкових продуктів . На графіку показана гістограма цих точкових продуктів (опускаючи деякі найбільш екстремальні значення - діапазон був від до ): $10^6$ $X_i$ $(0,\Sigma)$ $10^6$ $Y_i$ $10^6$ $X_i\cdot Y_i$ $-12$ $15$

Гістограма та PDF

Як і раніше, угода відмінна. Крім того, моменти добре узгоджуються через восьму і досить добре навіть на десятій:

 k    mgf           simulation/k!
 2     1.45313       1.45208
 4     2.59009       2.59605
 6     5.20824       5.29333
 8    11.0994       11.3115
10    24.4166       22.9982

Додаток

(Додано 9 серпня 2013 р.)

$f_{n,\sigma}$ - екземпляр дисперсійно-гамма-розподілу , який спочатку був визначений як "нормальна середньо-дисперсійна суміш, де щільність змішування є розподілом гамми". Він має стандартне розташування ( ), параметр асиметрії (симетричний), параметр масштабу та параметр форми (згідно параметризації Вікіпедії). $0$ $0$ $\sigma^2$ $n/2$

— дзижчати
джерело

Здрастуйте Уаубер, дякую за детальне пояснення. Я маю одне сумнів, хоча. Коли є загальним, терміни розширення суми внутрішнього добутку вже не є iid; отже, mgf суми більше не добуток mgfs. Тоді, як ми узагальнюємо вищевказаний аналіз на більш загальну сигму?

Σ

$\Sigma$

— abhibhat

Я додав новий розділ, щоб надати деякі (легкі) подробиці цього узагальнення, щоб зрозуміти, що нічого нового тут не задіяно. Ви також можете використовувати основні властивості mgfs, щоб записати mgf у тому випадку, коли дані також мають ненульові засоби, тим самим вирішуючи проблему в повній загальності.

— whuber