Лінійне перетворення випадкової величини високою прямокутною матрицею

Скажімо, у нас є випадковий вектор , проведений з розподілу з функцією густини ймовірностей . Якщо ми лінійно перетворимо його на повноцінне матрицю щоб отримати , то щільність задається $\vec{X} \in \mathbb{R}^n$ $f_\vec{X}(\vec{x})$ $n \times n$ $A$ $\vec{Y} = A\vec{X}$ $\vec{Y}$

f_{\vec{Y}} (\vec{y}) = \frac{1}{| det A |} f_{\vec{X}} (A^{- 1} \vec{y}) .

$f_{\vec{Y}}(\vec{y}) = \frac{1}{\left|\det A\right|}f_{\vec{X}}(A^{-1}\vec{y}).$

Тепер припустимо, що ми перетворимо $\vec{X}$ замість цього в $m \times n$ матриці $B$ , з $m > n$ , що дає $\vec{Z} = B\vec{X}$ . Ясно, що $Z \in \mathbb{R}^m$ , але він "живе" на $n$ -вимірному підпросторі $G \subset \mathbb{R}^m$ . Яка умовна щільність $\vec{Z}$ , враховуючи, що ми знаємо, що вона лежить у $G$ ?

Мій перший інстинкт повинен був використовувати псевдо-інверсію $B$ . Якщо $B = U S V^T$ являє собою розкладання по сингулярним значення $B$ , то $B^+ = V S^+ U^T$ є псевдообернених, де $S^+$ утворюється інвертуванням ненульових елементів діагональної матриці $S$ . Я здогадувався, що це дасть

f_{\vec{Z}} (\vec{z}) = \frac{1}{| \overset{+}{det} S |} f_{\vec{X}} (B^{+} \vec{z}),

$f_\vec{Z}(\vec{z}) = \frac{1}{\left|\det^+ S\right|} f_\vec{X}(B^+ \vec{z}),$ де під

\overset{+}{det} S

$\det^+ S$ я маю на увазі добуток ненульових сингулярних значень.

Це міркування узгоджується з щільністю для сингулярного нормального (обумовленого знанням про те, що змінна живе у відповідному підпросторі), наведеного тут і згаданого також тут і в цьому крос-валідованому дописі .

Але це не правильно! Константа нормалізації вимкнена. (Тривіальний) контрприклад наведено, розглядаючи такий випадок: З $X \sim \mathcal{N(0, 1)}$ , нехай

\vec{Y} = (\begin{matrix} 1 \\ 1 \end{matrix}) X = (\begin{matrix} X \\ X \end{matrix}) .

$\vec{Y} = \begin{pmatrix}1 \\ 1\end{pmatrix} X = \begin{pmatrix}X \\ X\end{pmatrix}.$ Тут матриця

B

$B$ зверху є лише тими векторами. Його псевдоінверсія -

B^{+} = (\begin{matrix} 1 / 2 & 1 / 2 \end{matrix})

$B^+ = \begin{pmatrix}1/2 & 1/2\end{pmatrix}$ і

\overset{+}{det} B = \sqrt{2}

$\det^+ B = \sqrt{2}$ . Міркування зверху пропонують

f_{\vec{Y}} (\vec{y}) = \frac{1}{\sqrt{2 π} \sqrt{2}} \exp (- \frac{1}{2} {\vec{y}}^{T} (B^{+})^{T} B^{+} \vec{y}),

$f_\vec{Y}(\vec{y}) = \frac{1}{\sqrt{2\pi}\sqrt{2}}\exp\left(-\frac{1}{2}\vec{y}^T (B^+)^T B^+ \vec{y}\right),$ але це насправді інтегрується (у рядку

y = x

$y = x$ ) до

\frac{1}{\sqrt{2}}

$\frac{1}{\sqrt{2}}$ . Я усвідомлюю, що в цьому випадку ви можете просто залишити один із записів який ви закінчили, але коли набагато більший, ідентифікуючи набір записів, які потрібно відкинути, це дратує. Чому псевдо-зворотні міркування не спрацьовують? Чи існує загальна формула функції густини лінійного перетворення множини випадкових величин за допомогою "високої" матриці? Будь-які посилання також будуть дуже вдячні.

\vec{Y}

$\vec{Y}$

B

$B$

— Ден
джерело

Для тих, хто може зіткнутися з цим у майбутньому ... джерело помилки насправді випливає з інтеграції. У наведеному вище прикладі інтеграція відбувається через лінію . Тому необхідно "параметризувати" рядок і врахувати якобіан параметризації при взятті інтеграла, оскільки кожен одиничний крок у -осі відповідає крокам довжини на лінії. Параметризація, яку я неявно використовував, була надана , іншими словами вказуючи обидва однакові записи за значенням. Це Jacobian , який акуратно скасовується за допомогою $y = x$ $x$ $\sqrt{2}$ $x \mapsto (x, x)$ $\vec{y}$ $\sqrt{2}$ $\sqrt{2}$ (походить від точно того ж якобіанця) у знаменнику.

Приклад був штучно простим - для загального перетворення може бути інша параметризація для виходу, що є природним у контексті проблеми. Оскільки параметризация повинна охоплювати той же підпростір як , і це підпростір гиперплоскости, параметризація сам по собі , ймовірно, буде лінійною. Викликаючи матричне представлення параметризації параметризації , вимога полягає просто в тому, щоб він мав той самий простір стовпців, що і (покриває ту саму гіперплощину). Тоді кінцева щільність стає $B$ $G$ $B$ $m \times n$ $L$ $B$

f_{\vec{Z}} (\vec{z}) = \frac{| \overset{+}{det} L |}{| \overset{+}{det} B |} f_{\vec{X}} (B^{+} \vec{z}) .

$f_{\vec{Z}}(\vec{z}) = \frac{\left|\det^+ L\right|}{\left|\det^+ B\right|}f_{\vec{X}}(B^+ \vec{z}).$

Взагалі, ця настройка є якоюсь дивною, і я думаю, що правильне робити - це знайти максимально лінійно незалежний набір рядків і видалити решту рядків (разом із відповідними компонентами перетвореної змінної ) , щоб отримати квадратну матрицю . Тоді проблема зводиться до повноцінного випадку (якщо має повний ранг стовпця). $B$ $\vec{z}$ $\hat B$ $n \times n$ $B$

— Ден
джерело