Рандомізована техніка сліду

10

Я зустрічав таку рандомізовану методику відстеження у М. Зеегера, "Оновлення низького рангу для розкладу Чолеського", Каліфорнійський університет в Берклі, Техн. Респ., 2007.

tr (A) = E [x^{T} A x]

$\operatorname{tr}(\mathbf{A}) = {E[\mathbf{x}^T \mathbf{A} \mathbf{x}]}$

де . $\mathbf{x} \sim N(\mathbf{0},\mathbf{I})$

Як людина без глибокого передумови математики, мені цікаво, як можна досягти цієї рівності. Крім того, як ми можемо інтерпретувати , наприклад геометрично? Куди слід шукати, щоб зрозуміти сенс прийняття внутрішнього добутку вектора та його значення діапазону? Чому середнє значення дорівнює сумі власних значень? Крім теоретичної властивості, яке її практичне значення? $\mathbf{x}^T \mathbf{A} \mathbf{x}$

Я написав фрагмент коду MATLAB, щоб побачити, чи працює він

#% tr(A) == E[x'Ax], x ~ N(0,I)

N = 100000;
n = 3;
x = randn([n N]); % samples
A = magic(n); % any n by n matrix A

y = zeros(1, N);
for i = 1:N
    y(i) = x(:,i)' * A * x(:,i);
end
mean(y)
trace(A)

Слід 15, де наближення дорівнює 14,9696.

normal-distribution matlab

— петрикор
джерело

12

NB Зазначений результат не залежить від будь-якого припущення про нормальність або навіть незалежність координат . Це також не залежить від того, позитивним певним. Дійсно, припустимо лише, що координати мають нульове середнє значення, дисперсію одиниці і є некорельованими (але не обов'язково незалежними); тобто , , і для всіх . $\newcommand{\x}{\mathbf{x}}\newcommand{\e}{\mathbb{E}}\newcommand{\tr}{\mathbf{tr}}\newcommand{\A}{\mathbf{A}}\x$ $\A$ $\x$ $\e \x_i = 0$ $\e \x_i^2 = 1$ $\e \x_i \x_j = 0$ $i \neq j$

Підхід голими руками

Нехай - довільна матриця . За визначенням . Тоді і так ми закінчили. $\A = (a_{ij})$ $n \times n$ $\tr(\A) = \sum_{i=1}^n a_{ii}$

t r (A) = \sum_{i = 1}^{n} a_{i i} = \sum_{i = 1}^{n} a_{i i} E x_{i}^{2} = \sum_{i = 1}^{n} a_{i i} E x_{i}^{2} + \sum_{i \neq j} a_{i j} E x_{i} x_{j},

$\tr(\A) = \sum_{i=1}^n a_{ii} = \sum_{i=1}^n a_{ii} \e \x_i^2 = \sum_{i=1}^n a_{ii} \e \x_i^2 + \sum_{i\neq j} a_{ij} \e \x_i \x_j ,$

Якщо це не зовсім очевидно, зауважте, що права частина за лінійністю очікування є

\sum_{i = 1}^{n} a_{i i} E x_{i}^{2} + \sum_{i \neq j} a_{i j} E x_{i} x_{j} = E (\sum_{i = 1}^{n} \sum_{j = 1}^{n} a_{i j} x_{i} x_{j}) = E (x^{T} A x)

$\sum_{i=1}^n a_{ii} \e \x_i^2 + \sum_{i\neq j} a_{ij} \e \x_i \x_j = \e\Big(\sum_{i=1}^n \sum_{j=1}^n a_{ij} \x_i \x_j \Big) = \e(\x^T \A \x)$

Доведення через властивості сліду

Є ще один спосіб написати це, що є сугестивним, але концептуально спирається на трохи більш досконалі інструменти. Нам потрібно, щоб і очікування, і оператор трасування були лінійними, і що для будь-яких двох матриць і відповідних розмірів, . Тоді, оскільки , маємо і так, $\A$ $\newcommand{\B}{\mathbf{B}}\B$ $\tr(\A\B) = \tr(\B\A)$ $\x^T \A \x = \tr(\x^T \A \x)$

E (x^{T} A x) = E (t r (x^{T} A x)) = E (t r (A x x^{T})) = t r (E (A x x^{T})) = t r (A E x x^{T}),

$\e(\x^T \A \x) = \e( \tr(\x^T \A \x) ) = \e( \tr(\A \x \x^T) ) = \tr( \e( \A \x \x^T ) ) = \tr( \A \e \x \x^T ),$

E (x^{T} A x) = t r (A I) = t r (A) .

$\e(\x^T \A \x) = \tr(\A \mathbf{I}) = \tr(\A) .$

Квадратні форми, внутрішні вироби та еліпсоїди

Якщо позитивно визначено, то внутрішній добуток на можна визначити через і визначає еліпсоїд у центром на початок. $\A$ $\mathbf{R}^n$ $\langle \x, \mathbf{y} \rangle_{\A} = \x^T \A \mathbf{y}$ $\mathcal{E}_{\A} = \{\x: \x^T \A \x = 1\}$ $\mathbf{R}^n$

— кардинальний
джерело

Досить заплутано слідкувати за жирними та mormalcase змінними. Я думаю, що вони є скалярними значеннями. Я чіткіше розумію, коли я починаю з форми очікування, як ви робили в останній частині. Тож для мене зараз дуже зрозумілий.

x_{i}

$\mathbf{x}_i$

x_{i}

$x_i$

E [(x^{T} A x)] = E [(\sum_{i = 1}^{n} \sum_{j = 1}^{n} a_{i j} x_{i} x_{j})] = \sum_{i = 1}^{n} a_{i i} E [x_{i}^{2}] + \sum_{i \neq j} a_{i j} E [x_{i} x_{j}]

$\newcommand{\x}{\mathbf{x}}\newcommand{\tr}{\operatorname{tr}} {E[(\x^T \mathbf{A} \x)]} = {E[\Big(\sum_{i=1}^n \sum_{j=1}^n a_{ij} x_i x_j \Big)]} = \sum_{i=1}^n a_{ii} {E[x_i^2]} + \sum_{i\neq j} a_{ij} {E[x_i x_j]}$

— петричор

x_{i}

$\mathbf{x}_i$ - - координата вектора . Інші - просто помилки. Вибач за те. Я намагався дотримуватися вашої нотації якомога ближче. Я зазвичай використовую з як координати випадкової змінної . Але я не хотів (потенційно) плутати.

i

$i$

x

$\mathbf{x}$

X = (X_{i})

$\mathbf{X} = (X_i)$

X_{i}

$X_i$

X

$\mathbf{X}$

— кардинал

Насправді, це відповідає у відповіді. Я просто хотів переконатися, що підписані змінні є елементами вектора. Тепер це зрозуміло.

— petrichor

Ну, це послідовно (зараз), тому що я це редагував! :) Дякую за вказівку на друкарські помилки. Я спробую додати трохи більше про геометрію в якийсь момент протягом наступних двох днів.

— кардинал

3

Якщо - симетричний позитивний певний, то з ортонормальним, а діагоналі зі власними значеннями по діагоналі. Оскільки має матрицю коваріації ідентичності, а - ортонормальну, також має матрицю коваріації ідентичності. Отже, записуючи , маємо . Оскільки оператор очікування лінійний, це просто . Кожен є chi-квадратом з 1 ступенем свободи, тому очікується значення 1. Отже, очікування є сумою власних значень. $A$ $A = U^tDU$ $U$ $D$ $x$ $U$ $Ux$ $y = Ux$ $E[x^TAx] = E[y^tDy]$ $\sum_{i=0}^n \lambda_i E[y_i^2]$ $y_i$

Геометрично симетричні позитивні визначені матриці знаходяться у 1-1 відповідності еліпсоїдам - задані рівнянням . Довжини осей еліпсоїда задаються через де - власні значення. $A$ $x^TAx = 1$ $1/\sqrt\lambda_i$ $\lambda_i$

Коли де - матриця коваріації, це квадрат відстані махаланобіса . $A = C^{-1}$ $C$

— aprokopiw
джерело

1

Дозвольте мені розібратися в частині, що є його практичним значенням. Є багато ситуацій , в яких ми маємо можливість обчислювати матрицю векторних творів ефективно , навіть якщо ми не будемо мати збережену копію матриці або не мають достатньо місця , щоб зберегти копію . Наприклад, може мати розмір 100 000 на 100 000 і повністю щільний - для зберігання такої матриці у форматі з плаваючою точкою з подвійною точністю потрібно 80 гігабайт оперативної пам’яті. $Ax$ $A$ $A$ $A$

Рандомізовані алгоритми , як це може бути використано для оцінки слідів або (використовуючи пов'язаний алгоритм) індивідуальні діагональні елементи . $A$ $A$

Деякі сфери застосування цієї методики для широкомасштабних проблем геофізичної інверсії обговорюються в

Дж. К. Маккарті, Б. Борчер і Р. Астер. Ефективне стохастичне оцінювання діагоналі матриці роздільної здатності моделі та узагальнена перехресна валідація для великих геофізичних обернених задач. Журнал геофізичних досліджень, 116, B10304, 2011. Посилання на статтю

— Брайан Борчерс
джерело

+1 Я зустрічався з рандомізованими алгоритмами в цьому семестрі і захоплювався ними. Дозвольте додати ще одну приємну статтю. Натан Halko, Пер-Гуннар Martinsson, Joel А. Тропп, «Знаходження структури з випадковістю: імовірнісні алгоритми для побудови наближених матричних розбиття», 2010, arxiv.org/abs/0909.4061

— Petrichor