Що обґрунтовує цей обчислення похідної матричної функції?

У курсі машинного навчання Ендрю Нг він використовує цю формулу:

$\nabla_A tr(ABA^TC) = CAB + C^TAB^T$

і він робить швидкий доказ, який показано нижче:

$\nabla_A tr(ABA^TC) \\ = \nabla_A tr(f(A)A^TC) \\ = \nabla_{\circ} tr(f(\circ)A^TC) + \nabla_{\circ}tr(f(A)\circ^T C)\\ =(A^TC)^Tf'(\circ) + (\nabla_{\circ^T}tr(f(A)\circ^T C)^T \\ = C^TAB^T + (\nabla_{\circ^T}tr(\circ^T)Cf(A))^T \\ =C^TAB^T + ((Cf(A))^T)^T \\ = C^TAB^T + CAB$

Доказ здається дуже щільним, без будь-яких коментарів, і я маю проблеми з його розумінням. Що саме сталося від другої до третьої рівності?

machine-learning matrix derivative

— MoneyBall
джерело

Він повинен робити особливі припущення щодо розмірів

A

$A$ ,

B

$B$ і

C

$C$ , бо в іншому випадку ця формула взагалі не має сенсу. У лівій частині

A

$A$ повинна бути матриця

i \times j

$i\times j$ ,

B

$B$ a

j \times j

$j\times j$ матриця і

C

$C$ a

i \times m

$i\times m$ матриця для довільних невід’ємних цілих чисел

i, j, m

$i,j,m$ . Але тоді продукти праворуч би не були визначені, якщо

i = m

$i=m$ .

— whuber

@whuber Я бачу. Зважаючи на припущення, я досі не розумію, як відбувся перехід від другого до третього рядка, де він вводить .

\circ

$\circ$

— MoneyBall

Між другим і третім рядком він нехай . Між другим і третім рядком він використовує правило продукту. пізніше він використовує правило ланцюга, щоб позбутися .

f (A) = A B

$f(A)=AB$

f ()

$f()$

— Брайан Борчерс

Існує тонке, але сильне зловживання позначенням, яке робить багато кроків заплутаними. Давайте розглянемо це питання, повернувшись до визначень матричного множення, транспозиції, слідів та похідних. Для тих, хто бажає опустити пояснення, просто перейдіть до останнього розділу "Зробити все разом", щоб побачити, наскільки коротка і проста сувора демонстрація може бути.

Позначення та поняття

Розміри

Для виразу має сенс, коли - матриця , має бути (квадрат) матрицею, а має бути матрицею, звідки добуток є матриця . Для того, щоб взяти слід (який є сумою діагональних елементів, ім'я ), тоді , склавши квадратною матрицею. $ABA^\prime C$ $A$ $m\times n$ $B$ $n\times n$ $C$ $m\times p$ $m\times p$ $\operatorname{Tr}(X)=\sum_i X_{ii}$ $p=m$ $C$

Похідні

Позначення « » з'являється для позначення похідної виразу по відношенню до . Як правило, диференціація операція , яка виконується на функції . Похідною в точці є лінійним перетворенням . Вибираючи бази для цих векторних просторів, таке перетворення можна представити як матрицю Тут не так! $\nabla_A$ $A$ $f:\mathbb{R}^N\to\mathbb{R}^M$ $x\in \mathbb{R}^N$ $Df(x):\mathbb{R}^N\to\mathbb{R}^M$ $M\times N$

Матриці як вектори

Натомість розглядається як елемент : його коефіцієнти розкручуються (як правило, рядком за рядком або стовпцем за стовпцем) у вектор довжиною . Функція має реальні значення, звідки . Отже, має бути матрицею : це рядковий вектор, що представляє лінійну форму на . Однак, обчислення у запитанні використовують інший спосіб подання лінійних форм: їх коефіцієнти згортаються в матриць. $A$ $\mathbb{R}^{mn}$ $N=mn$ $f(A)=\operatorname{Tr}(ABA^\prime C)$ $M=1$ $Df(x)$ $1\times mn$ $\mathbb{R}^{mn}$ $m\times n$

Слід як лінійна форма

Нехай - константа матриці . Потім, за визначенням сліду та множення матриці, $\omega$ $m\times n$

\begin{aligned} Tr (A ω^{'}) & = \sum_{i = 1}^{m} (A ω^{'})_{i i} = \sum_{i = 1}^{m} (\sum_{j = 1}^{n} A_{i j} (ω^{'})_{j i}) = \sum_{i, j} ω_{i j} A_{i j} \end{aligned}

$\eqalign{ \operatorname{Tr}(A\omega^\prime) &= \sum_{i=1}^m(A\omega^\prime)_{ii} = \sum_{i=1}^m\left(\sum_{j=1}^n A_{ij}(\omega^\prime)_{ji}\right) = \sum_{i,j} \omega_{ij}A_{ij} }$

Це виражає найбільш загальну можливу лінійну комбінацію коефіцієнтів : - це матриця тієї ж форми, що і а її коефіцієнт у рядку а стовпець - коефіцієнт у лінійній комбінації. Оскільки , ролі та можуть змінюватися, надаючи еквівалентний вираз $A$ $\omega$ $A$ $i$ $j$ $A_{ij}$ $\omega_{ij}A_{ij}=A_{ij}\omega_{ij}$ $\omega$ $A$

\begin{matrix} (1) & \sum_{i, j} ω_{i j} A_{i j} = Tr (A ω^{'}) = Tr (ω A^{'}) . \end{matrix}

$\sum_{i,j} \omega_{ij}A_{ij} = \operatorname{Tr}(A\omega^\prime) = \operatorname{Tr}(\omega A^\prime).\tag{1}$

Ідентифікуючи постійну матрицю з будь-якою з функцій або , ми можемо представляти лінійну утворює на просторі матриць як матриць. (Не плутайте їх із похідними функцій від до !) $\omega$ $A\to \operatorname{Tr}(A \omega^\prime)$ $A\to \operatorname{Tr}(\omega A^\prime)$ $m\times n$ $m\times n$ $\mathbb{R}^n$ $\mathbb{R}^m$

Обчислення похідних

Визначення

Похідні багатьох матричних функцій, що зустрічаються в статистиці, найлегше і надійно обчислюються з визначення: вам не потрібно дійсно вдаватися до складних правил диференціації матриць. Це визначення говорить, що є диференційованим при якщо і лише тоді, коли є лінійне перетворення таке, що $f$ $x$ $L$

f (x + h) - f (x) = L h + o (| h |)

$f(x+h) - f(x) = Lh + o(|h|)$

при як завгодно малих переміщень . Позначення мало-о означає, що помилка, допущена при наближенні різниці , довільно менша, ніж розмір для досить малих . Зокрема, ми завжди можемо ігнорувати помилки, пропорційні . $h\in \mathbb{R}^N$ $f(x+h)-f(x)$ $Lh$ $h$ $h$ $|h|^2$

Розрахунок

Давайте застосуємо визначення до розглядуваної функції. Помножуючи, розширюючи та ігноруючи цей термін із продуктом двох у ньому, $h$

\begin{matrix} (2) & \begin{aligned} f (A + h) - f (A) & = Tr ((A + h) B (A + h)^{'} C) - Tr (A B A^{'} C) \\ = Tr (h B A^{'} C) + Tr (A B h^{'} C) + o (| h |) . \end{aligned} \end{matrix}

$\eqalign{ f(A+h)-f(A) &= \operatorname{Tr}((A+h)B(A+h)^\prime C) - \operatorname{Tr}(ABA^\prime C) \\ &= \operatorname{Tr}(hBA^\prime C) +\operatorname{Tr}(ABh^\prime C) + o(|h|).\tag{2} }$

Для ідентифікації похідної ми повинні отримати це у формі . Перший член в правій частині є вже в такому вигляді, з . Інший термін праворуч має форму для . Давайте випишемо це: $L=Df(A)$ $(1)$ $\omega = BA^\prime C$ $\operatorname{Tr}(Xh^\prime C)$ $X=AB$

\begin{matrix} (3) & Tr (X h^{'} C) = \sum_{i = 1}^{m} \sum_{j = 1}^{n} \sum_{k = 1}^{m} X_{i j} h_{k j} C_{k i} = \sum_{i, j, k} h_{k j} (C_{k i} X_{i j}) = Tr ((C X) h^{'}) . \end{matrix}

$\operatorname{Tr}(Xh^\prime C) = \sum_{i=1}^m\sum_{j=1}^n\sum_{k=1}^m X_{ij} h_{kj} C_{ki} = \sum_{i,j,k}h_{kj} \left(C_{ki}X_{ij}\right) =\operatorname{Tr}((CX)h^\prime).\tag{3}$

Згадуючи , можна переписати $X=AB$ $(2)$

f (A + h) - f (A) = Tr (h B A^{'} C) + Tr (C A B h^{'}) + o (| h |) .

$f(A+h) - f(A) = \operatorname{Tr}(h\, BA^\prime C\,) + \operatorname{Tr}(CAB\, h^\prime\,)+o(|h|).$

Саме в цьому сенсі , що ми можемо вважати похідну на , щоб бути тому що ці матриці грають ролі у формулах слідів . $f$ $A$

D f (A) = (B A^{'} C)^{'} + C A B = C^{'} A B^{'} + C A B,

$Df(A) = (BA^\prime C)^\prime + CAB = C^\prime A B^\prime + CAB,$

ω

$\omega$

(1)

$(1)$

Збираємо це все разом

Ось тоді повне рішення.

Нехай бути матриці, в матриці, а матрицю. Нехай . Нехай - матриця з довільно малими коефіцієнтами. Тому що (за ідентичністю ) є диференційована та її похідна - це лінійна форма, що визначається матрицею $A$ $m\times n$ $B$ $n\times n$ $C$ $m\times m$ $f(A) = \operatorname{Tr}(ABA^\prime C)$ $h$ $m\times n$ $(3)$
$\begin{aligned} f (А + год) - f (А) & = Тр (год Б А^{'} С) + Тр (А Б {год}^{'} С) + о (| год |) \\ = Тр (год (С^{'} А Б^{'})^{'} + (С А Б) {год}^{'}) + о (| год |), \end{aligned}$ $\eqalign{f(A+h) - f(A) &= \operatorname{Tr}(hBA^\prime C) +\operatorname{Tr}(ABh^\prime C) + o(|h|) \\ &=\operatorname{Tr}(h(C^\prime A B^\prime)^\prime + (CAB)h^\prime) + o(|h|),}$ $f$ $С^{'} А Б^{'} + С А Б .$ $C^\prime A B^\prime + CAB.$

Оскільки це займає лише близько половини роботи і передбачає лише основні маніпуляції з матрицями та слідами (множення та переміщення), це слід вважати простішою - і, можливо, більш виразною - демонстрацією результату. Якщо ви дійсно хочете зрозуміти окремі етапи в оригінальній демонстрації, вам може бути корисним порівняти їх із наведеними тут розрахунками.

— дзижчати
джерело

Корисно знати, що в цілому всякий раз, коли матриці мають сумісні розміри. Знаючи це, роблять (3) тривіальний крок.

tr (A B C) = tr (C A B)

$\mbox{tr}(ABC)=\mbox{tr}(CAB)$

— Брайан Борчерс

@Amoeba Я не можу сказати, ти намагаєшся бути жартівливим чи ні. Ні питання, ні відповідь не мають нічого спільного з частковими похідними. Форма явно є лінійна форма , визначена на векторному просторі з речові матриці. Коли хтось стверджує, що похідна функції у точці дорівнює деякій матриці , то це означає, що є лінійною форма, задана .

(1)

$(1)$

Mat (m, n)

$\operatorname{Mat}(m,n)$

m \times n

$m\times n$

f : Mat (m, n) \to R

$f:\operatorname{Mat}(m,n)\to\mathbb{R}$

A

$A$

ω

$\omega$

D f (A)

$Df(A)$

X :\to Tr (X ω^{'})

$X:\to\operatorname{Tr}(X\omega^{\,\prime})$

— whuber

@Amoeba Це точно так - це чітко виправдовує твердження в першому рядку цієї відповіді. Ось чому я написав «у цьому сенсі», а згодом у резюме використав фразу «визначається», а не «дорівнює». Я не заперечую, що пояснення було складним; Я подумаю, як це уточнити, і я вдячний за всі ваші коментарі та пропозиції.

— whuber

@ user10324 Більшість публікацій на цьому веб-сайті - це моя власна формулювання - я рідко звертаюся до джерел (і я документую їх, коли це роблю). Ці пости є дистиляцією від читання багатьох книг і паперів. Деякі з найкращих книг не були тими, які є суто математично суворими, але які прекрасно пояснили та проілюстрували основні ідеї. Перші, які приходять в голову - з метою витонченості - це Фрідман, Пісані та Первес, Статистика (будь-яке видання); Джек Кіфер, Вступ до статистичних висновків ; та Стівен Шрев, Стохастичний обчислення для фінансів II .

— whuber

@whuber Нарешті я розумію, що таке лінійна форма сліду. Прошу вибачення за те, що знову задали те саме питання на окремих посадах, коли я міг прочитати ваші пояснення більш уважно. У мене є ще одне питання. Якщо ваше рівняння можна застосувати для пошуку похідних будь-якої матричної функції, чи має такий же розмір, як ? Отже, якщо , то ?

f (x + h) - f (x) = L h + o (| h |)

$f(x+h)−f(x)=Lh+o(|h|)$

h

$h$

x

$x$

x \in R^{m \times n}

$x \in \mathbb{R}^{m \times n}$

h \in R^{m \times n}

$h \in \mathbb{R}^{m \times n}$

— MoneyBall