Обмежена задача оптимізації в матричній ентропії

У мене є обмежена проблема оптимізації в ентропії матриці (Шеннона) . Матриця може бути записана як сума матриць 1 рангу виду де - заданий нормалізований вектор. Коефіцієнти матриць першої позиції - це невідомі, в яких ми оптимізуємо, і вони повинні бути більшими за нуль і дорівнювати 1. $\mathtt{(sum(entr(eig(A))))}$ $A$ $[v_i\,v_i^T]$ $v_i$

У синтаксисі, подібному CVX, проблема полягає в наступному: задана змінна $\mathtt{c(n)}$

мінімізувати с у м (е н т r (е i г (А)))

$\text{minimize} \qquad \mathtt{sum(entr(eig(A)))}$

\begin{aligned} на тему А & = \sum c_{i} v_{i} v_{i}^{Т} \\ \sum c_{i} & = 1 \\ c_{i} & \geq 0 \end{aligned}

$\begin{align} \text{subject to} \qquad A &= \sum c_i v_i v_i^T\\ \sum c_i &= 1\\ c_i &\ge 0\end{align}$ .

Чи є у когось ідея, як це ефективно вирішити? Я вже знаю, що це, ймовірно, не може бути розглянуто як напіввизначена проблема програмування (SDP).

optimization entropy

— Висихає
джерело

Редагувати: колега поінформував мене, що мій спосіб, наведений нижче, є прикладом загального методу в наступному документі, коли він спеціалізується на функції ентропії,

Овертон, Майкл Л. та Роберт С. Вомерслі. "Другі похідні для оптимізації власних значень симетричних матриць." Журнал SIAM щодо матричного аналізу та застосувань 16.3 (1995): 697-718. http://ftp.cs.nyu.edu/cs/facturing/overton/papers/pdffiles/eighess.pdf

Огляд

У цьому дописі я показую, що проблема оптимізації добре поставлена і що обмеження нерівності неактивні при розв’язанні, потім обчислюють першу та другу похідні Фреше функції ентропії, а потім пропонують метод Ньютона щодо проблеми з усуненим обмеженням рівності. Нарешті, представлений код Matlab та числові результати.

Добре поставлена проблема оптимізації

По-перше, сума позитивних визначених матриць є позитивно визначеною, тому для сума матриць рангу-1 є позитивно визначеною. Якщо множина є повним рангом, то власні значення позитивні, тому логарифми власних значень можна приймати. Таким чином, цільова функція чітко визначена в інтер'єрі здійсненного набору. $c_i > 0$

А (c) : = \sum_{i = 1}^{N} c_{i} v_{i} v_{i}^{Т}

$A(c):=\sum_{i=1}^N c_i v_i v_i^T$

v_{i}

$v_i$

A

$A$

По-друге, як і будь-який , втрачає ранг, тому найменше власне значення переходить до нуля. Тобто, як . Оскільки похідна вибухає як , не може бути послідовність послідовно кращих і кращих точок, що наближаються до межі доцільної множини. Таким чином, проблема чітко визначена, а крім того, обмеження нерівності $c_i \rightarrow 0$ $A$ $A$ $\sigma_{min}(A(c)) \rightarrow 0$ $c_i \rightarrow 0$ $-\sigma \log(\sigma)$ $\sigma \rightarrow 0$ неактивні. $c_i \ge 0$

Фреш-похідні функції ентропії

У внутрішній частині можливої області функція ентропії є фрешетом, диференційованою скрізь, і двічі диференційованою Фреше, де б не повторилися власні значення. Для здійснення методу Ньютона нам потрібно обчислити похідні ентропії матриці, що залежить від власних значень матриці. Для цього потрібні обчислення чутливості розкладання власного значення матриці щодо змін у матриці.

Нагадаємо, що для матриці з власним значенням розкладання похідна матриці власного значення щодо змін вихідної матриці дорівнює, і похідна власний вектор матриця, де є продуктом Адамар , з матрицею коефіцієнтів $A$ $A = U \Lambda U^T$

г Λ = Я \circ (U^{Т} г А U),

$d\Lambda = I \circ (U^T dA U),$

г U = U С (г А),

$dU = UC(dA),$

\circ

$\circ$

С = {\begin{cases} \frac{у_{i}^{Т} г А у_{j}}{λ_{j} - λ_{i}}, & i = j \\ 0, & i = j \end{cases}

$C = \begin{cases} \frac{u_i^T dA u_j}{\lambda_j - \lambda_i}, & i=j \\ 0, &i=j \end{cases}$

Такі формули виводяться шляхом диференціювання рівняння власного значення , а формули дотримуються кожного разу, коли власні значення відрізняються. Коли є повторюються власні значення, формула для має знімний розрив , який може бути продовжений до тих пір , як неєдиним власні вектори обрані ретельно. Детальніше про це дивіться у наступній презентації та статті . $AU=\Lambda U$ $d\Lambda$

Друга похідна потім знаходить шляхом повторної диференціації,

\begin{aligned} г^{2} Λ & = г (Я \circ (U^{Т} г А_{1} U)) \\ = Я \circ (г U_{2}^{Т} г А_{1} U + U^{Т} г А_{1} г U_{2}) \\ = 2 Я \circ (г U_{2}^{Т} г А_{1} U) . \end{aligned}

$\begin{align} d^2 \Lambda &= d(I \circ (U^T dA_1U)) \\ &= I \circ (dU_2^T dA_1 U + U^T dA_1 dU_2) \\ &= 2 I \circ (dU_2^T dA_1 U). \end{align}$

$d^2 \Lambda$ $dU_2$ $C$ $v_i$

Усунення обмеження рівності

$\sum_{i=1}^N c_i = 1$ $N-1$

c_{N} = 1 - \sum_{i = 1}^{N - 1} c_{i} .

$c_N = 1-\sum_{i=1}^{N-1} c_i.$

$N-1$

г f = г С_{1}^{Т} М^{Т} [Я \circ (V^{Т} U Б U^{Т} V)]

$df = dC_1^T M^T [I \circ (V^T U B U^T V)]$

г г f = г С_{1}^{Т} М^{Т} [Я \circ (V^{Т} [2 г U_{2} Б_{а} U^{Т} + U Б_{б} U^{Т}] V)],

$ddf = dC_1^T M^T [I \circ (V^T[2dU_2 B_a U^T + U B_b U^T]V)],$

М = [\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ - 1 & - 1 & \dots & - 1 \end{matrix}],

$M = \begin{bmatrix} 1 & \\ & 1 & \\ &&\ddots& \\ &&&1\\ -1 & -1 & \dots & -1 \end{bmatrix},$

Б_{а} = г i а г (1 + журнал λ_{1}, 1 + журнал λ_{2}, \dots, 1 + журнал λ_{N}),

$B_a = \mathrm{diag}(1+\log \lambda_1, 1 + \log \lambda_2, \ldots, 1 + \log \lambda_N),$

Б_{б} = г i а г (\frac{г_{2} λ_{1}}{λ_{1}}, \dots, \frac{г_{2} λ_{N}}{λ_{N}}) .

$B_b = \mathrm{diag}(\frac{d_2\lambda_1}{\lambda_1},\ldots,\frac{d_2\lambda_N}{\lambda_N}).$

Метод Ньютона після усунення обмеження

Оскільки обмеження нерівності неактивні, ми просто починаємо в здійсненому наборі та запускаємо довірчий регіон чи пошук рядків неточного Ньютона-КГ для квадратичного зближення до внутрішніх максимумів.

Метод такий: (не враховуючи деталі пошуку довіри регіону / рядка)

$\tilde{c} = [1/N,1/N,\ldots,1/N]$
$c = [\tilde{c},1 - \sum_{i=1}^{N-1} c_i]$
$A = \sum_i c_i v_i v_i^T$
$U$ $\Lambda$ $A$
$G = M^T [I \circ (V^T U B U^T V)]$
$H G = p$ $p$ $H$ $H$ $\delta \tilde{c}$ $dU_2$ $B_a$ $B_b$ $М^{Т} [Я \circ (V^{Т} [2 г U_{2} Б_{а} U^{Т} + U Б_{б} U^{Т}] V)]$ $M^T [I \circ (V^T[2dU_2 B_a U^T + U B_b U^T]V)]$
$\tilde{c} \leftarrow \tilde{c} - p$
Перейти 2.

Результати

$v_i$ $N=100$ $v_i$

>> N = 100;
>> V = randn (N, N);
>> для k = 1: NV (:, k) = V (:, k) / норма (V (:, k)); кінець
>> maxEntropyMatrix (V);
Ітерація Ньютона = 1, норма (градус f) = 0,67748
Ітерація Ньютона = 2, норма (градус f) = 0,03644
Ітерація Ньютона = 3, норма (градус f) = 0,0012167
Ітерація Ньютона = 4, норма (градус f) = 1.3239e-06
Ітерація Ньютона = 5, норма (градус f) = 7,7114e-13

Щоб побачити, що обчислена оптимальна точка насправді є максимумом, ось графік того, як змінюється ентропія, коли оптимальна точка порушена випадковим чином. Усі збурення спричиняють зменшення ентропії. введіть тут опис зображення

Код Matlab

Функція "все в 1" для мінімізації ентропії (щойно додана до цієї публікації): https://github.com/NickAlger/various_scripts/blob/master/maxEntropyMatrix.m

— Нік Алгер
джерело

Дуже дякую! Я вирішив це просто, з градієнтним наголосом сам, але це, мабуть, більш надійно. Факт, що v має бути повноцінним у файлі matlab - це єдине, що мене турбує.

— Висихає

@ NickAlger Надане посилання не працює, чи можу я попросити вас переглянути?

— Творець

@Creator оновив посилання у публікації! github.com/NickAlger/various_scripts/blob/master/…

— Нік

@NickAlger Чи існує обмеження на матриці, якою алгоритм може працювати? Чи добре цей алгоритм для матриці зі складними елементами? У моєму випадку SVD виходить з ладу через деякий час, оскільки матриця має Nan.

— Творець

Я не думаю, що складні числа повинні бути проблемою. Одне обмеження методу полягає в тому, що оптимальне рішення не може мати повторних власних значень, і, напевно, є те, що відбувається тут. У цьому випадку метод сходить до чогось, що ділиться на нуль у рівнянні С. Ви можете спробувати випадковим чином збурити входи і побачити, чи це допомагає. Існує спосіб подолати це в документі Overton, на який згадувалося вище, але мій код не такий просунутий.

— Нік Алгер