Лінійне програмування з матричними обмеженнями

Огляд

Можливо, ви захочете спробувати варіант методу помножувальних напрямків множників (ADMM), який виявив дивовижну швидку конвергенцію при проблемах типу lasso. Стратегія полягає у формулюванні задачі з розширеним лагранжаном, а потім зробіть градієнтне сходження на подвійну задачу. Особливо приємно для цієї конкретної регуляризації, оскільки в негладкій частині кожної ітерації методу є точне рішення, яке ви можете просто оцінити елемент за елементом, тоді як гладка частина передбачає вирішення лінійної системи. $l_1$ $l^1$

У цій посаді ми

отримати загальну формулювання ADMM для узагальнення вашої проблеми,
вивести підпрограми для кожної ітерації ADMM та спеціалізувати їх на своїй ситуації, а потім
досліджувати отриману лінійну систему , яка повинна бути вирішена кожної ітерації, і розробити швидкий вирішувач (або предобуславліватель) на основі попереднього обчислення власного значення розкладання (або низький ранг наближення цього) для і . $M^TM$ $YY^T$
підсумуйте за допомогою декількох заключних зауважень

Більшість великих ідей тут висвітлено в наступному чудовому оглядовому документі,

Бойд, Стівен та ін. "Розподілена оптимізація та статистичне навчання за допомогою методу змінних напрямків множників". Основи та тенденції в машинному навчанні 3.1 (2011): 1-122. http://www.stanford.edu/~boyd/papers/pdf/admm_distr_stats.pdf

Перш ніж розібратися в деталях, хочу зазначити, що це метод / алгоритм відповіді, а не практична відповідь на код - якщо ви хочете скористатися цим методом, вам знадобиться прокрутити власну реалізацію.

Формулювання ADMM

Загалом, припустимо, ви хочете вирішити

\begin{aligned} \underset{х}{хв} & \sum_{i} | х_{i} | \\ вул & А х = б \end{aligned} .

$\begin{array}{rl} \min_{x} & \sum_{i} |x_i|\\ \textrm{s.t.} & Ax = b \end{array}.$

Проблема в оригінальному дописі потрапляє в цю категорію після відповідної векторизації. (це лише в принципі - ми побачимо, що векторизацію не потрібно виконувати на практиці)

Ви можете замість цього вирішити еквівалентну проблему, який має лагранжець

\begin{aligned} \underset{х, z}{хв} & \sum_{i} | х_{i} | + \frac{α}{2} | | х - z | |^{2} + \frac{β}{2} | | А z - б | |^{2} \\ вул & А z = б \\ & & х = z, \end{aligned}

$\begin{array}{rl} \min_{x,z} & \sum_{i} |x_i| + \frac{\alpha}{2}||x-z||^2 + \frac{\beta}{2}||Az-b||^2 \\ \textrm{s.t.} & Az = b \\ \textrm{&} & x = z, \end{array}$

\begin{aligned} L (х, z, λ, γ) = & \sum_{i} | х_{i} | + \frac{α}{2} | | х - z | |^{2} + \frac{β}{2} | | А z - б | |^{2} + λ^{Т} (А z - б) + γ^{Т} (х - z) \\ = & \sum_{i} | х_{i} | + \frac{α}{2} | | х - z + \frac{1}{α} γ | |^{2} + \frac{β}{2} | | А z - б + \frac{1}{β} λ | |^{2} \\ + \frac{α}{2} | | \frac{1}{α} γ | |^{2} + \frac{β}{2} | | \frac{1}{β} λ | |^{2} . \end{aligned}

$\begin{align} L(x,z,\lambda,\gamma) =& \sum_{i} |x_i| + \frac{\alpha}{2}||x-z||^2 + \frac{\beta}{2}||Az-b||^2 + \lambda^T(Az-b) + \gamma^T(x-z) \\ =& \sum_{i} |x_i| + \frac{\alpha}{2}||x-z + \frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||Az-b + \frac{1}{\beta}\lambda||^2 \\ &+ \frac{\alpha}{2}||\frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||\frac{1}{\beta}\lambda||^2. \end{align}$

Метод змінного напряму множників вирішує подвійну задачу за допомогою градієнтного сходження на подвійні змінні, крім неточні чергування проекцій на подвійні підпрограми. Тобто, ітерація

\underset{λ, γ}{макс} \underset{х, z}{хв} L (х, z, λ, γ),

$\max_{\lambda,\gamma} \min_{x,z} L(x,z,\lambda,\gamma),$

\begin{aligned} х^{к + 1} & = {а r г м i н}_{х} L (х, z^{к}, λ^{к}, γ^{к}) \\ z^{к + 1} & = {а r г м i н}_{z} L (х^{к + 1}, z, λ^{к}, γ^{к}) \\ γ^{к + 1} & = γ^{к} + α (х^{к + 1} - z^{к + 1}) \\ λ^{к + 1} & = λ^{к} + β (А z^{к + 1} - б) . \end{aligned}

$\begin{align} x^{k+1} &= \mathrm{argmin}_x L(x,z^k,\lambda^k,\gamma^k) \\ z^{k+1} &= \mathrm{argmin}_z L(x^{k+1},z,\lambda^k,\gamma^k) \\ \gamma^{k+1} &= \gamma^k + \alpha(x^{k+1}-z^{k+1}) \\ \lambda^{k+1} &= \lambda^k + \beta(Az^{k+1}-b). \end{align}$

За певних м'яких умов параметрів та (пояснено в зв'язаній вище роботі Boyd & Parikh) метод ADMM сходиться до справжнього рішення. Швидкість конвергенції лінійна, оскільки в основі лежить метод градієнтного сходження. Часто його можна прискорити, щоб бути суперлінійним шляхом 1) зміни параметрів та коли ви переходите на основі евристики, або 2) з використанням прискорення Нестерова. Примітки щодо зміни параметрів штрафу див. У дослідницькому документі Бойда, а про використання прискорення Нестерова з ADMM див. Наступний документ, $\alpha$ $\beta$ $\alpha$ $\beta$

Гольдштейн, Том, Брендан О'Доног'ю та Саймон Сетцер. "Швидкі методи чергування напрямів оптимізації." Звіт про CAM (2012): 12-35. ftp://ftp.math.ucla.edu/pub/camreport/cam12-35.pdf

Однак, навіть якщо загальний коефіцієнт конвергенції є лише лінійним, для проблем спостерігається метод, щоб знайти швидкість розрідженості дуже швидко, а потім повільніше сходитися на точні значення. Оскільки пошук шаблону розрідження є найважчою частиною, це дуже вдало! Точні причини, чому, здається, є сферою сучасних досліджень. Усі бачать, як шаблони розрідження швидко сходяться, але, здається, ніхто точно не знає, чому це відбувається. Деякий час тому я запитав Бойда і Париха про це через електронну пошту, і Паріх подумав, що це можна пояснити інтерпретацією методу в контексті систем управління. Інше евристичне пояснення цього явища знаходиться в додатку до наступної статті, $l^1$

Голдштейн, Том і Стенлі Ошер. "Метод розщеплення Брегмана для задач, регульованих L1." Журнал SIAM про візуалізацію 2.2 (2009): 323-343. ftp://ftp.math.ucla.edu/pub/camreport/cam08-29.pdf

Звичайно, зараз складність полягає у вирішенні підпроблем оновлення та для вашої конкретної ситуації. Оскільки лагранжан є квадратичним в , підпрограма оновлення вимагає просто розв'язання лінійної системи. подзадача здається складніше , так як це недіфференціруемого, але виявляється, що є точна формула для вирішення , які можуть бути застосовані поелементно! Зараз ми обговоримо ці підпрограми більш детально та уточнимо їх до проблеми в початковому дописі. $x$ $z$ $z$ $z$ $x$

Налаштування підпрограми оновлення (лінійна система) $z$

Для оновлення ми маємо $z$

{а r г м i н}_{z} L (х_{к}, z, λ_{к}, γ_{к}) = {а r г м i н}_{z} \frac{α}{2} | | х - z + \frac{1}{α} γ | |^{2} + \frac{β}{2} | | А z - б + \frac{1}{β} λ | |^{2} .

$\mathrm{argmin}_z L(x_k,z,\lambda_k,\gamma_k) = \mathrm{argmin}_z \frac{\alpha}{2}||x-z + \frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||Az-b + \frac{1}{\beta}\lambda||^2.$

Це спеціалізується на вашій проблемі:

\begin{aligned} {а r г м i н}_{Z_{J}, Z_{Б}} & \frac{α}{2} | | J^{к + 1} - Z_{J} + \frac{1}{α} Γ_{J} | |_{Ж r о}^{2} + \frac{α}{2} | | Б^{к + 1} - Z_{Б} + \frac{1}{α} Γ_{Б} | |_{Ж r о}^{2} \\ + \frac{β}{2} | | М Z_{J} + Z_{Б} Y - Х + \frac{1}{α} Λ | |_{Ж r о}^{2}, \end{aligned}

$\begin{align} \mathrm{argmin}_{Z_J,Z_B} &\frac{\alpha}{2}||J^{k+1}-Z_J + \frac{1}{\alpha}\Gamma_J||_{Fro}^2 + \frac{\alpha}{2}||B^{k+1}-Z_B + \frac{1}{\alpha}\Gamma_B||_{Fro}^2 \\ &+\frac{\beta}{2}||MZ_J + Z_BY - X + \frac{1}{\alpha}\Lambda||^2_{Fro}, \end{align}$

де позначає норму Frobenius (елементарно ). Це квадратична проблема мінімізації, де умови оптимальності першого порядку можна знайти, взявши часткові похідні цілі відносно та та встановивши їх на нуль. Це, $||\cdot||Fro$ $l_2$ $Z_J$ $Z_B$

\begin{aligned} 0 & = - \frac{α}{2} (J^{к + 1} - Z_{J} + \frac{1}{α} Γ_{J}) + \frac{β}{2} М^{Т} (М Z_{J} + Z_{Б} Y - Х + \frac{1}{β} Λ), \\ 0 & = - \frac{α}{2} (Б^{к + 1} - Z_{Б} + \frac{1}{α} Γ_{Б}) + \frac{β}{2} (М Z_{J} + Z_{Б} Y - Х + \frac{1}{β} Λ) Y^{Т} . \end{aligned}

$\begin{align} 0 &= -\frac{\alpha}{2}(J^{k+1} - Z_J + \frac{1}{\alpha}\Gamma_J) + \frac{\beta}{2}M^T(MZ_J + Z_BY - X + \frac{1}{\beta}\Lambda), \\ 0 &= -\frac{\alpha}{2}(B^{k+1} - Z_B + \frac{1}{\alpha}\Gamma_B) + \frac{\beta}{2}(MZ_J + Z_BY - X + \frac{1}{\beta}\Lambda)Y^T. \end{align}$

Як зазначається в коментарях оригінального плаката Джастіна Соломона, ця система для є симетричною, тому спряжений градієнт є ідеальним методом без матриць. У подальшому розділі розглядається ця система та як її вирішити / передумовити більш детально. $Z_J,Z_B$

Розв’язання підпрограми update (аналітичне порогове рішення) $x$

Тепер ми переходимо до підзадачі, $x$

{а r г м i н}_{х} L (х, z^{к}, λ^{к}, γ^{к}) = {а r г м i н}_{х} \sum_{i} | х_{i} | + \frac{α}{2} | | х - z^{к} + \frac{1}{α} γ^{к} | |^{2}

$\mathrm{argmin}_x L(x,z^k,\lambda^k,\gamma^k) = \mathrm{argmin}_x \sum_{i} |x_i| + \frac{\alpha}{2}||x-z^k + \frac{1}{\alpha}\gamma^k||^2$

Перше, що слід помітити, це те, що суму можна розбити елементом на елемент

\sum_{i} | х_{i} | + \frac{α}{2} | | х - z^{к} + \frac{1}{α} γ^{к} | |^{2} = \sum_{i} | х_{i} | + \frac{α}{2} \sum_{i} (х_{i} - z_{i}^{к} + \frac{1}{α} γ_{i}^{к})^{2},

$\sum_{i} |x_i| + \frac{\alpha}{2}||x-z^k + \frac{1}{\alpha}\gamma^k||^2 = \sum_{i} |x_i| + \frac{\alpha}{2}\sum_i (x_i-z_i^k + \frac{1}{\alpha}\gamma_i^k)^2,$

Таким чином, ми можемо вирішити елемент задачі оптимізації по елементам паралельно, отримуючи

х_{i}^{к + 1} = {а r г м i н}_{х_{i}} | х_{i} | + \frac{α}{2} (х_{i} - z_{i}^{к} + \frac{1}{α} γ_{i}^{к})^{2} .

$x_i^{k+1} = \mathrm{argmin}_{x_i} |x_i| + \frac{\alpha}{2}(x_i-z_i^k + \frac{1}{\alpha}\gamma_i^k)^2.$

Загальна форма цього рівняння -

\underset{с}{хв} | с | + \frac{α}{2} (с - т)^{2} .

$\min_s |s| + \frac{\alpha}{2}(s-t)^2.$

Функція абсолютного значення намагається витягнути оптимальну точку до , тоді як квадратичний член намагається тягнути оптимальну точку до . справжнє рішення, отже, лежить десь на відрізку між двома, при збільшенні прагне витягнути оптимальну точку до , а зменшення тягне оптимальну точку до . $s=0$ $s=t$ $[0,t)$ $\alpha$ $t$ $\alpha$ $0$

Це опукла функція, але вона не диференційована при нулі. Умовою точки зведення до мінімуму є те, що субпродукція цілі в цій точці містить нуль. Квадратний член має похідну , а функція абсолютного значення має похідну для , задане значення субдеривату як інтервал коли , і похідне для . Таким чином, ми отримуємо субдериватив загальної цільової функції, $\alpha(s-t)$ $-1$ $s < 0$ $[-1,1]$ $s=0$ $1$ $s > 0$

\partial_{с} (| с | + \frac{α}{2} (с - т)^{2}) = {\begin{cases} 1 + α (с - т) & с > 0 \\ [- 1, 1] + α т, & с = 0, \\ - 1 + α (с - т), & с < 0. \end{cases}

$\partial_s \left(|s| + \frac{\alpha}{2}(s-t)^2\right) = \begin{cases} 1 + \alpha (s-t)\, & s > 0 \\ [-1,1] + \alpha t, & s = 0, \\ -1 + \alpha (s-t), & s < 0. \end{cases}$

З цього ми бачимо, що субдериват цілі при містить якщо і тільки тоді , у цьому випадку є мінімізатором. З іншого боку, якщо не є мінімізатором, то ми можемо встановити однозначну похідну, рівну нулю, і вирішити для мінімізатора. Виконуючи це, $s=0$ $0$ $|t| \le \frac{1}{\alpha}$ $s=0$ $s=0$

{a r g m i n}_{s} | s | + \frac{α}{2} (s - t)^{2} = {\begin{cases} t - \frac{1}{α}, & t > \frac{1}{α}, \\ 0, & | t | \leq \frac{1}{α}, \\ t + \frac{1}{α}, & t < - \frac{1}{α} \end{cases}

$\mathrm{argmin}_s |s| + \frac{\alpha}{2}(s-t)^2 = \begin{cases} t - \frac{1}{\alpha}, & t > \frac{1}{\alpha}, \\ 0, & |t| \le \frac{1}{\alpha}, \\ t + \frac{1}{\alpha}, & t < -\frac{1}{\alpha} \end{cases}$

Знову спеціалізуючи цей результат на справжню проблему, яку ми намагаємося вирішити в оригінальному питанні, де виходить, Оновлення для просто $t = Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k$

J_{i j}^{k + 1} = {\begin{cases} Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} - \frac{1}{α}, & Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} > \frac{1}{α}, \\ 0, & | Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} | \leq \frac{1}{α}, \\ Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} + \frac{1}{α}, & Z_{i j}^{k} - \frac{1}{α} Γ_{i j}^{k} < - \frac{1}{α} . \end{cases}

$J_{ij}^{k+1} = \begin{cases} Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k - \frac{1}{\alpha}, & Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k > \frac{1}{\alpha}, \\ 0, & |Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k| \le \frac{1}{\alpha}, \\ Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k + \frac{1}{\alpha}, & Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k < -\frac{1}{\alpha}. \end{cases}$

B

$B$

B^{k + 1} = Z_{B} - \frac{1}{α} Γ_{B},

$B^{k+1} = Z_B - \frac{1}{\alpha}\Gamma_B,$

як зазначив оригінальний плакат Джастін Соломон у коментарях. Загалом, роблячи оновлення для просто вимагає проглядати записи ваших матриць та оцінювати вищезазначені формули для кожного запису. $J,B$

Щур доповнення до системи $Z_J,Z_B$

Найдорожчим кроком ітерації є розв’язання системи,

\begin{aligned} 0 & = - \frac{α}{2} (J^{k + 1} - Z_{J} + \frac{1}{α} Γ_{J}) + \frac{β}{2} M^{T} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ), \\ 0 & = - \frac{α}{2} (B^{k + 1} - Z_{B} + \frac{1}{α} Γ_{B}) + \frac{β}{2} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ) Y^{T} . \end{aligned}

З цією метою варто докласти певних зусиль, щоб створити для цієї системи хороший вирішувач / попередній кондиціонер. У цьому розділі ми робимо це за допомогою векторизації , формуючи доповнення Щура , робимо кілька маніпуляцій з продуктом Krnoecker і потім невекторизуючи. Отримана система доповнення Шура є дещо модифікованим рівнянням Сильвестра .

Далі викладено наступні відомості щодо векторизації та продуктів Kronecker:

$\mathrm{vec}(ABC) = (C^T \otimes A)\mathrm{vec}(B),$
$(A \otimes B)(C \otimes D) = AC \otimes BD$ ,
$(A \otimes B)^{-1} = A^{-1} \otimes B^{-1}$ , і
$(A \otimes B)^T = A^T \otimes B^T$ .

Ці тотожності дотримуються, коли розміри матриць і оберненість такі, що кожна сторона рівняння є дійсним виразом.

Векторизована форма системи -

(α Я + β [\begin{matrix} Я \otimes М^{Т} М & (Y \otimes М)^{Т} \\ Y \otimes М & Y Y^{Т} \otimes Я \end{matrix}]) [\begin{matrix} v е c (Z_{J}) \\ v е c (Z_{Б}) \end{matrix}] = [\begin{matrix} v е c (α J + β М^{Т} Х + Γ_{J} - М^{Т} Λ) \\ v е c (α Б + β Х Y^{Т} + Γ_{Б} - Λ Y^{Т}) \end{matrix}],

$\left(\alpha I +\beta\begin{bmatrix}I \otimes M^TM & (Y \otimes M)^T \\ Y \otimes M & YY^T \otimes I\end{bmatrix}\right)\begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(\alpha J + \beta M^TX + \Gamma_J - M^T\Lambda) \\ \mathrm{vec}(\alpha B + \beta XY^T + \Gamma_B - \Lambda Y^T)\end{bmatrix},$

або,

[\begin{matrix} Я \otimes (α Я + β М^{Т} М) & β (Y \otimes М)^{Т} \\ β Y \otimes М & (α Я + β Y Y^{Т}) \otimes Я \end{matrix}] [\begin{matrix} v е c (Z_{J}) \\ v е c (Z_{Б}) \end{matrix}] = [\begin{matrix} v е c (Ж) \\ v е c (Г) \end{matrix}],

$\begin{bmatrix}I \otimes (\alpha I + \beta M^TM) & \beta (Y \otimes M)^T \\ \beta Y \otimes M & (\alpha I + \beta YY^T) \otimes I\end{bmatrix} \begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(F) \\ \mathrm{vec}(G)\end{bmatrix},$

де і - конденсовані позначення для правої частини. Тепер ми виконуємо блоко-гауссова елімінація / доповнення Шура для усунення нижнього лівого блоку матриці в процесі конденсації продуктів Kronecker. Це, $F$ $G$

[\begin{matrix} Я \otimes (α Я + β М^{Т} М) & β (Y \otimes М)^{Т} \\ 0 & (α Я + β Y Y^{Т}) \otimes Я - β^{2} Y Y^{Т} \otimes М (α Я + β М^{Т} М)^{- 1} М^{Т} \end{matrix}] \dots \cdot [\begin{matrix} v е c (Z_{J}) \\ v е c (Z_{Б}) \end{matrix}] = [\begin{matrix} v е c (Ж) \\ v е c (Г) - β Y \otimes М (α Я + β М^{Т} М)^{- 1} v е c (Ж) \end{matrix}] .

$\begin{bmatrix}I \otimes (\alpha I + \beta M^TM) & \beta (Y \otimes M)^T \\ 0 & (\alpha I + \beta YY^T) \otimes I - \beta^2 YY^T \otimes M(\alpha I + \beta M^TM)^{-1} M^T\end{bmatrix} \dots \\ \cdot \begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(F) \\ \mathrm{vec}(G) - \beta Y \otimes M(\alpha I + \beta M^TM)^{-1}\mathrm{vec}(F)\end{bmatrix}.$

Розкриваючи два рівняння, які ми повинні вирішити послідовно, це:

$Z_{Б} (α Я + β Y Y^{Т}) - (β М (α Я + β М^{Т} М)^{- 1} М^{Т}) Z_{Б} (β Y Y^{Т}) \dots = Г - β М (α Я + β М^{Т} М)^{- 1} Ж Y^{Т}$ $Z_B (\alpha I + \beta YY^T) - (\beta M (\alpha I + \beta M^TM)^{-1} M^T)Z_B(\beta YY^T) \dots \\ = G - \beta M (\alpha I + \beta M^TM)^{-1} F Y^T$
$(α Я + β М^{Т} М) Z_{J} = Ж - β М^{Т} Z_{Б} Y .$ $(\alpha I + \beta M^TM) Z_J = F - \beta M^T Z_B Y.$

Рішення системи комплементу Шура, коли - квадратні, високого рангу $Y,M$

У цьому розділі ми вирішуємо систему доповнення Шура для (рівняння 1. вище), використовуючи попередньо обчислені повні SVD матриць і застосовуючи модифіковану версію алгоритму Бартелса-Стюарта для Сільвестра рівняння. Алгоритм трохи змінений зі стандартної версії для врахування додаткового на другому члені, що робить його не зовсім рівнянням Сильвестра. Після через перше рівняння, можна легко знайти з другого рівняння. Друге рівняння тривіальне для вирішення будь-яким способом, який вам подобається. $Z_B$ $YY^T, MM^T, M^TM$ $\beta YY^T$ $Z_B$ $Z_J$

Цей метод вимагає попередньої вартості для попереднього обчислення двох повних SVD до запуску процесу ADMM, але потім швидко застосовуватись у фактичних ітераціях ADMM. Оскільки метод стосується повних SVD матриць обмеження, він доцільний, коли вони близькі до квадратного та високого рангу. Також можливий більш складний метод з використанням СВД низького рангу, але представлений у наступному розділі.

Метод розвивається наступним чином. Нехай позначає попередньо обчислене повне сингулярне значення розкладання, і конденсується права сторона , щоб бути . Тоді першим рівнянням стає Множення ортогональними чинниками, щоб очистити ліворуч і праворуч і встановивши нову тимчасову невідому , це далі стає

Q D Q^{Т} = Y Y^{Т}, W Σ W^{Т} = М М^{Т}, V Т V^{Т} = М^{Т} М

$Q D Q^T = YY^T, \\ W\Sigma W^T = MM^T, \\ VTV^T = M^TM$

H

$H$

Z_{Б} Q (α Я + D) Q^{Т} - W β Σ (α Я + Σ)^{- 1} Σ W^{Т} Z_{Б} Q D Q^{Т} = Н .

$Z_B Q (\alpha I + D) Q^T - W \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma W^T Z_B Q D Q^T = H.$

A = W^{T} Z_{B} Q

$A = W^T Z_B Q$

А (α Я + D) - β Σ (α Я + Σ)^{- 1} Σ А D = W Н Q^{Т} .

$A (\alpha I + D) - \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma A D = W H Q^T.$

Тепер ми можемо знайти , вирішивши діагональну систему, $A$

((α Я + D) \otimes Я + D \otimes β Σ (α Я + Σ)^{- 1} Σ) v е c (А) = v е c (W Н Q^{Т}) .

$\left((\alpha I + D) \otimes I + D \otimes \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma \right)\mathrm{vec}(A) = \mathrm{vec}(W H Q^T).$

Знайшовши , ми обчислимо , і знаючи ми вирішимо друге рівняння вище для , яке є тривіальним, оскільки у нас вже є власне значення розкладу для . $A$ $Z_B = W A Q^T$ $Z_B$ $Z_J$ $M^TM$

Попередня вартість - це обчислення двох симетричних позитивних визначених власних значень декомпозицій і , і тоді ціна на ітерацію для повного вирішення переважає жменькою множин матриці-матриці, що знаходиться в тому самому порядку величина як 1 CG сублітерація. Якщо попередні розробки власних значень є надто дорогими, то їх можна обчислити недостовірно, наприклад, припинивши ітерацію Ланцоса на початку та утримуючи найбільші власні вектори. Тоді метод може бути використаний як хороший попередній засіб для CG, а не прямий вирішувач. $M^TM$ $YY^T$

Метод рішення, коли дуже прямокутні або мають наближення низького рангу $M,Y$

Тепер ми звертаємо свою увагу на розв’язання або попереднє коли або а) вхідні матриці дуже прямокутні - це означає, що вони мають набагато більше рядків, ніж стовпці, або навпаки - або б) вони мають низький наближення до ранжу. Виведення нижче передбачає широке використання формули Вудбері, доповнення Шура та інші подібні маніпуляції. $Z_J,Z_B$ $M,Y$

Почнемо з нашої системи доповнення Шура,

(α Я + β Y Y^{Т}) \otimes Я - β^{2} Y Y^{Т} \otimes М (α Я + β М^{Т} М)^{- 1} М^{Т} .

$(\alpha I + \beta YY^T) \otimes I - \beta^2 YY^T \otimes M(\alpha I + \beta M^TM)^{-1} M^T.$

Кілька маніпуляцій перетворюють цю систему в більш симетричну форму,

(α Я + β Я \otimes М М^{Т} + β Y Y^{Т} \otimes Я) v е c (Z_{Б}) = (Я \otimes (Я + \frac{β}{α} М М^{Т})) v е c (Н) .

$(\alpha I + \beta I \otimes MM^T + \beta YY^T \otimes I)\mathrm{vec}(Z_B) = \left(I \otimes (I + \frac{\beta}{\alpha}MM^T)\right)\mathrm{vec}(H).$

Тепер ми вносимо низькі рангові наближення. Нехай - або зменшені наближення SVD, або наближення низького рангу і ( є заповнювачем і не є б / в). Заміщення їх у нашій системі дає наступну матрицю, зворотну, яку ми хочемо застосувати,

Q D^{1 / 2} Q_{2}^{Т} = Y W Σ^{1 / 2} V^{Т} = М

$Q D^{1/2} Q_2^T = Y \\ W \Sigma^{1/2} V^T = M$

Y

$Y$

M

$M$

Q_{2}

$Q_2$

(α Я + β Я \otimes W Σ W^{Т} + β Y Y^{Т} \otimes Я)^{- 1} .

$(\alpha I + \beta I \otimes W \Sigma W^T + \beta YY^T \otimes I)^{-1}.$

Оскільки матриця, яку ми повинні інвертувати, є низьким ранг оновлення ідентичності, логічна стратегія полягає в спробі використовувати формулу Вудбері,

(А + U С U^{Т})^{- 1} = А^{- 1} - А^{- 1} U (С^{- 1} + U^{Т} А^{- 1} U)^{- 1} U^{Т} А^{- 1} .

$(A + UCU^T)^{-1} = A^{-1} - A^{-1}U(C^{-1}+U^TA^{-1}U)^{-1}U^TA^{-1}.$

Однак потрібна певна обережність, оскільки фігури низького рангу і не є ортогональними. Таким чином, щоб застосувати формулу Вудбері, ми збираємо обидва оновлення низького рангу в одне велике оновлення. Вчиніть так і застосовуючи формулу Вудбері, $I \otimes W$ $Y \otimes I$

{(\frac{1}{α} Я + β [\begin{matrix} Я \otimes W & Q \otimes Я \end{matrix}] [\begin{matrix} Я \otimes Σ \\ D \otimes Y \end{matrix}] [\begin{matrix} Я \otimes Σ^{Т} \\ Q^{Т} \otimes Я \end{matrix}])}^{- 1} = α Я - \frac{β}{α^{2}} [\begin{matrix} Я \otimes W & Q \otimes Я \end{matrix}] {[\begin{matrix} Я \otimes (Σ^{- 1} + \frac{β}{α} Я) & \frac{β}{α} Q \otimes W^{Т} \\ \frac{β}{α} Q^{Т} \otimes W & (D^{- 1} + \frac{β}{α} Я) \otimes Y \end{matrix}]}^{- 1} [\begin{matrix} Я \otimes Σ^{Т} \\ Q^{Т} \otimes Я \end{matrix}] .

$\left(\frac{1}{\alpha} I + \beta \begin{bmatrix}I\otimes W & Q \otimes I\end{bmatrix}\begin{bmatrix}I \otimes \Sigma & \\ & D \otimes Y\end{bmatrix}\begin{bmatrix}I \otimes \Sigma^T \\ Q^T \otimes I\end{bmatrix}\right)^{-1} \\ = \alpha I - \frac{\beta}{\alpha^2}\begin{bmatrix}I\otimes W & Q \otimes I\end{bmatrix}\begin{bmatrix}I \otimes (\Sigma^{-1}+\frac{\beta}{\alpha}I) & \frac{\beta}{\alpha}Q \otimes W^T\\ \frac{\beta}{\alpha}Q^T\otimes W & (D^{-1} + \frac{\beta}{\alpha}I) \otimes Y\end{bmatrix}^{-1}\begin{bmatrix}I \otimes \Sigma^T \\ Q^T \otimes I\end{bmatrix}.$

Обернене ядро можна обчислити за зворотною формулою 2x2, зворотною формулою,

{[\begin{matrix} А & Б \\ Б^{Т} & С \end{matrix}]}^{- 1} = [\begin{matrix} (А - Б С^{- 1} Б^{Т})^{- 1} & - А^{- 1} Б (С - Б^{Т} А^{- 1} Б)^{- 1} \\ - С^{- 1} Б^{Т} (А - Б С^{- 1} Б^{Т})^{- 1} & (С - Б^{Т} А^{- 1} Б)^{- 1} \end{matrix}] .

$\begin{bmatrix}A & B \\ B^T & C\end{bmatrix}^{-1} = \begin{bmatrix}(A-BC^{-1}B^T)^{-1} & -A^{-1}B(C-B^TA^{-1}B)^{-1} \\ -C^{-1}B^T(A-BC^{-1}B^T)^{-1} & (C-B^TA^{-1}B)^{-1}\end{bmatrix}.$

Цей пост вже досить довгий, тому я пошкодую тривалих деталей обчислення, але кінцевим результатом є те, що підключення необхідних підматриць до обернено зворотних блоків і множення всього через отримання наступної явної форми для загального оберненого,

(α Я + β Я \otimes М М^{Т} + β Y Y^{Т} \otimes Я)^{- 1} = \frac{1}{α} Я - \frac{β}{α^{2}} (т_{11} + с_{11} + т_{12} + с_{12} + т_{21} + с_{21} + т_{22} + с_{22}),

$(\alpha I + \beta I \otimes MM^T + \beta YY^T \otimes I)^{-1} = \frac{1}{\alpha} I - \frac{\beta}{\alpha^2}(t_{11} + s_{11} + t_{12} + s_{12} + t_{21} + s_{21} + t_{22} + s_{22}),$

де

\begin{aligned} т_{11} & = \frac{α}{β} Я \otimes W л^{- 1} W^{Т} \\ с_{11} & = (Q \otimes W л^{- 1}) D_{11} (Q^{Т} \otimes л^{- 1} W^{Т}) \\ т_{12} & = - \frac{α}{β} Q {год}^{- 1} Q^{Т} \otimes W л^{- 1} W^{Т} \\ с_{12} & = - (Q {год}^{- 1} \otimes W л^{- 1}) D_{22} ({год}^{- 1} Q^{Т} \otimes W^{Т}) \\ т_{21} & = т_{12} \\ с_{21} & = - (Q {год}^{- 1} \otimes W) D_{22} ({год}^{- 1} Q^{Т} \otimes л^{- 1} W^{Т}) \\ т_{22} & = \frac{α}{β} Q {год}^{- 1} Q^{Т} \otimes Я \\ с_{22} & = (Q {год}^{- 1} \otimes W) D_{22} ({год}^{- 1} Q^{Т} \otimes W^{Т}) \\ D_{11} & = \frac{α}{β} {(год \otimes Я - Я \otimes л^{- 1})}^{- 1} \\ D_{22} & = \frac{α}{β} {(Я \otimes л - {год}^{- 1} \otimes Я)}^{- 1} \\ л & = \frac{α}{β} Σ^{- 1} + Я \\ год & = \frac{α}{β} D^{- 1} + Я . \end{aligned}

$\begin{align} t_{11} &= \frac{\alpha}{\beta}I \otimes W l^{-1} W^T \\ s_{11} &= (Q \otimes W l^{-1})D_{11}(Q^T \otimes l^{-1}W^T) \\ t_{12} &= -\frac{\alpha}{\beta} Q h^{-1} Q^T \otimes W l^{-1} W^T \\ s_{12} &= -(Q h^{-1} \otimes W l^{-1})D_{22}(h^{-1} Q^T \otimes W^T) \\ t_{21} &= t_{12} \\ s_{21} &= -(Q h^{-1} \otimes W)D_{22}(h^{-1} Q^T \otimes l^{-1} W^T) \\ t_{22} &= \frac{\alpha}{\beta}Q h^{-1} Q^T \otimes I \\ s_{22} &= (Q h^{-1} \otimes W)D_{22}(h^{-1}Q^T \otimes W^T) \\ D_{11} &= \frac{\alpha}{\beta}\left(h \otimes I - I \otimes l^{-1} \right)^{-1} \\ D_{22} &= \frac{\alpha}{\beta}\left(I \otimes l - h^{-1} \otimes I \right)^{-1} \\ l &= \frac{\alpha}{\beta} \Sigma^{-1} + I \\ h &= \frac{\alpha}{\beta} D^{-1} + I. \end{align}$

У цій формі ми можемо застосувати зворотний і знайти термін за терміном через 8 бутербродів множення лівої та правої матриць. Загальна формула застосування суми продуктів Kronecker: $Z_B$

((А_{1} \otimes Б_{1}) + (А_{2} \otimes Б_{2}) + \dots) v е c (С) = v е c (Б_{1}^{Т} С А_{1} + Б_{2}^{Т} С А_{2} + \dots) .

$\left((A_1 \otimes B_1) + (A_2 \otimes B_2) + \dots\right)\mathrm{vec}(C) = \mathrm{vec}(B_1^T C A_1 + B_2^T C A_2 + \dots ).$

Зауважте, що всі явні звороти, у яких ми закінчились, діагональні, тому "вирішити" нічого.

Лінійний розв'язувальний код

Я реалізував вищевказані два в Matlab. Здається, добре працює. Код розв’язувача тут. $z_J,Z_B$

https://github.com/NickAlger/MeshADMM/blob/master/zkronsolve.m

Тестовий скрипт для перевірки роботи розв’язувачів тут. Він також на прикладі показує, як викликати розв'язувальний код.

https://github.com/NickAlger/MeshADMM/blob/master/test_zkronsolve.m

Прикінцеві зауваження

Методи типу ADMM добре підходять для подібних проблем, але вам потрібно прокрутити власну реалізацію. Загальна структура методу досить проста, тому реалізація не є надто складною у чомусь подібному MATLAB.

Частина, відсутня в цій публікації, яку потрібно було б вказати для повного визначення методу вашої проблеми, - це вибір параметрів штрафу . На щастя, метод, як правило, досить надійний до тих пір, поки паралелі параметрів не божевільні. У роботі "Бойд і Парих" є розділ про параметри штрафу, як і посилання на них, але я б просто експериментував з параметрами, поки ви не отримаєте розумні показники конвергенції. $\alpha,\beta$

Представлені стратегії розв’язування є високоефективними, якщо матриці обмеження є або a) щільними, квадратними та високими рангами, або b) мають гарне наближення низького рангу. Інший корисний вирішувач , який може бути темою майбутньої роботи буде вирішувач оптимізований для наступного випадку - обмеження матриця розріджена і squareish і високого рангу, але існує хороший переобусловліватель для . Це було б у випадку, якщо, наприклад, - це дискретний лаплаціан. $Z_J,Z_B$ $M$ $\alpha I + MM^T$ $M$

— Нік Алгер
джерело

Реалізуємо це зараз! Щоб перевірити, рішення матриці для та має бути симетричним / позитивним, оскільки воно походить з найменших квадратів, правда? Це емпірично здається правдою :-). Тож чи є CG кращим варіантом, ніж GMRES?

Z_{B}

$Z_B$

Z_{J}

$Z_J$

— Джастін Соломон

Крім того, я думаю, що оновлення для B неправильне? Я працюю над цим детальніше, але нагадую, що B не відображається в моїй енергетичній функції (немає термін), тому я не впевнений, що він повинен приймати значення лише в Я думаю про це неправильно? Дякую!

| B |

$|B|$

\pm (1 - 1 / α) .

$\pm (1-1/\alpha).$

— Джастін Соломон

[помилка, швидше, ]

B = Z_{B} - Γ_{B} / α

$B = Z_B-\Gamma_B/\alpha$

— Джастін Соломон

Дивовижний! Після введення моїх власних формул для та (ймовірно, близько / еквівалентно тому, що ви розмістили, але щось не працювало), це значно перевершує метод IRLS. Дякую!

J

$J$

B

$B$

— Джастін Соломон

Чудова новина. Так приємно бачити, коли внески тут призводять до реальних результатів.

— Майкл Грант