Розв’язування задачі з найменшими квадратами з лінійними обмеженнями в Python

Мені потрібно вирішити

\begin{aligned} \underset{х}{хв} ‖ А х - б ‖_{2}^{2}, \\ с . т . & \sum_{i} х_{i} = 1, \\ х_{i} \geq 0, \forall i . \end{aligned}

$\begin{alignat}{1} & \min_{x}\|Ax - b\|^2_{2}, \\ \mathrm{s.t.} & \quad\sum_{i}x_{i} = 1, \\ & \quad x_{i} \geq 0, \quad \forall{i}. \end{alignat}$

Я думаю, що це квадратична проблема, яку слід вирішити з CVXOPT , але я не можу розробити як.

— tillsten
джерело

Сподіваюся, це питання не надто специфічне для компсі.

— tillsten

Джефф Оксберрі: Просто цікавість, але чому ви редагували лінійну частину? Я думаю, що це цілком безсильна частина опису проблеми, рішення було б зовсім іншим для нелінійної оптимізації найменших квадратів.

— tillsten

Btw, інші редакції чудові!

— tillsten

Ви можете легко вирішити це за допомогою власного коду дуже ефективно. Не потрібно CVXOPT.

— Рой

Відповіді:

Я написав повну відповідь (нижче лінії) до відкриття CVXPY , який (як CVX для MATLAB) робить всі складні речі для вас і має дуже короткий приклад майже ідентичний ваші тут . Вам потрібно лише замінити відповідний рядок на

 p = program(minimize(norm2(A*x-b)),[equals(sum(x),1),geq(x,0)])

Моя стара відповідь: це зробити складніше з CVXOPT:

Слідом за пропозицією Джеффа розподілити свою цільову функцію

‖ А х - б ‖_{2}^{2} = ⟨ х^{Т} А^{Т} - б^{Т}, А х - б ⟩ = х^{Т} А^{Т} А х - б^{Т} А х - х^{Т} А б - б^{Т} б

$\|Ax-b\|^2_2 = \langle x^TA^T - b^T,Ax-b\rangle = x^TA^TAx - b^TAx - x^TAb - b^Tb$

Звичайно, усі терміни є скалярами, тому ви можете перенести третій і скинути останній (оскільки він не залежить від і, отже, не змінить, який дає мінімум, хоча вам потрібно буде додати його назад після вирішення, щоб отримати правильне значення своєї мети), щоб отримати Це (включаючи ваші обмеження) має форму квадратичної програми, як зазначено в тут документація CVXOPT , де також є приклад коду для вирішення такої проблеми. $x$ $x$

х^{Т} А^{Т} А х - б^{Т} (А + А^{Т}) х

$x^TA^TAx - b^T(A + A^T)x$

— Девід Кетчесон
джерело

Замість проблеми, яку ви вирішили, вирішіть

\begin{aligned} \underset{х}{хв} ‖ А х - б ‖_{2}^{2}, \\ с . т . & \sum_{i} х_{i} = 1, \\ х_{i} \geq 0, \forall i . \end{aligned}

$\begin{alignat}{1} & \min_{x}\|Ax - b\|^{2}_{2}, \\ \mathrm{s.t.} & \quad\sum_{i}x_{i} = 1, \\ & \quad x_{i} \geq 0, \quad \forall{i}. \end{alignat}$

Ця проблема є диференційованою, опуклою, нелінійною задачею оптимізації, яку можна вирішити в CVXOPT, IPOPT або будь-якому іншому вирішенні опуклої оптимізації.

— Джефф Оксберрі
джерело