Систематичні дослідження суми квадратичних многочленів у квадраті

Мені цікаво, чи існує систематичне дослідження сум квадратичних форм у квадраті, подібних до квадратичних форм, що практично відображається на розкладанні власних значень (що має величезний практичний вплив). Пара прикладів, пов’язаних із важливістю питання.

1. Аналіз основних компонентів (PCA) . Дано набір балів$x_i \in \mathbb{R^n}, i=1..k$ знайти набір осей $u_1$, ... $u_m$, записаний як матриця $U \in \mathbb{R^n x R^m}$, та прогнози $\xi_1$, ..., $\xi_k, \xi_{\circ} \in \mathbb{R^m}$ що мінімізує незрозумілу дисперсію, тобто вирішує наступну задачу квартичної оптимізації

   $\mathop{argmin} \limits_{u_1,.., u_n,\ \xi_1, .., \xi_k} \sum \limits_{i} \left( U^T \xi_i - x_i \right)^2$

   За допомогою магії симетрії вона має розв’язок сингулярного розкладання значення

2. Узагальнена PCA . Те саме, що PCA, але тепер є матриця точності$A_i \in \mathbb{R^n x R^n}$ пов'язані з кожним спостережуваним $x_i$. Проблема ускладнюється

   $\mathop{argmin} \limits_{u_1,.., u_n,\ \xi_1, .., \xi_k} \sum \limits_{i} \left( A_i U^T \xi_i - x_i \right)^2$

   (коли всі $A_i$ Матриця ідентичності ця проблема еквівалентна PCA, коли $A_i = A_j, \forall i,j$, а по діагоналі це зважений PCA). Ця проблема також може бути вирішена в поліноміальний час за допомогою напіввизначеного програмування (СДП) - Оскільки рішення має вигляд сум сум, квадратом, Н.З. Шор (1987), це опукла задача, а теза Парільо (2000) дає практичну практику спосіб обчислити його через SDP$\square$

У підході СДП квар- тичний многочлен записується як сума квадратичних многочленів у квадраті. Тому важливо знати, які саме квартичні многочлени можна записати у вигляді суми квадратичних форм у квадраті (за аналогією до квадратичної функції їх можна назвати двоквадратичними формами). Більшу частину літератури я зіткнувся із зупинкою на тій точці, де вони вважають, що мінімальний кварцовий многочлен$p= \sum_k^n (x_k^2-1) + (a^T x)^2, a \in \mathbb{Z^n}$ проблема кодування розділів, і немає аргументів, чому $p$ не може бути представлена ​​як сума квадратів квадратичних многочленів, поза цим.

Мені цікаво, чи хтось робив систематичні дослідження многочленів, що представляються сумою квадратів квадратичних многочленів.

Наскільки мені відомо, такого дослідження немає; крім того, без певного нетривіального прогресу в технології проблем з урахуванням квадратів (SOS), наразі не ясно, якою була б безпосередня користь від такого дослідження. (Я зупинюсь на підключенні SOS, оскільки це, наскільки я знаю, є найкращим способом вирішення цих загальних квадратних проблем.) Це твердження слід сприймати в позитивному світлі: я вважаю, що існує велика глибина дослідження ці проблеми. Я обґрунтую свою заяву кількома способами, сподіваюся, способами, які люди вважають корисними.

По-перше, для найбільш основних проблем типу, про який ви обговорюєте, з'єднання SVD дає набагато кращий вирішувач, ніж чорний ящик SOS; зокрема, останній будує SDP з умовами, де - загальна кількість змінних в задачі оптимізації джерела (наприклад, загальна кількість елементів у всіх невідомих матрицях; щоб побачити звідки я отримав ці цифри, дивіться лекцію 10 з курсу Пабло Парріло 2006 року: http://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-972-algebraic-techniques-and-semidefinite-optimization -spring-2006 / лекції-конспекти / лекція_10.pdf ). Це SDP, якого ви ніколи не хочете вирішити (час роботи залежить від як$\binom{n+2}{2}$$n$$n$$n^{6}$використовуючи внутрішню точку вирішення?), особливо в порівнянні зі смішною швидкістю розв'язувача SVD (використовуючи послідовне позначення, SVD буде чимось на зразок ; ви можете знеструмити мої обчислення, відстеживши кількість стовпців, рядків та цільовий ранг, але це катастрофа, незалежно від того, як ви виправите мою недбалість). З цього приводу, якщо ви створили спеціалізований алгоритм для вирішення проблем SOS, де максимальна ступінь у будь-якому поліномі дорівнює двом: це було б дивовижно, і тоді такий тип обстеження, який ви шукаєте, мав би велике значення.$\mathcal O(n^{1.5})$

По-друге, оскільки основна постановка цих проблем знаходиться поза вікном, можна задатися питанням, чи добре вирішуються певні варіанти цих проблем за допомогою вирішувачів SOS. В якості важливого прикладу розглянемо проблему NMF (невід'ємна матрична факторизація), де невідомі матриці, які ви оптимізуєте (у вашій вище формулярі), повинні мати негативні записи. На жаль, якщо взяти стандартний SDP, який використовується для вирішення цих проблем (див. Примітки Пабло Парріло зверху), немає ніяких способів ввести ці обмеження. (Оскільки деякі формулювання виникаючих проблем є важкими для NP, ви б зараз будували схему наближення; тобто це може стати неприємним.) Крім того, є недавня робота, яка експлуатувала поліноміальну структуру цієї проблеми для створення розв'язувачів з деякими гарантії: дивhttp://arxiv.org/abs/1111.0952 від Arora, Ge, Kannan та Moitra. Вони будують кілька алгоритмів, однак, коли вони вирішують "точну" задачу NMF (де є точна факторизація, тобто одна, яка дає об'єктивне значення 0), вони не використовують розв'язувач SOS: вони використовують розв'язувач, що перевіряє можливість "напів" -алгебраїчні множини ", набагато складніша проблема оптимізації, яка дозволяє види обмежень, які виникає NMF, але тепер з експоненціальним часом роботи.

У будь-якому випадку, підсумувати та дати деяку подальшу перспективу; оскільки SOS - це єдиний вирішувач для квар- тичних проблем, про які ви говорите (тобто, я не думаю, що існує спеціалізований квар- тичний вирішувач), я обговорював, як ці вирішувачі мають кращі альтернативи для виду квар- тичних задач, які хвилюють людей. Щоб ефективно використовувати тут інструменти SOS, вам доведеться або побудувати якийсь дивовижний вирішувач для кварциального випадку (внутрішні поліноми ступеня максимум 2), або вам доведеться знайти якийсь спосіб додати обмеження для цих проблем. В іншому випадку підключення до проблем SOS, хоча і захоплююче, не дає багато.

Ви також згадуєте, що ви здивовані, що знайдена вами література не пов’язана з цим. Я думаю, що це пов'язано з новизною практичних рішень для SOS (хоча абстрактний розгляд проблем SOS йде дуже далеко), і те, що я говорив вище. Насправді, коли я вперше знайшов вирішувачі SOS, це було через замітки і документи Паріло, і я аналогічно замислювався: "чому він не говорить про проблеми типу PCA"? Тоді я перевірив наведені факти і сильно нахмурився. Я думаю, що це також поганий знак того, що сам Парріло не, наскільки я можу сказати / скупитися, не обговорював ці проблеми поза посиланням, яке ви згадуєте у своїй дисертації (тим часом він має документи про різні розширення, і я маю велику повагу для своєї роботи в цій галузі: він, мабуть, багато разів замислювався над цими конкретними проблемами.http://arxiv.org/abs/1111.1498 ).