Плутанина щодо проблеми стисненого зондування

13

Я прочитав деякі посилання, включаючи це .

Я дещо плутаю те, що будується та намагається вирішити проблема оптимізації стисненого зондування. Є це

\begin{array}{ll} minimize & ‖ x ‖_{1} \\ subject to & A x = b \end{array}

$\begin{array}{ll} \text{minimize} & \|x\|_1\\ \text{subject to} & Ax=b\end{array}$

або / і

\begin{array}{ll} minimize & ‖ x ‖_{0} \\ subject to & A x = b \end{array}

$\begin{array}{ll} \text{minimize} & \|x\|_0\\ \text{subject to} & Ax=b\end{array}$

або / і ще щось?

optimization

— Тім
джерело

18

Брайан на місці. Але я вважаю, що корисно додати деякий стислий контекст зондування.

По-перше, зауважте, що так звана 0 норма - функція кардинальності, або кількість ненульових значень у - не є нормою . Напевно, найкраще писати це як щось на зразок у будь-якому, крім найбільш випадкових контекстах. Не зрозумійте мене неправильно, ви в хорошій компанії, коли використовуєте стенограму , але я думаю, що це викликає плутанину. $\|x\|_0$ $x$ $\mathop{\textbf{card}}(x)$ $\|x\|_0$

Люди давно знають, що мінімізація норми має тенденцію до отримання розріджених рішень. Для цього є деякі теоретичні причини, що мають відношення до лінійної комплементарності. Але найцікавіше було не в тому, що рішення були рідкісними, а в тому, що вони часто були найрідкіснішими . Тобто, мінімізація дійсно дає вам рішення щодо мінімальної кардинальності у певних корисних випадках. (Як вони це з'ясували, коли проблема мінімальної кардинальності є важкою для NP? Побудувавши штучні проблеми з відомими розрідженими рішеннями.) Це було не те, що лінійна теорія комплементарності могла передбачити. $\ell_1$ $\|x\|_1$ $\|x\|_1$

Поле стисненого зондування народилося, коли дослідники почали визначати умови на матриці які дозволять їм заздалегідь гарантувати, що рішення також було найрідкішим. Дивіться, наприклад, найдавніші статті Кандеса, Ромберга та Дао та інші дискусії про властивість обмеженої ізометрії або RIP . Ще одним корисним веб-сайтом, якщо ви дійсно хочете зануритися в якусь теорію, є сторінка зжатого зондування Теренса Тао . $A$ $\ell_1$

— Майкл Грант
джерело

12

Ми б хотіли, щоб можна було вирішити

$\min \| x \|_{0}$

вул

$Ax=b$

але ця проблема є комбінаторною оптимізацією NP-Hard, яка недоцільно вирішити на практиці, коли , і мають розміри, типові для компресійного зондування. Можна ефективно вирішити $A$ $x$ $b$

$\min \| x \|_{1}$

вул

$Ax=b$

як в теорії (це можна зробити в поліномічний час), так і в обчислювальній практиці навіть для досить великих проблем, що виникають при компресійному зондуванні. Ми використовуємо як "сурогат" для . Це має деяке інтуїтивне обґрунтування (мінімізація з одною нормою надає перевагу рішенням із меншою кількістю ненульових записів у ), а також значно більш досконалими теоретичними обгрунтуваннями (теореми форми "Якщо має k-розріджене рішення, то мінімізація знайде це рішення з великою часткою ймовірності. " $\| x \|_{1}$ $\| x \|_{0}$ $x$ $Ax=b$ $\| x \|_{1}$

На практиці, оскільки дані часто є галасливими, точне обмеження часто замінюється обмеженням форми . $Ax=b$ $\| Ax - b \|_{2} \leq \delta$

Також досить часто зустрічається робота з варіаційною формою обмеженої проблеми, де, наприклад, ми можемо мінімізувати . $\min \| Ax - b\|_{2}^{2} + \lambda \| x \|_{1}$

— Брайан Борчерс
джерело

8

Я не маю додати поясненням Бріансу та Майклзу про vs. . Але оскільки питання, як видається, стосується стисненого зондування, я хочу додати свою точку зору: стиснене зондування - це не про вирішення ні про Стиснене зондування є більшою мірою парадигмою , яку можна приблизно сказати як $\ell^1$ $\ell^0$

min ‖ x ‖_{0} s.t A x = b

$\min\|x\|_0\quad\text{s.t}\quad Ax=b$

min ‖ x ‖_{1} s.t. A x = b .

$\min\|x\|_1\quad\text{s.t.}\quad Ax=b.$

Визначити розріджені сигнали можна за допомогою кількох вимірювань.

Стиснене зондування насправді полягає в проведенні якомога менше вимірювань для ідентифікації сигналу в певному класі сигналів.

Одна прикольна фраза:

Чому ваша 5-мегапіксельна камера дійсно повинна вимірювати 15 мільйонів значень (три на кожен піксель), які коштують вам 15 мегабайт даних, коли вона зберігає лише близько 2 мегабайт (після стиснення)?
Чи можна було одразу виміряти 2 мегабайти?

Можливі зовсім інші рамки:

лінійні вимірювання
нелінійні (наприклад, "безфазові")
векторні дані, матричні / тензорні дані
розрідженість як лише кількість ненулів
розрідженість як "низький ранг" або навіть "низька складність").

Існує також більше методів для обчислення розріджених рішень, таких як переслідування за узгодженням (такі варіанти, як переслідування за ортогональним узгодженням (OMP), регуляризоване переслідування за ортогональним узгодженням (ROMP), CoSaMP) або новітні методи на основі алгоритмів передачі повідомлень .

Якщо ідентифікувати стиснене зондування з простою - або -мінімізацією, то ви втрачаєте велику гнучкість при вирішенні практичних проблем зі збору даних. $\ell^1$ $\ell^0$

Однак, якщо когось цікавить лише розріджене рішення лінійних систем, можна зробити те, що я б назвав рідкою реконструкцією .

— Дірк
джерело

Спасибі! Чи можете ви перефразувати наступне в математичну формулювання: "Можна визначити розріджені сигнали за допомогою декількох вимірювань. Стиснене зондування насправді полягає в проведенні якомога менше вимірювань для ідентифікації сигналу в певному класі сигналів."

— Тім

1

Ні, я не можу, бо стиснене зондування - це не математична теорія, а швидше інженерна концепція.

— Дірк

1

Я вважаю, що ця відповідь є гарним внеском, і я проголосував за неї. Щодо вигадливої фрази, я завжди мав проблеми з цим. Це говорить про те, що CS настільки потужний, що ви могли просто викинути 13 мільйонів пікселів і відновити зображення в будь-якому випадку. Але ні, ніколи не слід викидати дані випадковим чином, навіть у системі CS --- хороший алгоритм відновлення завжди може використовувати більше даних. Обіцянка CS - це потенціал розробити сенсори, які збирають менше даних, в першу чергу в обмін на деякі важливі практичні заощадження: економія електроенергії, швидше збирання тощо

— Майкл Грант

@MichaelGrant Я згоден: не викидайте вже виміряні вами дані та не використовуйте дату, яку ви можете виміряти з мінімальними зусиллями.

— Дірк