Аналоги стисненого зондування

$x \in \mathbb{R}^n$$\|x\|_0 < k$A R n R ≪ n A $Ax$$A$$R$$n$$R \ll n$$A$$k$-sparse з як малі , як . У мене можуть бути не найбільш відомі параметри, але це загальна ідея.R O ( k n o ( 1 )$x$$R$$O(k n^{o(1)})$

Моє запитання: чи є подібні явища в інших умовах? Що я маю на увазі, це те, що вхідний сигнал може надходити від якоїсь "сім'ї низької складності" відповідно до міри складності, яка не обов'язково є рідкісною. Потім ми хочемо, щоб алгоритми стиснення та декомпресії, не обов'язково лінійні карти, були ефективними та правильними. Чи відомі такі результати в іншому контексті? Якою б ви здогадалися для більш «загальної» теорії стисненого зондування?

(Звичайно, у застосуванні стисненого зондування важливі питання - лінійність та ощадливість. Питання, яке я тут задаю, є більш «філософським».)

Ваше запитання стосується "точної" проблеми відновлення (ми хочемо відновити k-розріджений $x$ точно з заданим $Ax$ ). У наступному, хоча я зупинюсь на "надійній" версії, де $x$ є довільним вектором, а мета алгоритму відновлення - знайти $k$ -розрізне наближення $x'$ до $x$ (це відмінність насправді має значення для деяких обговорень нижче ). Формально ви хочете виконати наступну проблему (назвіть це $P_1$ ):

Конструкція $A$ , що для будь-якого $x$ можна відновити $x'$ де $\|x-x'\|_L \le$

$\min_{x"} C \|x-x"\|_R$ , де знаходиться в межах всіх -розмірних векторів.$x"$$k$

Тут, і позначають ліву і праву норму, а - коефіцієнт наближення ". Можливі різні варіанти і . Для конкретності можна подумати, що обидва рівні або ; він може стати більш безладним, хоча ‖ ⋅ ‖ R C ‖ ⋅ ‖ L ‖ ⋅ ‖ R ℓ 2 ℓ $\| \cdot \|_L$$\| \cdot \|_R$$C$$\| \cdot \|_L$$\| \cdot \|_R$$\ell_2$$\ell_1$

Тепер до деяких аналогів та узагальнень.

Довільна основа. По-перше, зауважте, що будь-яка схема, що задовольняє наведеному вище визначенню, може використовуватись для вирішення більш загальної задачі, де відновлений сигнал є розрідженим у довільній основі (скажімо, вейвлет Фур'є), а не лише стандартній. Нехай - матриця базису. Формально вектор є -розрідженим в основі якщо де - -розмірний. Тепер ми можемо розглянути узагальнену задачу (назвати її ): B u k B u = B v v k P $x'$$B$$u$$k$$B$$u=Bv$$v$$k$$P_B$

Створіть таким чином, що при заданому можна відновити деA B x x ′ ‖ x - x ′ ‖ L$A_B$$A_B x$$x'$$\|x-x'\|_L \le$

x " k $\min_{x"} C \|x-x"\|_R$ , де пробігає всі вектори, які -sparse в .$x"$$k$$B$

Можна зменшити цю проблему до попередньої задачі , змінивши основу, тобто, використовуючи вимірювальну матрицю . Якщо у нас є рішення у нормі (тобто ліва і права норми дорівнює ), ми також отримаємо рішення у нормі . Якщо використовує інші норми, ми розв'язуємо в тих нормах, що змінюються зміною основи.A B = A B - 1 P 1 ℓ 2 ℓ 2 P B ℓ 2 P 1 P $P_1$$A_B = A B^{-1}$$P_1$$\ell_2$$\ell_2$$P_B$$\ell_2$$P_1$$P_B$

Одне застереження у вищезазначеному полягає в тому, що у наведеному вище підході нам потрібно знати матрицю , щоб визначити . Можливо , що дивно, якщо допустити рандомізацію ( не є фіксованим , але замість цього вибирається випадковим чином ), можна вибрати з фіксованого розподілу , яка не залежить від . Це властивість так званої універсальності .A B A B A B$B$$A_B$$A_B$$A_B$$B$

Словники. Наступне узагальнення можна отримати, відкинувши вимогу, що є основою. Натомість, ми можемо дозволити мати більше рядків, ніж стовпці. Такі матриці називаються (переповненими) словниками. Один популярний приклад - матриця ідентичності на вершині матриці Фур'є. Інший приклад - матриця, де рядки є характерними векторами всіх інтервалів у {1 ... n}; у цьому випадку множина { } містить усі "B B u : u є k-розрідженим$B$$B$$Bu: \mbox{u is k-sparse}$$k$ -гістограми", тобто кусочно постійні функції понад {1 ... n} з максимум відрізками.$k$

Наскільки я знаю, немає загальної теорії для таких довільних словників, хоча над цією темою було досить багато роботи. Див., Наприклад, Candes-Eldar-Needell'10 або Donoho-Elad-Temlyakov, IEEE Transaction on Theory Information, 2004 .

Ескізи гістограм були широко досліджені в потоковій та літературній літературі, наприклад, Gilbert-Guha-Indyk-Kotidis-Muthukrishnan-Strauss, STOC 2002 або Thaper-Guha-Indyk-Koudas, SIGMOD 2002 .

Моделі. (згадується також Арнабом). Інше узагальнення полягає в запровадженні обмежень щодо моделей рідкості. Нехай - підмножина k -підгрупп {1 ... n}. Ми говоримо , що у є М -sparse , якщо носій функції і входить в елемент М . Тепер ми можемо поставити проблему (назвіть це P M ):$M$$k$$u$$M$$u$$M$$P_M$

Конструкція , що для будь-якого x можна відновити x ′ де ‖ x - x ′ ‖ L$A$$x$$x'$$\|x-x'\|_L \le$

, де x " знаходиться в межах всіх М- розріджених векторів.$\min_{x"} C \|x-x"\|_R$$x"$$M$

Наприклад, елементи можуть мати вигляд I 1 ∪ ... ∪ I k , де кожному I i відповідає один "підблок" {1 ... n} деякої довжини b , тобто I i є форми {jb + 1 ... (j + 1) b} для деякого j . Це так звана модель "блокованості блоків". $M$$I_1 \cup \ldots \cup I_k$$I_i$$b$$I_i$$j$

Переваги моделей полягають у тому, що можна заощадити на кількості вимірювань порівняно з загальним підходом помірності. Це пояснюється тим, що простір M -розмірних сигналів менший за простір усіх k -розмірних сигналів, тому матриці A потрібно зберігати менше інформації. Докладніше див. У Баранюк-Цевхер-Дуарте-Хегде, транзакції IEEE з інформаційної теорії, 2010 р. Або Ельдар-Мішалі, IEEE Transaction on the Information Theory, 2009 .$k$$M$$k$$A$

Сподіваюся, це допомагає.

Існує узагальнення стисненого зондування до некомутативного параметра, що називається завершенням матриці . У точній установці вам надається невідома матриця M, яка замість розрідженості, як відомо, має низький ранг r ≪ m , n . Ваша мета полягає в тому, щоб реконструювати r сингулярних значень та сингулярних векторів цієї матриці шляхом вибірки лише коефіцієнтів ˜ O ( r m + r n ) матриці, а не O ( m n ), як це вимагається в гіршому випадку. $m \times n$$M$$r \ll m,n$$r$$\tilde{O}(rm+rn)$$O(mn)$

Якщо сингулярні вектори є достатньо «невідповідними» (приблизно, не надто добре узгодженими) з основою, в якій ви відбираєте елементи матриці, то ви можете домогтися успіху, вирішивши опуклу програму, аналогічну стандартному стисненому зондуванню. У цьому випадку вам доведеться мінімізувати 1-норму Schatten, тобто суму сингулярних значень.

Ця проблема також має безліч застосувань, наприклад, для надання рекомендацій щодо книг покупцеві інтернет-магазину книг, не знаючи лише тих кількох рейтингів, які створили інші клієнти. У цьому контексті рядки та стовпці позначаються відповідно книгами та замовниками. Кілька видимих ​​елементів матриці - це рейтинги покупців книг, які вони купували раніше. Очікується, що матриця M має низький ранг, оскільки ми вважаємо, що, як правило, лише кілька первинних факторів впливають на наші переваги. Заповнивши M , продавець може зробити точні прогнози щодо того, які книги ви, ймовірно, захочете.$M$$M$$M$

Гарним початком є ​​цей документ Candés та Recht, Точне завершення матриці за допомогою опуклої оптимізації . Існує також дуже класне узагальнення, де вам дозволено вибірки в довільній основі для матричного простору. У цьому документі Девіда Гросса, що відновлює матриці низького рангу з кількох коефіцієнтів на будь-якій основі, використовується це узагальнення для істотного спрощення доказів заповнення матриці, а для деяких баз ви також можете видалити припущення про невідповідність. Цей документ також містить найкращі на сьогоднішній день межі щодо складності вибірки. Це може здатися дивним для вибірки на довільній основі, але це фактично цілком природно в налаштуваннях квантової механіки, див., Наприклад, цей документ, Квантова державна томографія за допомогою стисненого зондування .

Існує стиснене зондування на основі різноманітності, в якому умова обмеженості замінюється умовою, що дані лежать на низькомірному підмножині природного простору сигналів. Зауважте, що рідкість може бути охарактеризована як лежача на певному колекторі (насправді, секантна різноманітність).

Див., Наприклад, цей документ та посилання на його вступ. (Я, правда, не знаю, чи цей документ є репрезентативним для цієї області. Мені більше знайома відповідна тема класифікаторів, заснованих на різноманіттях, a la Niyogi-Smale-Weinberger .)

Я припускаю, що на рівні загальності, на якому я ставив запитання, документ "Стиснення джерел, що є вибірки" Тревізана, Вадхана та Цукермана (2004) також кваліфікується як одна з можливих відповідей. Вони показують, що у багатьох випадках, якщо джерело вхідних рядків відрізняється низькою складністю (наприклад, вибірки за допомогою машин журнального простору), тоді можна стиснути і декомпресувати в поліноміальний час, щоб тривати константу добавки від ентропії джерела.

Я не знаю, хоча, якщо стиснене зондування можна вкласти в якусь більшу теорію стиснення.

Один аналог компресійного зондування - в машинному навчанні, коли ви намагаєтесь оцінити високий розмірний ваговий вектор (наприклад, у класифікації / регресії) з дуже малого розміру вибірки. Щоб мати справу з недоозначеними системами лінійних рівнянь у таких налаштуваннях, зазвичай застосовується обмеженість (через l0 або l1 штраф) у вивченому векторі ваги. Щоб побачити зв’язок, врахуйте наступну проблему класифікації / регресії з машинного навчання:

Представити N прикладів розмірів D кожен (D >> N) у вигляді матриці NxD X. Представити N відповідей (по одному для кожного прикладу) у вигляді вектора Nx1 Y. Мета полягає у вирішенні для тети вектора Dx1 за допомогою наступного рівняння : Y = X * theta

Тепер ось аналогія цієї проблеми з компресійним зондуванням (CS): ви хочете оцінити / виміряти тету, що є D розмірним вектором (подібним до невідомого "сигналу" в CS). Щоб оцінити це, ви використовуєте матрицю X (подібну до проектної матриці в CS) і N 1-D вимірювань Y (подібні до стисненого сигналу в CS, оскільки D >> N).

Дивіться: http://www.damtp.cam.ac.uk/user/na/people/Anders/Inf_CS43.pdf