Регуляризація спорідненості для стохастичних матриць

10

Загальновідомо (наприклад, в області стиснення зондування), що норма є "спорідненою", в тому сенсі, що якщо ми мінімізуємо функціональний (для нерухомої матриці і вектора ) для досить великих , ми, мабуть, для багатьох варіантів , і буде мати багато точно нульових записів у результуючому . $L_1$ $A$ $\vec{b}$

f_{A, \vec{b}} (\vec{x}) = ‖ A \vec{x} - \vec{b} ‖_{2}^{2} + λ ‖ \vec{x} ‖_{1}

$f_{A,\vec{b}}(\vec{x})=\|A\vec{x}-\vec{b}\|_2^2+\lambda\|\vec{x}\|_1$

λ > 0

$\lambda>0$

A

$A$

\vec{b}

$\vec{b}$

λ

$\lambda$

\vec{x}

$\vec{x}$

Але якщо ми мінімуму $f_{A,\vec{b}}$ за умови, що записи $\vec{x}$ є додатними і дорівнюють $1$ , то термін $L_1$ не має жодного ефекту (тому що $\|\vec{x}\|_1=1$ фіат). Чи є аналогічний регуляризатор типу $L_1$ який працює в цьому випадку, щоб заохотити, що отриманий $\vec{x}$ є рідким?

— Джастін Соломон
джерело

Чи можете ви детальніше зупинитися на тому, що "тоді термін

L_{1}

$L_1$ не має жодного ефекту (тому що

| | x | |_{1} = 1

$||x||_1 = 1$ за допомогою fiat)"?

— Cam.Davidson.Pilon

2

@ Cam.Davidson.Pilon:

x_{i} \geq 0

$x_i \geq 0$ і

\sum_{i} x_{i} = 1

$\sum_i x_i = 1$ означає

‖ x ‖_{1} = 1

$\|x\|_1 = 1$ . :)

— кардинал

1

Джастін: Ще деякі деталі можуть дати кращий шанс на корисну відповідь. Ось декілька питань, які виникають одразу після прочитання вашого опису: ( 1 ) Де у всьому цьому "стохастична матриця"? Вам здається, що ви описуєте ситуацію, пов’язану зі стохастичним вектором . Це можуть бути просто окремі рядки вашої стохастичної матриці, або інша структура може стати очевидною, коли з'являться ще деталі. ( 2 ) Ви хочете, щоб самі ймовірності були рідкісними або, можливо, розрідженими? Якщо перший, чому? (Це якась випадкова хода на зваженому (розрідженому) графіку?)

— кардинал

Чому ви вимагаєте, щоб записи були позитивними ? Чи слід замість цього вимагати, щоб вони не були негативними ? Також ви розглядали можливість повторної параметризації для усунення обмеження (якщо вважати, що ви маєте на увазі негативний)? Іншими словами, спробуйте

\vec{x}

$\vec x$

x_{i} = \frac{\exp (w_{i})}{\sum_{j} \exp (w_{j})}

$x_i = \frac{\exp(w_i)}{\sum_j \exp(w_j)}$

— jrennie

1

@jrennie: З огляду на контекст, по позитивним Джастін , звичайно , мав в виду невід'ємним .

— кардинал

2

Загальний метод створення розріджених рішень полягає в оцінці MAP з нульовим середнім рівнем до того, як невідома дисперсія.

p (x_{i} | σ_{i}^{2}) \sim N (0, σ_{i}^{2})

$p(x_i|\sigma_i^2)\sim N(0,\sigma_i^2)$

Якщо ви призначаєте до який має режим нульового рівня, то задній режим зазвичай рідкий. випливає з цього підходу, приймаючи експоненціальне розподіл змішування. $\sigma_i^2$ $L_1$

p (σ_{i}^{2} | λ) \sim E x p o (\frac{λ^{2}}{2})

$p(\sigma_i^2|\lambda)\sim Expo\left(\frac{\lambda^2}{2}\right)$

Тоді ви отримуєте

\log [p (x_{i} | λ)] = - λ | x_{i} | + \log [\frac{λ}{2}]

$\log[p(x_i|\lambda)]=-\lambda | x_i|+\log\left[\frac{\lambda}{2}\right]$

Деякі альтернативи - це узагальнений подвійний парето, наполовину каучуковий, перевернутий бета. У певному сенсі вони кращі, ніж ласо, оскільки вони не зменшують великих значень. Насправді я впевнений, що узагальнений подвійний парето може бути записаний як суміш експонентів. Тобто ми пишемо а потім розміщуємо гамму перед . Ми отримуємо: $\lambda=\lambda_i$ $p(\lambda_i|\alpha\beta)$

p (x_{i} | α β) = \frac{α}{2 β} {(1 + \frac{| x_{i} |}{β})}^{- (α + 1)}

$p(x_i|\alpha\beta)=\frac{\alpha}{2\beta}\left(1+\frac{|x_i|}{\beta}\right)^{-(\alpha+1)}$

Зауважте, що я включив нормалізуючі константи, оскільки вони допомагають вибрати хороші глобальні параметри. Тепер, якщо ми застосуємо обмеження діапазону, тоді у нас є більш складна проблема, оскільки нам потрібно перенормувати симплекс.

Ще одна загальна особливість штрафних санкцій, що викликають рідкість, - це те, що вони не є диференційованими за нуля. Зазвичай це тому, що ліва і права межі мають протилежний знак.

Це ґрунтується на блискучій роботі Ніколя Полсона та Джеймса Скотта щодо варіабельних представлень середніх сумішей, які вони використовують для розробки TIRLS - масового розширення мінімум квадратів до дуже великого класу комбінацій втрат-штрафу.

В якості альтернативи ви можете використовувати пріоритет, який визначений у симплексі, але має режими граничних розподілів при нулі. Одним із прикладів є розподіл диріхле з усіма параметрами від 0 до 1. Мається на увазі штраф:

- \sum_{i = 1}^{n - 1} (a_{i} - 1) \log (x_{i}) - (a_{n} - 1) \log (1 - \sum_{i = 1}^{n - 1} x_{i})

$-\sum_{i=1}^{n-1}(a_i-1)\log(x_i) - (a_n-1)\log(1-\sum_{i=1}^{n-1}x_i)$

Де . Однак вам слід бути обережними в оптимізації чисельності, оскільки пенальті має особливості. Більш надійний процес оцінки полягає у використанні заднього середнього. Хоча ви втрачаєте точну рідкість, ви отримаєте багато задніх засобів, близьких до zero.p $0<a_i<1$

— ймовірністьіслогічна
джерело

Це здається дуже цікавою ідеєю, хоча ми не зовсім готові зрозуміти деталі! Якщо я правильно розумію, ідея полягає в тому, що попереднє значення походить від припущення, що змінні йдуть за експоненціальним розподілом приблизно 0. Отже, нам потрібен розподіл, орієнтований на 0, який краще працює для наших змінних. Але, явного переможця немає, правда? Чи є розподіли за "позитивними змінними, які дорівнюють 1"? Спасибі за вашу допомогу!

L_{1}

$L_1$

— Джастін Соломон

Для отримання розрідженості потрібен розподіл з режимом в нуль. І розподіл диріхлету закінчується симплексним, саме такі розподіли дорівнюють 1. Інший загальний клас - це логістично-нормальний або логістичний t, де у вас є нормальний / t розподіл для

\log [\frac{x_{i}}{x_{n}}]

$\log\left[\frac{x_i}{x_n}\right]$

— ймовірністьлогічний

Ах, Діріхлет здається досить цікавим тим, що саме на нас цікавить симплекс, як ви згадуєте! Здається, що інші два, про яких ви згадуєте, можуть ввести деяку асиметрію на , правда? Ми з моїм співробітником працюємо над енергетичною функцією, яку передбачає Діріхлет завтра, і звітуємо про це! Велике спасибі за вашу допомогу пацієнту поки що - це далеко не наше звичне поле, але якщо ми зможемо це опрацювати, результати можуть забезпечити значний крок вперед у обробці геометрії! [І, звичайно, ми надамо вам належний кредит!]

x_{n}

$x_n$

— Джастін Соломон

1

Два варіанти:

Використовуйте штраф на на . Очевидним недоліком є те, що це не випукло і тому його важко оптимізувати. $L_0$ $\vec x$
Перепараметризуйте, і використовуйте штраф за новим (природним) параметром,. Це спонукає події бути однаково вірогідними, якщо немає поважних причин, щоб їх не було. $x_i = \frac{\exp(w_i)}{\sum_j \exp(w_j)}$ $\|\vec w\|$

— jrennie
джерело

Чи можете ви пояснити, як ваша репараметризація сприяє розрідженню? Це, швидше, гарантує протилежне.

— кардинал

Це заохочує розрідженість у що відповідає заохоченню різних записів мати однакове значення.

\vec{w}

$\vec w$

\vec{x}

$\vec x$

— jrennie

Так, я це розумію. Але ці значення не будуть нульовими. Якщо ми сприймаємо ОП буквально, це не допоможе і насправді «зашкодить» (у певному сенсі). Але, можливо, ОП зацікавлена в обмеженості відносно якоїсь іншої основи, і в цьому випадку це була б одна з них. :)

— кардинал

Ось чому я запропонував два варіанти у своїй відповіді --- я думаю, що для заохочення нулів у потрібно було б невирізане покарання . Як ви зазначали, Юстин, ймовірно, не означає буквально те, що він сказав.

\vec{x}

$\vec x$

— jrennie

Так, на жаль, нам потрібна нерівномірність в основі ідентичності. Тож у цьому випадку ми хотіли б, щоб якомога більше було рівним .

w_{i}

$w_i$

- \infty

$-\infty$

— Джастін Соломон

1

Передумова питання лише частково правильна. Хоча це правда, що -норм є лише константою під обмеженням, проблема оптимізації обмежень цілком може мати розрізнене рішення. $L_1$

Однак рішення не впливає на вибір , тому або існує розріджене рішення, чи ні. Інше питання - як насправді знайти рішення. Звичайно, може використовуватися стандартний квадратичний оптимізатор з лінійними обмеженнями, але популярні алгоритми спускання координат не можуть бути використані поза коробкою. $\lambda$

Однією з пропозицій може бути оптимізація лише за контрактом позитивності для різних 's, а потім перенормувати рішення, щоб мати -норму 1. Алгоритм спуску координат повинен, я вважаю, легко модифікуватися для обчислення рішення за позитивністю обмеження. $\lambda$ $L_1$

— NRH
джерело

0

Я можу придумати три методи.

Байєсівський метод: введення нульового середнього попереднього розподілу та використання ймовірності типу II для оцінки параметрів та гіпер параметрів.
Використовуйте замість як регуляризацію. Це, однак, не відрізняється. Ви можете використовувати норму високого порядку, щоб наблизити її. $\Vert\cdot\Vert_{\infty}$
Використовуйте . $-\sum_{i=1}\log x_i$

Насправді перший і третій методи однакові.

— Хан Чжан
джерело