Визначення та конвергенція ітеративно обтяжених найменших квадратів

Я використовував ітеративно перезавантажені найменші квадрати (IRLS), щоб мінімізувати функції наступної форми,

$J(m) = \sum_{i=1}^{N} \rho \left(\left| x_i - m \right|\right)$

де $N$ - кількість екземплярів $x_i \in \mathbb{R}$ , $m \in \mathbb{R}$ є надійною оцінкою, яку я хочу, і $\rho$ є відповідною надійною функцією покарання. Скажімо, вона опукла (хоча і не обов'язково суворо) і наразі відрізняється. Хорошим прикладом такого $\rho$ є функція втрат Губера .

Те, що я роблю, - це розмежування $J(m)$ стосовно $m$ (і маніпулювання) для отримання,

$\frac{dJ}{dm}= \sum_{i=1}^{N} \frac{\rho'\left( \left|x_i-m\right|\right) }{\left|x_i-m\right|} \left( x_i-m \right)$

і ітераційно вирішуючи це, встановлюючи його рівним 0 і фіксуючи ваги при ітерації $k$ to $w_i(k) = \frac{\rho'\left( \left|x_i-m{(k)}\right|\right) }{\left|x_i-m{(k)}\right|}$ (зауважимо, що сприйнята сингулярність при $x_i=m{(k)}$ - це дійсно знімна сингулярність у всіх $\rho$ -х, про які я можу хвилюватись). Тоді я отримую,

$\sum_{i=1}^{N} w_i(k) \left( x_i-m{(k+1)} \right)=0$

і я вирішую для отримання, $m(k+1) = \frac{\sum_{i=1}^{N} w_i(k) x_i}{ \sum_{i=1}^{N} w_i(k)}$ .

Я повторюю цей алгоритм з фіксованою точкою до «зближення». Зауважу, що якщо ви дістанетесь до фіксованої точки, ви оптимальні, оскільки ваша похідна дорівнює 0 і це опукла функція.

У мене є два питання щодо цієї процедури:

Це стандартний алгоритм IRLS? Після прочитання декількох статей на цю тему (і вони були дуже розсіяні та розпливчасті щодо того, що таке IRLS) - це найбільш послідовне визначення алгоритму, який я можу знайти. Я можу розміщувати документи, якщо люди хочуть, але я насправді не хотів нікого тут упереджувати. Звичайно, ви можете узагальнити цю основну методику для багатьох інших типів проблем, пов'язаних з вектором та аргументами, крім $x_i$ $\left|x_i-m{(k)}\right|$ , надання аргументу є нормою афінної функції ваших параметрів. Будь-яка допомога чи розуміння було б чудово з цього приводу.
Конвергенція, здається, працює на практиці, але у мене є кілька проблем. Я ще не бачу доказів цього. Після декількох простих симуляцій Matlab я бачу, що одна ітерація цього не є зіставленням скорочень (я створив два випадкові екземпляри та обчислення $m$ і побачив, що іноді це більше, ніж 1). Також відображення, визначене кількома послідовними ітераціями, не є суворо відображенням скорочень, але ймовірність постійної Ліпшица перевищує 1 стає дуже низькою. Так чи існує поняттязіставлення скорочення вірогідності? Яку техніку я б використав, щоб довести, що це збігається? Це навіть сходиться? $\frac{\left|m_1(k+1) - m_2(k+1)\right|}{\left|m_1(k)-m_2(k)\right|}$

Будь-які вказівки взагалі корисні.

Редагувати: Мені подобається стаття про IRLS для рідкого відновлення / стискання зонду від Daubechies et al. 2008 р. "Ітеративно перезважена кількість мінімумів найменших квадратів для рідкого відновлення" на arXiv. Але, здається, зосереджена в основному на вазі для невипуклих проблем. Мій випадок значно простіший.

— Кріс А.
джерело

Переглядаючи сторінку wiki на IRWLS, я борюся за різницю між описаною вами процедурою та IRWLS (вони просто використовують

як їх особлива

функція). Чи можете ви пояснити, чим ви вважаєте, що алгоритм, який ви пропонуєте,відрізняєтьсявід IRWLS?

| y_{i} - x x_{i}^{'} β β |^{2}

$|y_i-\pmb x_i'\pmb\beta|^2$

ρ

$\rho$

— user603

Я ніколи не заявляв, що це було інакше, і якщо я це мав на увазі, я цього не мав на увазі.

— Кріс А.

Що стосується вашого першого питання, то слід визначити "стандарт" або визнати, що "канонічна модель" поступово встановлюється. Як зазначається в коментарі, здається, що принаймні стандартний спосіб використання IRWLS.

Що стосується вашого другого запитання, "зіставлення вірогідних скорочень" може бути пов'язане (проте неофіційно) зі зближенням "рекурсивних стохастичних алгоритмів". З того, що я прочитав, існує величезна література з цього приводу, головним чином, з техніки. В економіці ми використовуємо крихітний фрагмент, особливо насіннєві праці Леннарта Люнга - першим документом був Люнг (1977) - який показав, що конвергенція (чи ні) рекурсивного стохастичного алгоритму може визначатися стабільністю (або не) пов'язаного звичайного диференціального рівняння.

(наступне було перероблено після плідної дискусії з ОП у коментарях)

Конвергенція

Я буду використовувати в якості довідника Saber Elaydi "Вступ до рівнянь різниці", 2005, 3-е видання. Аналіз обумовлений деякою заданою вибіркою даних, тому $x's$ розглядаються як фіксовані.

Умова першого порядку мінімізації цільової функції, розглядається як рекурсивна функція в , $m$

m (k + 1) = \sum_{i = 1}^{N} v_{i} [m (k)] x_{i}, v_{i} [m (k)] \equiv \frac{w_{i} [m (k)]}{\sum_{i = 1}^{N} w_{i} [m (k)]} [1]

$m(k+1) = \sum_{i=1}^{N} v_i[m(k)] x_i, \;\; v_i[m(k)] \equiv \frac{w_i[m(k)]}{ \sum_{i=1}^{N} w_i[m(k)]} \qquad [1]$

має фіксовану точку (аргмін цільової функції). По теоремі 1.13 рр 27-28 Elaydi, якщо перша похідна по від РІТ з , оцінювали в нерухому точку , позначимо його , менше одиниці за абсолютною величиною , то є асимптотично стійким (AS). Детальніше з теореми 4.3 с.179 ми маємо на увазі, що це також означає, що нерухома точка рівномірна AS (UAS). "Асимптотично стійкий" означає, що для деякого діапазону значень навколо нерухомої точки знаходиться сусідство $m$ $[1]$ $m^*$ $A'(m^*)$ $m^*$
, не обов'язково невеликого розміру, фіксована точка єпривабливою, і тому, якщо алгоритм дає значення в цьому сусідстві, він буде сходитися. Властивість, що є "рівномірною", означає, що межа цього мікрорайону, а отже, і його розмір, не залежить від початкового значення алгоритму. Фіксована точка стаєглобальноUAS, якщо . Так у нашому випадку, якщо ми це доведемо $(m^* \pm \gamma)$ $\gamma = \infty$

| A^{'} (m^{*}) | \equiv | \sum_{i = 1}^{N} \frac{\partial v_{i} (m^{*})}{\partial m} x_{i} | < 1 [2]

$|A'(m^*)|\equiv \left|\sum_{i=1}^{N} \frac{\partial v_i(m^*)}{\partial m}x_i\right| <1 \qquad [2]$

ми довели властивість UAS, але без глобальної конвергенції. Тоді ми можемо або спробувати встановити, що сусідство притягання насправді є цілими розширеними реальними числами, або що конкретне вихідне значення, яке використовує ОП, як зазначено в коментарях (і це є стандартним методологією IRLS), тобто середнє значення вибірки з 's, , завжди належить до сусідства тяжіння нерухомої точки. $x$ $\bar x$

Обчислюємо похідну

\frac{\partial v_{i} (m^{*})}{\partial m} = \frac{\frac{\partial w_{i} (m^{*})}{\partial m} \sum_{i = 1}^{N} w_{i} (m^{*}) - w_{i} (m^{*}) \sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}}{{(\sum_{i = 1}^{N} w_{i} (m^{*}))}^{2}}

$\frac{\partial v_i(m^*)}{\partial m} = \frac {\frac{\partial w_i(m^*)}{\partial m}\sum_{i=1}^{N} w_i(m^*)-w_i(m^*)\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}}{\left(\sum_{i=1}^{N} w_i(m^*)\right)^2}$

= \frac{1}{\sum_{i = 1}^{N} w_{i} (m^{*})} \cdot [\frac{\partial w_{i} (m^{*})}{\partial m} - v_{i} (m^{*}) \sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}]

$=\frac 1{\sum_{i=1}^{N} w_i(m^*)}\cdot\left[\frac{\partial w_i(m^*)}{\partial m}-v_i(m^*)\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}\right]$

A^{'} (m^{*}) = \frac{1}{\sum_{i = 1}^{N} w_{i} (m^{*})} \cdot [\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m} x_{i} - (\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}) \sum_{i = 1}^{N} v_{i} (m^{*}) x_{i}]

$A'(m^*) = \frac 1{\sum_{i=1}^{N} w_i(m^*)}\cdot\left[\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}x_i-\left(\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}\right)\sum_{i=1}^{N}v_i(m^*)x_i\right]$

= \frac{1}{\sum_{i = 1}^{N} w_{i} (m^{*})} \cdot [\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m} x_{i} - (\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}) m^{*}]

$=\frac 1{\sum_{i=1}^{N} w_i(m^*)}\cdot\left[\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}x_i-\left(\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}\right)m^*\right]$

and

| A^{'} (m^{*}) | < 1 \Rightarrow | \sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m} (x_{i} - m^{*}) | < | \sum_{i = 1}^{N} w_{i} (m^{*}) | [3]

$|A'(m^*)| <1 \Rightarrow \left|\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}(x_i-m^*)\right| < \left|\sum_{i=1}^{N} w_i(m^*)\right| \qquad [3]$

we have

\begin{aligned} \frac{\partial w_{i} (m^{*})}{\partial m} = & \frac{- ρ^{″} (| x_{i} - m^{*} |) \cdot \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |} | x_{i} - m^{*} | + \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |} ρ^{'} (| x_{i} - m^{*} |)}{| x_{i} - m^{*} |^{2}} \\ = \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{3}} ρ^{'} (| x_{i} - m^{*} |) - ρ^{″} (| x_{i} - m^{*} |) \cdot \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \\ = \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \cdot [\frac{ρ^{'} (| x_{i} - m^{*} |)}{| x_{i} - m^{*} |} - ρ^{″} (| x_{i} - m^{*} |)] \\ = \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \cdot [w_{i} (m^{*}) - ρ^{″} (| x_{i} - m^{*} |)] \end{aligned}

$\begin{align}\frac{\partial w_i(m^*)}{\partial m} = &\frac{-\rho''(|x_i-m^*|)\cdot \frac {x_i-m^*}{|x_i-m^*|}|x_i-m^*|+\frac {x_i-m^*}{|x_i-m^*|}\rho'(|x_i-m^*|)}{|x_i-m^*|^2} \\ \\ &=\frac {x_i-m^*}{|x_i-m^*|^3}\rho'(|x_i-m^*|) - \rho''(|x_i-m^*|)\cdot \frac {x_i-m^*}{|x_i-m^*|^2} \\ \\ &=\frac {x_i-m^*}{|x_i-m^*|^2}\cdot \left[\frac {\rho'(|x_i-m^*|)}{|x_i-m^*|}-\rho''(|x_i-m^*|)\right]\\ \\ &=\frac {x_i-m^*}{|x_i-m^*|^2}\cdot \left[w_i(m^*)-\rho''(|x_i-m^*|)\right] \end{align}$

Inserting this into $[3]$ we have

| \sum_{i = 1}^{N} \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \cdot [w_{i} (m^{*}) - ρ^{″} (| x_{i} - m^{*} |)] (x_{i} - m^{*}) | < | \sum_{i = 1}^{N} w_{i} (m^{*}) |

$\left|\sum_{i=1}^{N}\frac {x_i-m^*}{|x_i-m^*|^2}\cdot \left[w_i(m^*)-\rho''(|x_i-m^*|)\right](x_i-m^*)\right| < \left|\sum_{i=1}^{N} w_i(m^*)\right|$

\Rightarrow | \sum_{i = 1}^{N} w_{i} (m^{*}) - \sum_{i = 1}^{N} ρ^{″} (| x_{i} - m^{*} |) | < | \sum_{i = 1}^{N} w_{i} (m^{*}) | [4]

$\Rightarrow \left|\sum_{i=1}^{N}w_i(m^*)-\sum_{i=1}^{N}\rho''(|x_i-m^*|)\right| < \left|\sum_{i=1}^{N} w_i(m^*)\right| \qquad [4]$

This is the condition that must be satisfied for the fixed point to be UAS. Since in our case the penalty function is convex, the sums involved are positive. So condition $[4]$ is equivalent to

\sum_{i = 1}^{N} ρ^{″} (| x_{i} - m^{*} |) < 2 \sum_{i = 1}^{N} w_{i} (m^{*}) [5]

$\sum_{i=1}^{N}\rho''(|x_i-m^*|) < 2\sum_{i=1}^{N}w_i(m^*) \qquad [5]$

If $\rho(|x_i-m|)$ is Hubert's loss function, then we have a quadratic ( $q$ ) and a linear ( $l$ ) branch,

ρ (| x_{i} - m |) = {\begin{cases} (1 / 2) | x_{i} - m |^{2} | x_{i} - m | \leq δ \\ δ (| x_{i} - m | - δ / 2) | x_{i} - m | > δ \end{cases}

$\rho(|x_i-m|)=\cases{ (1/2)|x_i- m|^2 \qquad\;\;\;\; |x_i-m|\leq \delta \\ \\ \delta\big(|x_i-m|-\delta/2\big) \qquad |x_i-m|> \delta}$

and

ρ^{'} (| x_{i} - m |) = {\begin{cases} | x_{i} - m | | x_{i} - m | \leq δ \\ δ | x_{i} - m | > δ \end{cases}

$\rho'(|x_i-m|)=\cases{ |x_i- m| \qquad |x_i-m|\leq \delta \\ \\ \delta \qquad \qquad \;\;\;\; |x_i-m|> \delta}$

ρ^{″} (| x_{i} - m |) = {\begin{cases} 1 | x_{i} - m | \leq δ \\ 0 | x_{i} - m | > δ \end{cases}

$\rho''(|x_i-m|)=\cases{ 1\qquad |x_i-m|\leq \delta \\ \\ 0 \qquad |x_i-m|> \delta}$

{\begin{cases} w_{i, q} (m) = 1 | x_{i} - m | \leq δ \\ w_{i, l} (m) = \frac{δ}{| x_{i} - m |} < 1 | x_{i} - m | > δ \end{cases}

$\cases{ w_{i,q}(m) =1\qquad \qquad \qquad |x_i-m|\leq \delta \\ \\ w_{i,l}(m) =\frac {\delta}{|x_i-m|} <1 \qquad |x_i-m|> \delta}$

Since we do not know how many of the $|x_i-m^*|$ 's place us in the quadratic branch and how many in the linear, we decompose condition $[5]$ as ( $N_q + N_l = N$ )

\sum_{i = 1}^{N_{q}} ρ_{q}^{″} + \sum_{i = 1}^{N_{l}} ρ_{l}^{″} < 2 [\sum_{i = 1}^{N_{q}} w_{i, q} + \sum_{i = 1}^{N_{l}} w_{i, l}]

$\sum_{i=1}^{N_q}\rho_q''+\sum_{i=1}^{N_l}\rho_l'' < 2\left[\sum_{i=1}^{N_q}w_{i,q} +\sum_{i=1}^{N_l}w_{i,l}\right]$

\Rightarrow N_{q} + 0 < 2 [N_{q} + \sum_{i = 1}^{N_{l}} w_{i, l}] \Rightarrow 0 < N_{q} + 2 \sum_{i = 1}^{N_{l}} w_{i, l}

$\Rightarrow N_q + 0 < 2\left[N_q +\sum_{i=1}^{N_l}w_{i,l}\right] \Rightarrow 0 < N_q+2\sum_{i=1}^{N_l}w_{i,l}$

which holds. So for the Huber loss function the fixed point of the algorithm is uniformly asymptotically stable, irrespective of the $x$ 's. We note that the first derivative is smaller than unity in absolute value for any $m$ , not just the fixed point.

What we should do now is either prove that the UAS property is also global, or that, if $m(0) = \bar x$ then $m(0)$ belongs to the neighborhood of attraction of $m^*$ .

— Alecos Papadopoulos
джерело

Thanks for the response. Give me some time to analyze this answer.

— Chris A.

Certainly. After all, the question waited 20 months.

— Alecos Papadopoulos

Yeah, I was reminded of the problem and decided to put up a bounty. :)

— Chris A.

Lucky me. I wasn't there 20 months ago - I would have taken up this question, bounty or not.

— Alecos Papadopoulos

Thanks so much for this response. It's looking like, so far, that you've earned the bounty. BTW, your indexing on the derivative of

v_{i}

$v_i$ w.r.t

m

$m$ is notationally weird. Couldn't the summations on the second line of this use another variable, such as

j

$j$ ?

— Chris A.