Рекурсивний (онлайн) алгоритм регуляризованих найменших квадратів

12

Чи може хтось вказати мені в напрямку онлайн (рекурсивного) алгоритму регуляризації Тихонова (регуляризовані найменші квадрати)?

У режимі офлайн я б обчислював $\hat\beta=(X^TX+λI)^{−1}X^TY$ використовуючи свій оригінальний набір даних, де $λ$ знайдено за допомогою n-кратної перехресної перевірки. Нове значення $y$ можна передбачити для даного $x$ використовуючи $y=x^T\hat\beta$ .

В онлайн-налаштуваннях я постійно малюю нові точки даних. Як я можу оновити $\hat\beta$ коли я малюю нові додаткові зразки даних, не роблячи повного перерахунку для всього набору даних (оригінал + новий)?

— рвонути
джерело

1

Ваші тихонові регуляризовані найменші квадрати, мабуть, частіше називаються Левенбергом-Маркардом у статистичних колах, навіть коли застосовуються до чисто-лінійних задач (як тут). Там в документі про інтернет - Левенберга Марквардта тут . Я не знаю, чи це допоможе.

— Glen_b -Встановіть Моніку

11

$\hat\beta_n=(XX^T+λI)^{−1} \sum\limits_{i=0}^{n-1} x_iy_i$

Нехай $M_n^{-1} = (XX^T+λI)^{−1}$ , тоді

$\hat\beta_{n+1}=M_{n+1}^{−1} (\sum\limits_{i=0}^{n-1} x_iy_i + x_ny_n)$ , і

$M_{n+1} - M_n = x_nx_n^T$ , ми можемо отримати

$\hat\beta_{n+1}=\hat\beta_{n}+M_{n+1}^{−1} x_n(y_n - x_n^T\hat\beta_{n})$

За формулою Вудбері , ми маємо

$M_{n+1}^{-1} = M_{n}^{-1} - \frac{M_{n}^{-1}x_nx_n^TM_{n}^{-1}}{(1+x_n^TM_n^{-1}x_n)}$

В результаті,

$\hat\beta_{n+1}=\hat\beta_{n}+\frac{M_{n}^{−1}}{1 + x_n^TM_n^{-1}x_n} x_n(y_n - x_n^T\hat\beta_{n})$

Усереднення Поляка вказує, що ви можете використовувати для наближення з діапазоном від до . Ви можете спробувати у вашому випадку вибрати кращого для вашої рекурсії. $\eta_n = n^{-\alpha}$ $\frac{M_{n}^{−1}}{1 + x_n^TM_n^{-1}x_n}$ $\alpha$ $0.5$ $1$ $\alpha$

Я думаю, що це також працює, якщо застосувати алгоритм пакетного градієнта:

$\hat\beta_{n+1}=\hat\beta_{n}+\frac{\eta_n}{n} \sum\limits_{i=0}^{n-1}x_i(y_i - x_i^T\hat\beta_{n})$

— lennon310
джерело

Що робити, якщо я щоразу оновлюю регресора за допомогою пакетних зразків нових даних, де кожна наступна партія виводиться з дещо іншого розподілу? тобто не IID. У цьому випадку я хотів би, щоб регресор врахував нові дані, але не вплинув на його прогнози щодо місцевості старих даних (попередні партії)? Чи можете ви вказати мені на будь-яку літературу, яка може вам здатися корисною?

— rnoodle

Добре запитання, але на жаль, я не можу сказати, наскільки це вплине на вашу модель, якщо ви все ще використовуєте формулу градієнта партії у відповіді, або наближаєтеся, застосовуючи безпосередньо матричну форму: eta ^ (- alpha) * X (Y-X 'beta_n), де X, Y - ваші нові зразки партії

— lennon310

привіт, здається, що коефіцієнт регуляризації не бере участь у формулі рекурсивного оновлення? чи це має значення лише при ініціалізації зворотної матриці M?

— Пен Чжао

4

Точка, до якої ще ніхто не звертався, - це те, що зазвичай не має сенсу тримати параметр регуляризації постійним, оскільки додаються точки даних. Причиною цього є те, що зазвичай росте лінійно з кількістю точок даних, тоді як термін регуляризації не буде. $\lambda$ $\| X \beta -y \|^{2}$ $\| \lambda\beta \|^{2}$

— Брайан Борчерс
джерело

Це цікавий момент. Але саме чому це "не має сенсу"? Зберігання постійним, безумовно, математично справедливе, тому "не має сенсу" слід розуміти в якомусь статистичному контексті. Але який контекст? Що піде не так? Чи може бути якесь легке виправлення, наприклад, заміна сум квадратів середніми квадратами?

λ

$\lambda$

— whuber

Заміна суми квадратів на зменшену версію (наприклад, середня помилка у квадраті) мала б сенс, але просто використання рекурсивних найменших квадратів цього не виконає.

— Брайан Борчер

Що стосується того, що піде не так, залежно від вашого вибору , ви отримаєте дуже недорегульоване рішення з великою кількістю точок даних або дуже надрегульоване рішення з невеликою кількістю точок даних.

λ

$\lambda$

— Брайан Борчерс

Можна було б підозрювати, що, але якщо настроюється спочатку після отримання точок даних, а потім додається більше точок даних, то чи отримані рішення з більшою кількістю точок даних і однаковою будуть надмірно або недостатньо регульовані, залежатиме від тих нових точки даних. Це може бути проаналізовано в припущенні , що точки дані діють як н.о.р. вибірки з багатовимірного розподілу, і в цьому випадку з'являється повинна бути встановлена на на стадії . Це змінило б формули оновлення, але настільки регулярним і простим способом, що ефективне обчислення все-таки можливо. (+1)

λ

$\lambda$

n

$n$

λ

$\lambda$

λ

$\lambda$

N / n

$N/n$

N

$N$

— whuber

3

Можливо, щось на зразок стохастичного градієнтного спуску може спрацювати тут. Обчисліть використовуючи вищевказане рівняння для початкового набору даних, це буде вашою початковою оцінкою. Для кожної нової точки даних ви можете виконати один крок спуску градієнта для оновлення оцінки параметрів. $\hat{\beta}$

— Макс С.
джерело

З того часу я зрозумів, що SGD (можливо, міні-пакет) - це спосіб вирішити такі проблеми в Інтернеті, як це, наприклад, оновлення наближень функції.

— rnoodle

1

У лінійній регресії одна з можливостей - це оновлення QR-розкладання безпосередньо, як пояснено тут . Я думаю, що, якщо ви не хочете переоцінювати після додавання кожної нової точки даних, щось дуже схоже можна зробити з регресією хребта. $X$ $\lambda$

— Маттео Фасіоло
джерело

0

Ось альтернативний (і менш складний) підхід порівняно з використанням формули Вудбері. Зауважте, що і можна записати як суми . Оскільки ми обчислюємо речі в Інтернеті і не хочемо, щоб сума піднялася, ми можемо використати засоби ( і ). $X^TX$ $X^Ty$ $X^TX/n$ $X^Ty/n$

Якщо ви пишете і як: $X$ $y$

X = (\begin{matrix} x_{1}^{T} \\ ⋮ \\ x_{n}^{T} \end{matrix}), y = (\begin{matrix} y_{1} \\ ⋮ \\ y_{n} \end{matrix}),

$X = \begin{pmatrix} x_1^T \\ \vdots \\ x_n^T \end{pmatrix}, \quad y = \begin{pmatrix} y_1 \\ \vdots \\ y_n \end{pmatrix},$

ми можемо записати онлайн-оновлення до та (обчислюється до -го рядка) у вигляді: $X^TX/n$ $X^Ty/n$ $t$

A_{t} = (1 - \frac{1}{t}) A_{t - 1} + \frac{1}{t} x_{t} x_{t}^{T},

$A_t = \left(1 - \frac{1}{t}\right) A_{t-1} + \frac{1}{t}x_t x_t^T,$

b_{t} = (1 - \frac{1}{t}) b_{t - 1} + \frac{1}{t} x_{t} y_{t} .

$b_t = \left(1 - \frac{1}{t}\right) b_{t-1} + \frac{1}{t}x_t y_t.$

Ваша онлайн-оцінка потім стає $\beta$

{\hat{β}}_{t} = (A_{t} + λ I)^{- 1} b_{t} .

$\hat\beta_t = (A_t + \lambda I)^{-1}b_t.$

Зауважте, що це також допомагає, коли інтерпретація залишається постійною під час додавання спостережень! $\lambda$

Ця процедура полягає в тому, як https://github.com/joshday/OnlineStats.jl обчислює онлайн-оцінки лінійної / гребінної регресії.

— джодсід
джерело