Ефективна онлайн-лінійна регресія

53

Я аналізую деякі дані там, де мені хотілося б виконати звичайну лінійну регресію, однак це неможливо, оскільки я маю справу з он-лайн налаштуваннями з безперервним потоком вхідних даних (який швидко стане занадто великим для пам’яті) і потрібно для оновлення оцінок параметрів під час споживання. тобто я не можу просто завантажити все це в пам'ять і виконувати лінійну регресію для всього набору даних.

Я припускаю просту лінійну багатоваріантну регресійну модель, тобто

у = А х + б + е

$\mathbf y = \mathbf A\mathbf x + \mathbf b + \mathbf e$

Який найкращий алгоритм для створення безперервно оновлюваної оцінки параметрів лінійної регресії і ? $\mathbf A$ $\mathbf b$

Ідеально:

Мені б хотілося, щоб алгоритм, що становить найбільше складності простору та часу за оновлення, де - розмірність незалежної змінної ( ), а - розмірність залежної змінної ( ). $\mathcal O(N\cdot M)$ $N$ $\mathbf x$ $M$ $\mathbf y$
Я хотів би мати можливість вказати якийсь параметр, щоб визначити, скільки параметрів оновлюється кожним новим зразком, наприклад, 0,000001 означатиме, що наступний зразок забезпечить одну мільйонну частину оцінки параметра. Це дало б якесь експоненціальне розпад ефекту зразків у далекому минулому.

— мікера
джерело

2

Знайдіть (1) Гнучка лінійна регресія, (2) Фільтри Кальмана.

— Jase

31

Маіндональд описує послідовний метод, заснований на обертаннях Гвенса . (Обертання Гэвенса - це ортогональне перетворення двох векторів, які нульово виводять заданий запис в одному з векторів.) На попередньому кроці ви розклали проектну матрицю на трикутну матрицю через ортогональне перетворення так, що . (Отримати результати регресії за допомогою трикутної матриці швидко і легко.) Приєднавши новий рядок нижче , ви ефективно продовжуєте $\mathbf{X}$ $\mathbf{T}$ $\mathbf{Q}$ $\mathbf{Q}\mathbf{X} = (\mathbf{T}, \mathbf{0})'$ $v$ $\mathbf{X}$ Через нульовий рядок, також, скажімо, . Завдання полягає в тому, щоб зняти нуль з цього рядка, зберігаючи записи в положеннідіагоналіПослідовність обертів Гівна робить це: обертання першим рядом нулів першого елемента ; потім обертання другим рядом нулів другим елементом тощо. Ефект полягає в тому, щоб попередньо помножити рядом обертів, що не змінює його ортогональності. $(\mathbf{T}, \mathbf{0})'$ $t$ $\mathbf{T}$ $\mathbf{T}$ $t$ $\mathbf{T}$ $\mathbf{Q}$

Коли матриця проекту має стовпчики (що має місце при регресуванні на змінних плюс константа), кількість необхідних обертів не перевищує і кожне обертання змінює два вектори. Зберігання, необхідне для є . Таким чином, цей алгоритм має обчислювальну вартість як у часі, так і в просторі. $p+1$ $p$ $p+1$ $p+1$ $\mathbf{T}$ $O((p+1)^2)$ $O((p+1)^2)$

Подібний підхід дозволяє визначити вплив на регресію видалення рядка. Мендональд дає формули; так само з Бельслі, Ку і Валлійською . Таким чином, якщо ви шукаєте рухоме вікно для регресії, ви можете зберегти дані для цього вікна в круговому буфері, примикаючи до нового даного і викидаючи старе з кожним оновленням. Це подвоює час оновлення та вимагає додаткового зберігання для вікна шириною . Здається, що буде аналогом параметра впливу. $O(k (p+1))$ $k$ $1/k$

Що стосується експоненціального розпаду, я думаю (спекулятивно), що ви можете адаптувати цей підхід до найменш зважених квадратів, надаючи кожній новій величині вагу більше 1. Не повинно бути необхідності підтримувати буфер попередніх значень або видаляти будь-які старі дані.

Список літератури

JH Maindonald, Статистичні обчислення. J. Wiley & Sons, 1984. Глава 4.

DA Belsley, E. Kuh, RE Welsch, Регресійна діагностика: виявлення впливових даних та джерел колінеарності. J. Wiley & Sons, 1980.

— дзижчати
джерело

1

Чи метод, описаний Маїндональдом, пов'язаний із алгоритмом Джентльмена чи таким же? jstor.org/stable/2347147

— OneStop

6

У цьому випадку див. Також розширення Alan Miller jstor.org/stable/2347583 . Архів його Fortran сайту програмного забезпечення тепер в jblevins.org/mirror/amiller

— OneStop

5

Явний алгоритм з’являється внизу сторінки. 4 із saba.kntu.ac.ir/eecd/people/aliyari/NN%20%20files/rls.pdf . Про це можна дізнатись за допомогою "рекурсивних найменших квадратів" в Google Це не виглядає як поліпшення підходу Джентльмена / Мендональда, але принаймні воно чітко і чітко описано.

— whuber

2

Останнє посилання виглядає як метод, який я збирався запропонувати. Ідентичність матриці, яку вони використовують, відома в інших місцях як особистість Шермана - Моррісона - Вудбері. Він також досить чисельно ефективний для здійснення, але може бути не таким стабільним, як обертання Гівнса.

— кардинал

2

@suncoolsu Хм ... Книга Маіндональда була нещодавно опублікована, коли я почав її використовувати :-).

— whuber

8

Я думаю, що переробка вашої лінійної регресійної моделі на модель простору стану дасть вам те, що ви хочете. Якщо ви використовуєте R, ви можете скористатися пакетом dlm і ознайомитись із супутниковою книгою Petris et al.

— Ф. Туселл
джерело

можливо я розгублений, але це, мабуть, стосується моделі часових рядів? моя модель насправді простіша тим, що зразки не є часовими рядами (фактично вони є незалежними (x-> y) зразками, вони просто накопичуються великими обсягами з часом)

— mikera

1

Так, у загальному випадку це використовується для часових рядів з незалежними спостереженнями; але ви завжди можете припустити взаємозв'язок між послідовними спостереженнями, що викликає особливий інтерес для вас.

— Ф. Тузелл

7

Ви завжди можете просто виконати градієнтний спуск по сумі квадратів стоять WRT параметрів вашої моделі . Просто візьміть його градієнт, але не переходьте на рішення закритої форми, а лише на напрямок пошуку. $E$ $W$

Нехай є вартість i - ой навчальної вибірки , враховуючи параметри . Оновлення для j-го параметра буде потім $E(i; W)$ $W$

W_{j} \leftarrow W_{j} + α \frac{\partial Е (i; W)}{\partial W_{j}}

$W_{j} \leftarrow W_j + \alpha \frac{\partial{E(i; W)}}{\partial{W_j}}$

де - ступінчаста швидкість, яку слід вибирати за допомогою перехресної перевірки або хорошої міри. $\alpha$

Це дуже ефективно і звичайно навчають нейронні мережі. Ви можете паралельно обробляти навіть багато зразків (скажімо, 100 чи більше).

Звичайно, можна застосувати більш складні алгоритми оптимізації (імпульс, спряжений градієнт, ...).

— байерж
джерело

Схоже на цей документ eprints.pascal-network.org/archive/00002147/01/… . Він реалізований у проекті з відкритим кодом під назвою jubatus.

— сахарин

3

Здивований, ніхто більше цього не торкався. Лінійна регресія має квадратичну цільову функцію. Отже, крок Ньютона Рафсона з будь-якої початкової точки веде вас прямо до оптими. Скажімо, ви вже зробили свою лінійну регресію. Цільова функція:

L (β) = (у - Х β)^{т} (у - Х β)

$L(\beta) = (y - X \beta)^t (y - X \beta)$ Градієнт стає

\nabla L (β) = - 2 Х^{т} (у - Х β)

$\nabla L (\beta) = -2 X^t (y - X \beta)$ І гессіан:

\nabla^{2} L (β) = Х^{т} Х

$\nabla^2 L (\beta) = X^t X$

Тепер ви отримали деякі минулі дані, зробили лінійну регресію і сидите зі своїми параметрами ( $\beta$ ). Градієнт у цій точці за визначенням дорівнює нулю. Гессіан, як зазначено вище. Приходить нова точка даних ( $x_{new}, y_{new}$ ). Ви просто обчислюєте градієнт для нової точки за допомогою:

\nabla L_{н е ш} (β) = - 2 х_{н е ш} (у_{н е ш} - х_{н е ш}^{Т} β)

$\nabla L_{new}(\beta) = -2 x_{new} (y_{new}-x_{new}^T \beta)$ і це стане вашим загальним градієнтом (оскільки градієнт із існуючих даних дорівнював нулю). Гессіан для нового пункту даних:

\nabla^{2} L_{н е ш} = х_{н е ш} х_{н е ш}^{Т}

$\nabla^2 L_{new} = x_{new}x_{new}^T$ .

Додайте це до наведеного вище старого гессіана. Потім просто зробіть крок Ньютона Рафсона.

β_{н е ш} = β_{о л г} + (\nabla^{2} L)^{- 1} \nabla L_{н е ш}

$\beta_{new} = \beta_{old} + (\nabla^2L)^{-1} \nabla L_{new}$

І ви закінчили.

— ryu576
джерело

1

\nabla L_{n e w}

$\nabla L_{new}$

p,

$p,$

O (p^{3})

$O(p^3)$

O (p^{3})

$O(p^3)$

p

$p$

(I - A)^{- 1} = I + A + A^{2} + \dots

$(I-A)^{-1}=I+A+A^2+ \dots$

2

Стандартний примірник з найменшим квадратом дає коефіцієнти регресії

$\beta = ( X^T X )^{-1} X^T Y$

$\beta$

$X^T X$ $X^T Y$ $M^2+M$ $\beta$

Наприклад, якщо M = 1, то один коефіцієнт дорівнює

$\beta = \frac{\sum_{i=1}^N{x_i y_i}}{\sum_{i=1}^N{x_i^2}}$

тому кожен раз, коли ви отримуєте нову точку даних, ви оновлюєте обидві суми та обчислюєте коефіцієнт, і ви отримуєте оновлений коефіцієнт.

$X^T X$ $X^T Y$ $(1-\lambda)$ $\lambda$

— Марк Хіггінс
джерело

2

β

$\beta$

X^{T} X

$X^T X$

X^{T} Y

$X^T Y$

6

X^{'} X

$X'X$

1

@whuber До речі, швидкий онлайн-спосіб оцінити

для мінливої матриці

і вектора

заданий Schraudolph, NN (2002). Матричні векторні вироби швидкої кривизни для градієнта спуску другого порядку. По суті, ви дозволяєте

C^{- 1} x

$C^{-1}x$

C

$C$

x

$x$

z_{t + 1} = z_{t} + x - C z_{t}

$z_{t+1}=z_t + x - Cz_t$

z \to C^{- 1} x

$z\to C^{-1}x$

t \to \infty

$t\to\infty$

1

Проблема легше вирішується, коли ви трохи переписуєте речі:

Y = y

X = [x, 1]

тоді

Y = A * X

Одночасне рішення знаходимо шляхом обчислення

V = X '* X

і

C = X '* Y

зауважте, що V повинен мати розмір N-на-N, а C - розмір N-на-M. Параметри, які ви шукаєте, потім задаються:

A = inv (V) * C

Оскільки V і C обчислюються шляхом підсумовування даних, ви можете обчислити A на кожному новому зразку. Однак це має часову складність O (N ^ 3).

Оскільки V є квадратним і напіввизначеним позитивним, розклад LU існує, що робить інвертування V числовим чином більш стійким. Існують алгоритми для виконання оновлень рангу-1 до інверсії матриці. Знайдіть їх, і ви отримаєте ефективну реалізацію, яку шукаєте.

Алгоритми оновлення рангу-1 можна знайти в "Матричних обчисленнях" Голуба та Ван Кредита. Це важкий матеріал, але він має вичерпний огляд таких алгоритмів.

Примітка. Наведений вище метод дає оцінку на найменшому квадраті на кожному кроці. Ви можете легко додавати ваги до оновлень на X і Y. Коли значення X і Y зростають занадто великими, їх можна масштабувати одним скаляром, не впливаючи на результат.

— Містер Білий
джерело