Поступова регресія Гаусса

Я хочу здійснити поступову регресію процесу гауса, використовуючи розсувне вікно над точками даних, які надходять по черзі через потік.

Дозволяє $d$позначають розмірність вхідного простору. Отже, кожен пункт даних$x_i$ має $d$ кількість елементів.

Дозволяє $n$ бути розміром розсувного вікна.

Для того, щоб робити прогнози, мені потрібно обчислити зворотну грамматрицю $K$, де $K_{ij} = k(x_i, x_j)$ і k - квадратне експоненціальне ядро.

Щоб уникнути збільшення К із кожним новим точком даних, я подумав, що можу видалити найдавнішу точку даних, перш ніж додавати нові точки, і таким чином запобігаю зростанню грам. Наприклад, нехай$K = \phi(X)^{T}\Sigma\phi(X)$ де $\Sigma$ - коваріація ваг і $\phi$ - це неявна функція відображення, що має на увазі квадратне експоненціальне ядро.

Тепер нехай $X=[x_{t-n+1}|x_{t-n+2}|...|x_{t}$] та $X_{new}=[x_{t-n+2}|...|x_{t}|x_{t+1}]$ де $x$є $d$ від $1$ матриці стовпців.

Мені потрібен ефективний спосіб знайти це $K_{new}^{-1}$ потенційно використовуючи $K$. Це не схоже на зворотну проблему з оновленою матрицею 1-го рангу, яку можна ефективно вирішити за допомогою формули Шермана-Моррісона.

Для цього було кілька рекурсивних алгоритмів. Ви повинні подивитися алгоритм рекурсивного найменшого квадрату ядра (KRLS) та пов'язані з ним алгоритми онлайн-GP.

• Van Vaerenbergh, S., Santamaria, I., Liu, W. and Principe, JC (2010). Рекурсивні найменші квадрати ядра з фіксованим бюджетом . «Акустика мови та обробки сигналів» (ICASSP), 2010 р. Міжнародна конференція IEEE, стор. 1882-1885. IEEE.
• Lazaro-Gredilla, M., Van Vaerenbergh, S., and Santamaria, I. (2011). Байєсівський підхід до відстеження з рекурсивними найменшими квадратами ядра . "Машинне навчання для обробки сигналів" (MLSP), 2011, Міжнародний семінар IEEE, на сторінках 1-6. IEEE.
• Perez-Cruz, F., Van Vaerenbergh, S., Murillo-Fuentes, JJ, Lazaro-Gredilla, M., and Santamaria, I. (2013). Гауссові процеси для нелінійної обробки сигналів: огляд останніх досягнень . Журнал обробки сигналів IEEE, 30 (4): 40-50.

Поетапна оцінка моделей ГП добре вивчена в літературі. Основна ідея - це замість того, щоб обумовлювати всі нові спостереження, які ви хочете передбачити, умовити один крок вперед і робити це повторно. Це стає якось близьким до фільтрації кальмана.