Передумови та проблеми

Я використовую Гауссові процеси (GP) для регресії та подальшої байєсівської оптимізації (BO). Для регресії я використовую пакет gpml для MATLAB з кількома модифікаціями на замовлення, але проблема загальна.

Загальновідомий факт, що коли два тренувальних введення занадто близькі у вхідному просторі, коваріаційна матриця може стати не позитивно визначеною (на цьому сайті є кілька питань). Як результат, розклад Холеського матриці коваріації, необхідний для різних обчислень GP, може вийти з ладу через помилку числення. Це траплялося зі мною в декількох випадках, коли виконував БО цільові функції, якими я користуюся, і я хотів би це виправити.

Запропоновані рішення

AFAIK, стандартним рішенням для полегшення поганого кондиціонування є додавання хребта або самородка до діагоналі коваріаційної матриці. Для регресії загальної практики це означає додавання (або збільшення, якщо вже є) спостережного шуму.

Все йде нормально. Я змінив код для точного виведення gpml, щоб, коли розклад Холеського не вдався, намагаюся зафіксувати матрицю коваріації до найближчої симетричної матриці позитивного певного (SPD) у нормі Фробеніуса, натхненної цим кодом MATLAB Джоном д'Еріко. Обґрунтуванням є мінімізація втручання на початковій матриці.

Цей спосіб вирішує цю роботу, але я помітив, що ефективність роботи BO істотно знижується для деяких функцій - можливо, коли алгоритм потребує збільшення в деякій області (наприклад, тому, що він наближається до мінімуму або тому, що масштаб довжини проблеми стають нерівномірно малими). Така поведінка має сенс, оскільки я ефективно збільшую шум, коли дві точки входу занадто близько, але, звичайно, це не ідеально. Крім того, я міг би просто видалити проблемні точки, але знову ж таки, іноді мені потрібні вхідні точки, щоб вони були близькими.

Питання

Я не думаю, що чисельні проблеми з Чолеским коефіцієнтом коваріаційних матриць GP є новою проблемою, але, на мій подив, я не міг знайти багато рішень поки що не збільшуючи шум або видаляючи точки, що знаходяться занадто близько один до одного. З іншого боку, це правда, що деякі мої функції досить погано поводяться, тому, можливо, моя ситуація не така типова.

Будь-яка пропозиція / посилання, які можуть бути корисні тут?

Іншим варіантом є по суті середнє значення очок, що викликають - наприклад, якщо у вас 1000 очок і 50 проблем, ви можете взяти оптимальне наближення низького рангу, використовуючи перші 950 власних значень / векторів. Однак, це не за горами видалення точок даних близько один до одного, що ви сказали, що не хочете робити. Будь ласка, майте на увазі, що якщо ви додаєте тремтіння, ви зменшуєте ступінь свободи - тобто кожна точка впливає на ваш прогноз менше, тому це може бути гірше, ніж використання менше очок.

Інший варіант (який я особисто вважаю охайним) - поєднати дві точки більш розумним чином. Наприклад, ви можете взяти 2 бали і об'єднати їх в одну, але також використовувати їх для визначення наближення для градієнта. Щоб включити інформацію про градієнт, все, що вам потрібно від вашого ядра, - це знайти та . Похідні зазвичай не співвідносяться зі своїми спостереженнями, тому ви не стикаєтеся з проблемами кондиціонування та зберігаєте місцеву інформацію.d x d x ′ k ( x , x ′$dxk(x,x')$$dxdx'k(x,x')$

Редагувати:

Грунтуючись на коментарях, я думав, що я би розробив те, що маю на увазі, включаючи похідні спостереження. Якщо ми використовуємо ядро ​​гаусса (як приклад),

$k_{x,x'} = k(x, x') = \sigma\exp(-\frac{(x-x')^2}{l^2})$

його похідні,

$k_{dx,x'} =\frac{dk(x, x')}{dx} = - \frac{2(x-x')}{l^2} \sigma\exp(-\frac{(x-x')^2}{l^2})$

$k_{dx,dx'} =\frac{d^2k(x, x')}{dxdx'} = 2 \frac{l^2 - 2(x-x')}{l^4} \sigma\exp(-\frac{(x-x')^2}{l^2})$

$\{x_i, y_i ; i = 1,...,n \}$$x_1$$m_1$

$Y = [m_1, y_1, \dots, y_n]$

$K = \left( \begin{array}{cccc} k_{dx_0,dx_0} & k_{dx_0,x_0} & \dots & k_{dx_0,x_n} \\ k_{dx_0,x_0} & k_{x_0,x_0} & \dots & k_{x_0,x_n} \\ \vdots & \vdots & \ddots & \vdots \\ k_{dx_0,x_n} & k_{x_0,x_n} & \dots & k_{x_n,x_n} \end{array} \right)$

Решта лікаря - така сама, як зазвичай.

Одне з варіантів, яке ми розігнали в офісі - це просто змінити проблемні моменти. Це може мати форму прямого видалення або щось більш складне. По суті, зауваження полягає в тому, що точки близького відставання є надлишковими: насправді настільки надмірними, що зменшують ранг коваріаційної матриці. З тієї ж точки, одна точка в будь-якому випадку надає мало інформації про проблему, тому видалення однієї чи іншої (або щось інше, наприклад, усереднення їх або "відскакування" однієї точки від іншої на деяку мінімально прийнятну відстань) не дуже змінити своє рішення настільки сильно.

Я не впевнений, як судити, в який момент два пункти стають "занадто близькими". Можливо, це може бути варіант налаштування, залишений користувачеві.

(На жаль! Після того, як я опублікував це, я знайшов тут ваше запитання, яке сприяє цій відповіді на набагато більш детальне рішення. Я сподіваюся, що, посилаючись на це з моєї відповіді, я допоможу з SEO ...)