Чи мають матриці ядра RBF погані умови?

Я використовую функцію ядра RBF для реалізації одного алгоритму машинного навчання на основі ядра (KLPP), отриманої матриці ядра $K$

K (i, j) = \exp (\frac{- (x_{i} - x_{j})^{2}}{σ_{m}^{2}})

$K(i,j)= \exp\left({\frac{-(x_{i}-x_{j})^2}{ \sigma_{m}^2}}\right)$ показано, що він надзвичайно погано обумовлений. Кількість умов L2-норми приходить

10^{17} - 10^{64}

$10^{17}-10^{64}$

Чи є спосіб зробити його добре кондиціонованим? Я здогадуюсь, параметр $\sigma$ потребує налаштування, але я не знаю, як саме.

Дякую!

— Зейху
джерело

добре, якщо ви зробите

σ_{m}

$\sigma_m$ менший ви покращуєте номер умови.

— користувач189035

Відповіді:

Зменшення ширини ядра $\sigma_m$ зазвичай зменшить номер умови.

Однак матриці ядра можуть стати сингулярними або близькими до сингулярних для будь-якої базової функції або розподілу точок за умови перекриття базових функцій. Причина цього насправді досить проста:

Матриця ядра $K$ є одниною, коли її визначальник $\det(K)$ дорівнює нулю.
Обмін двома очками $x_i$ і $x_j$ у вашій інтерполяції еквівалентно обміну двома рядами $K$ , припускаючи, що ваші пробні бали залишаються постійними.
Поміняючи два ряди в матриці, перемикає знак її визначника.

А тепер уявіть собі вибір двох пунктів $x_i$ і $x_j$ і повільно обертаючи їх, щоб вони перемикалися місцями. Роблячи це, визначник $K$ перемкне знак, ставши нулем у якийсь момент між ними. У цей момент $K$ за визначенням є одниною.

— Педро
джерело

Хіба не K матриці симетричні - обміняючи двома пунктами, міняючи рядки та стовпці?

— denis

@Denis Це лише той випадок, якщо ваші вузли та пробні бали однакові і ви переміщуєте обидва. Ось чому у другій кулі я написав "припускаючи, що ваші пробні бали залишаються постійними".

— Педро

матриця ядра гауссів (питання ОП) все-таки позитивно напіввизначена?

— деніс

@Denis: Знову ж таки, це питання про те, як ви визначаєте свою проблему інтерполяції RBF. Розглянемо найзагальніший випадок, де у вас є

N

$N$ RBFs зосереджені на балах

x_{i}

$x_i$ ,

i = 1 \dots N

$i=1\dots N$ , і ви хочете мінімізувати інтерполяцію на

M

$M$ бали

ξ_{j}

$\xi_j$ ,

j = 1 \dots M

$j=1\dots M$ . Приклад плаката передбачає

M = N

$M=N$ і

ξ_{j} = x_{i}

$\xi_j=x_i$ . Якщо ми спочатку встановили

M \leftarrow N

$M\leftarrow N$ і

ξ_{j} \leftarrow x_{i}

$\xi_j \leftarrow x_i$ , а потім просто перемістіть

x_{i}

$x_i$ , ми можемо тривіально породжувати однину

K

$K$ .

— Педро

Пара пропозицій:

Виберіть $\sigma \sim$ середня відстань | випадкові $x$ - найближчий $x_i$ . (Дешеве наближення для $N$ точки рівномірно розподілені в одиничному кубі в $\mathbb{R}^d, d\ 2 .. 5$ , становить 0,5 / $N^{1/d}$ .)
Ми хочемо $\phi( |x - x_i| )$ бути великим для $x_i$ біля $x$ , малий для фонового шуму; сюжет, який для кількох випадкових $x$ .
Зміна $K$ від 0, $K \to K + \lambda I$ , $\lambda \sim 10^{-6}$ або так; тобто регуляризувати.
Подивіться на ваги від вирішення $(K + \lambda I) w = f$ . Якщо деякі все ще величезні (незалежно від кількості умов), це, як правило, підтверджує Бойда (нижче), що Гауссова RBF є принципово слабкою.

(Однією з альтернатив RBF є зважування на зворотному відстані, IDW. Він має перевагу автоматичного масштабування, однаковий для найближчих відстаней 1 2 3 $\dots$ як для 100 200 300 $\dots$ Також я знаходжу чіткий вибір користувача $Nnear$ , кількість найближчих сусідів, які слід врахувати, чіткіше, ніж пошук в сітці $\sigma, \lambda$ .)

Джон П. Бойд, Марність швидких перетворень Гаусса для підсумовування Gaussian радіальної базисної функції серії , говорить

гаусовий інтерполянт RBF погано обумовлений для більшості серій у тому сенсі, що інтерполянт - це невелика різниця термінів з експоненціально великими коефіцієнтами.

Сподіваюся, що це допомагає; будь ласка, поділіться своїм досвідом.

— деніс
джерело