Розуміння параметрів функції Гаусса Базиса, що використовуються в лінійній регресії

12

Я хотів би застосувати функцію бази Гаусса в реалізації лінійної регресії. На жаль, мені важко зрозуміти пару параметрів у базовій функції. Зокрема $\mu$ і $\sigma$ .

Мій набір даних - матриця 10 000 х 31. 10 000 зразків та 31 особливість. Я читав, що "Кожна основна функція перетворює вхідний вектор x у скалярне значення". Тож я припускаю, що х - 1 зразок, тому 1 х 31 вектор. Звідси я розгублений. Що саме є параметром $\mu_j$ ? Я читав, що це регулює розташування базових функцій. Так це не означає щось? Мене також відкидає підрядник j ( $\mu$ і $\phi$ ), це змушує мене думати j-й ряд. Але це, здається, не має сенсу. Чи $\mu_j$ вектор? Тепер для $\sigma$ що "керує просторовою шкалою". Що саме це? Я бачив деякі реалізації, які намагаються використовувати такі параметри, як .1, .5, 2.5 для цього параметра. Як обчислюються ці значення? Я займався дослідженнями і шукав приклади, з яких можна навчитися, але поки що не зміг знайти жодного. Будь-яка допомога чи напрямок дуже вдячні! Дякую.

regression machine-learning basis-function

— user2743
джерело

11

Оскільки ви плутаєтесь, дозвольте мені почати з констатації проблеми та вирішення ваших питань по черзі. У вас є розмір вибірки 10000, і кожен зразок описується функціональним вектором . Якщо ви хочете виконати регресію за допомогою функцій радіальної бази Гаусса, тоді шукайте функцію вигляду де $x\in\mathbb{R}^{31}$

f (x) = \sum_{j} w_{j} * g_{j} (x; μ_{j}, σ_{j}), j = 1.. m

$f(x) = \sum_{j}{w_j * g_j(x; \mu_j,\sigma_j}), j=1..m$

g_{i}

$g_i$ ваші базові функції. В Зокрема, вам потрібно знайти

ваги

так , що для заданих параметрів

і

мінімізувати помилку між

і відповідним прогнозом

=

- як правило , ви будете мінімізувати помилку найменших квадратів.

m

$m$

w_{j}

$w_j$

μ_{j}

$\mu_j$

σ_{j}

$\sigma_j$

y

$y$

\hat{y}

$\hat{y}$

f (\hat{x})

$f(\hat{x})$

Що саме є параметром Mu індексу j?

Вам потрібно знайти базисні функції . (Ще потрібно визначити число ) Кожна базисна функція матиме та (також невідомо). Підписка коливається від до . $m$ $g_j$ $m$ $\mu_j$ $\sigma_j$ $j$ $1$ $m$

Чи вектор? $\mu_j$

Так, це точка в . Іншими словами, це точка десь у вашому просторі функцій, і має визначатися для кожної з базових функцій. $\mathbb{R}^{31}$ $\mu$ $m$

Я читав, що це регулює розташування базових функцій. Так це не означає щось?

$j^{th}$ $\mu_j$

Тепер для сигми, яка "керує просторовою шкалою". Що саме це?

$\sigma$

$\mathbb{R}^{1}$ $\mathbb{R}^{2}$ $\mathbb{R}^{1}$ $\sigma$ $\sigma$ $\sigma$ $\sigma$ $\sigma$

$\mathbb{R}^{1}$ $x$ $g_j(x)$ $g_j(x)$ $g_j(x)$

Кожна основна функція перетворює вхідний вектор x у скалярне значення

$\mathbf{x}\in\mathbb{R}^{31}$

\exp (- \frac{‖ x - μ_{j} ‖_{2}^{2}}{2 * σ_{j}^{2}})

$\exp\left({-\frac{\|\mathbf{x}-\mu_j\|_2^2}{2*\sigma_j^2}}\right)$

У результаті ви отримуєте скаляр. Скалярний результат залежить від відстані точки від центру заданогоі скаляр . $\mathbf{x}$ $\mu_j$ $\|\mathbf{x}-\mu_j\|$ $\sigma_j$

Я бачив деякі реалізації, які намагаються використовувати такі параметри, як .1, .5, 2.5 для цього параметра. Як обчислюються ці значення?

Звичайно, це один із цікавих і складних аспектів використання функцій радіальної основи Гаусса. якщо здійснити пошук в Інтернеті, ви знайдете багато пропозицій щодо визначення цих параметрів. Я дуже просто викладу одну можливість, засновану на кластеризації. Ви можете знайти цю та кілька інших пропозицій в Інтернеті.

Почніть з кластеризації 10000 зразків (ви можете спочатку використовувати PCA для зменшення розмірів, після чого кластеризується k-Means). Ви можете дозволити - кількість кластерів, які ви знайдете (як правило, використовуючи перехресну перевірку для визначення найкращого ). Тепер створіть радіальну функцію для кожного кластеру. Для кожної радіальної функції нехай буде центром кластера (наприклад, середнім, центроїдом тощо). Нехай відображає ширину кластера (наприклад, радіус ...) Тепер продовжуйте і виконайте свою регресію (цей простий опис - лише огляд - для цього потрібно багато роботи на кожному кроці!) $m$ $m$ $g_j$ $\mu_j$ $\sigma_j$

* Звичайно, крива дзвінка визначається від - до тому матиме значення скрізь на лінії. Однак значення, далекі від центру, незначні $\infty$ $\infty$

— мартіно
джерело

Гарна відповідь! Однак, шукаючи , чи не закінчимося з регресією машинного вектора підтримки (з гауссовим ядром)?

μ

$\mu$

— O_Devinyak

@ O_Devinyak - Багато методів розширення бази вимагають певної оцінки параметрів. Є багато способів знайти тому я не думаю, що це обов'язково означає, що ми зводимо проблему до SVR. Якщо чесно, я не фахівець з SVR, але функція втрат, яка зведена до мінімуму, безумовно, відрізняється, і я впевнений, що багато функцій ігноруються - ось спосіб підтримки вектора. За допомогою базових функцій ми використовуємо всі функції для оцінки, але, на щастя, компактна підтримка означає, що багато базових функцій повертають незначні або нульові значення. У будь-якому разі, на цьому форумі було б гарне запитання

μ

$\mu$

— мартіно

Навіщо нам потрібна шкала а не коваріаційна матриця, яка б зробила базову функцію схожою на експоненціальну частину багатоваріантного Гаусса?

σ_{j}

$\sigma_j$

— стік потоку

1

Дозвольте спробувати дати просте пояснення. У такому позначенні може бути номером рядка, але може бути і номером функції. Якщо ми запишемо то позначає номер функції, - стовпець-вектор, - скалярний, а - стовпець -вектор. Якщо ми запишемо то позначає номер рядка, - скалярний, - стовпець-вектор, а - вектор-рядок. Позначення, де позначає рядок, а позначає стовпець, є більш поширеним, тому скористаємося першим варіантом. $j$ $y=\beta_0+\sum_{j=1:31}{\beta_j\phi_j(x)}$ $j$ $y$ $\beta_j$ $\phi_j(x)$ $y_j=\beta\phi_j(x)$ $j$ $y_j$ $\beta$ $\phi_j(x)$ $i$ $j$

Введення базисної функції Гаусса в лінійну регресію, (скалярна) тепер залежить не від числових значень ознак (вектор), а від відстаней між та центром усіх інших точок . Таким чином, не залежить від того, чи є величина ї характеристики -го спостереження високою чи малою, але залежить від того, чи -ве значення функції близьке чи далеко від середнього для цієї -події . Отже не є параметром, оскільки його неможливо настроїти. Це лише властивість набору даних. Параметр $y_i$ $x_i$ $x_i$ $\mu_i$ $y_i$ $j$ $i$ $j$ $j$ $\mu_{ij}$ $\mu_j$ $\sigma^2$ є скалярним значенням, воно контролює плавність і може бути налаштоване. Якщо вона невелика, невеликі зміни відстані матимуть великий ефект (згадайте крутий гаусс: усі точки, розташовані вже на невеликій відстані від центру, мають крихітні значення ). Якщо вона велика, невеликі зміни відстані матимуть низький ефект (пам’ятайте плоский гаусс: зменшення при збільшенні відстані від центру повільне). Оптимальне значення слід шукати (воно зазвичай зустрічається з перехресною валідацією). $y$ $y$ $\sigma^2$

— О_Девіняк
джерело

0

Функції основи Гаусса у багатоваріантних налаштуваннях мають багатоваріантні центри. Якщо припустити, що ваш , то також . Gaussian повинен бути багатовимірними, тобто , де є коваріаційна матриця. Індекс не є складовою вектора, це просто й вектор. Аналогічно, - -та матриця. $x\in\mathbb{R}^{31}$ $\mu_j\in\mathbb{R}^{31}$ $e^{(x-\mu_j)'\Sigma_j^{-1}(x-\mu_j)}$ $\Sigma_j\in\mathbb{R}^{31\times 31}$ $j$ $j$ $\Sigma_j$ $j$

— Карел Мацек
джерело