Універсальне наближення функції

Через теорему універсального наближення відомо, що нейронна мережа з навіть одним прихованим шаром і довільною функцією активації може наближати будь-яку безперервну функцію.

Які ще існують моделі, які також є універсальними аплікаторами функцій

machine-learning function approximation

— Опт
джерело

Я приєднався до цього сайту, щоб підтвердити це питання та деякі відповіді.

— Прасад

Це широко розглядається в статистичній літературі під темою регресії. Два стандартні посилання тут - книга Вассермана "вся непараметрична статистика" та "вступ Цибакова до непараметричної оцінки". Я коротко розповім про деякі стандартні речі та спробую дати покажчики поза статистикою (це поширена тема, і різні поля мають різні культури: довести різні види теорем, зробити різні припущення).

$((x_i,f(x_i)))_{i=1}^n$ $K$
$\hat{f} (х) : = \sum_{i} f (х_{i}) (\frac{К (c_{н} (х - х_{i}))}{\sum_{j} К (c_{н} (х - х_{j}))}),$ $\hat f(x) := \sum_i f(x_i) \left(\frac{ K(c_n(x-x_i)) }{ \sum_j K(c_n(x-x_j))}\right),$ $c_n\to\infty$ $n$ $n\to\infty$ $K$ $c_n$
$L^2$ $\hat f$ $f$ . Щоб зрозуміти різноманітність підходів тут, акуратним документом є "рівномірне наближення функцій Рахімі і Рехта до випадкових основ". Можливо, я повинен сказати, що прадідом усього цього є розширення Фур'є; про це є багато хорошого матеріалу в книзі Маллат про Вейвлетс.
(Деревні методи.) Ще один спосіб - дивитися на функцію як на дерево; на кожному рівні ви працюєте з деяким розділом домену і повертаєте, наприклад, середню точку. (Кожна обрізка дерева також дає перегородку.) За межею, тонкість цієї секції більше не дискретизує функцію, і ви її точно реконструювали. Як краще вибрати цей розділ - це складна проблема. (Ви можете переглянути Google у розділі "дерево регресії".)
(Поліноміальні методи; див. Також сплайни та інші методи інтерполяції.) За теоремою Тейлора ви знаєте, що ви можете довільно наблизитись до добре поведених функцій. Це може здатися дуже базовим підходом (тобто просто використовувати інтерполяційний поліном Лагранжа), але де цікаві речі - це вирішити, якийвказує на інтерполяцію. Це було широко досліджено в контексті числової інтеграції; ви можете знайти дивовижну математику за темами «квадратура Кленшоу-Кертіса» та «Квадратура Гаусса». Я кидаю це сюди, тому що види припущень та гарантій тут настільки кардинально відрізняються від тих, що з’являються вище. Мені подобається це поле, але ці методи дуже сильно страждають від прокляття розмірності, принаймні, я думаю, що саме тому вони менше обговорюються, ніж раніше (якщо ви чисельну інтеграцію з математикою, я думаю, що це квадратура для одновимірних доменів, але методи вибірки для багатоваріантних доменів).

Враховуючи різні обмеження для вашого функціонального класу, ви можете створити вищезазначене, щоб отримати всілякі інші широко використовувані сценарії. Наприклад, з булевими значеннями, значення порогу (1.) буде дуже схожим на оцінювач найближчого сусіда або SVM з якимось локальним ядром (гауссом). Багато з вищезазначених матеріалів страждає від прокляття розмірності (межі виявляють експоненціальну залежність від виміру). При машинному навчанні ви долаєте це або явно обмежуючи свій клас деяким сімейством (тобто "параметричними методами"), або неявним обмеженням, як правило, чимось, що стосується якості наближених до складності цільової функції (тобто аналога слабке припущення щодо навчання в стимулюванні).

$f:\mathbb{R}^d \to \mathbb{R}$

f (х) = \sum_{j = 0}^{2 г} {год}_{j} (\sum_{i = 1}^{г} г_{j, i} (х_{i})),

$f(x) = \sum_{j=0}^{2d}h_j\left(\sum_{i=1}^d g_{j,i}(x_i)\right),$

g_{j, i} : R \to R

$g_{j,i} : \mathbb{R}\to\mathbb{R}$

h_{j} : R \to R

$h_j:\mathbb{R}\to\mathbb{R}$

g

$g$

h

$h$

Θ (d^{2})

$\Theta(d^2)$

(Ви запитували лише про класи функцій, але я вважав, що вас також цікавлять методи .. якщо ні .. ой)

— матус
джерело

"З 1957 року!", Це показник 1957 року, так це з майбутнього ?! :)

— nbro