Чи може нейронна мережа засвоїти функціонал та його функціональну похідну?

Я розумію, що нейронні мережі (NN) можна вважати універсальними наближеннями як до функцій, так і до їх похідних, за певних припущень (як для мережі, так і для функції наближення). Насправді я зробив ряд тестів на простих, але нетривіальних функціях (наприклад, поліномах), і, схоже, я можу дійсно добре наблизити їх та їхні перші похідні (приклад наведено нижче).

Однак мені не зрозуміло, чи поширюються теореми, які призводять до вищезазначеного (або, можливо, можуть бути розширені) на функціонали та їх функціональні похідні. Розглянемо, наприклад, функціонал:

Я зробив ряд тестів, і, схоже, NN дійсно може вивчити відображення $F[f(x)]$ , певною мірою. Однак, хоча точність цього відображення нормальна, вона не велика; і хвилює те, що обчислювана функціональна похідна є повним сміттям (хоча і те, і інше може бути пов'язане з проблемами з навчанням тощо). Приклад наведено нижче.

Якщо NN не підходить для вивчення функціоналу та його функціональної похідної, чи існує інший метод машинного навчання, який є?

Приклади:

(1) Далі є прикладом наближення функції та її похідної: NN був навчений вивчати функцію $f(x) = x^3 + x + 0.5$ у межах [-3,2]: з якого розумне наближення до $df(x)/dx$ виходить: Зауважте, що, як очікувалося, наближення NN до $f(x)$ та його перша похідна покращуються із кількістю навчальних балів, архітектури NN, оскільки кращі мінімуми виявляються під час тренування тощо .

(2) Далі є прикладом наближення функціоналу та його функціональної похідної: A NN був навчений вивчати функціонал $F[f(x)] = \int_1^2 dx ~ f(x)^2$ . Дані про навчання були отримані за допомогою функцій форми $f(x) = a x^b$ , де $a$ і $b$ були генеровані випадковим чином. Наступний сюжет ілюструє, що NN дійсно здатний наблизити $F[f(x)]$досить добре: обчислені функціональні похідні, однак, є повним сміттям; приклад (для конкретного $f(x)$ ) наведено нижче: Як цікава примітка, наближення NN до $F[f(x)]$ схоже, покращується з кількістю навчальних балів тощо (як у прикладі (1) ), проте функціональна похідна не має.

Це гарне запитання. Я думаю, що це передбачає теоретичні математичні докази. Я працював з «Глибоким навчанням» (в основному нейронною мережею) деякий час (близько року), і грунтуючись на моїх знаннях з усіх прочитаних робіт, я ще не бачив доказів про це. Однак, що стосується експериментального підтвердження, я думаю, що я можу надати зворотній зв'язок.

Розглянемо цей приклад нижче:

У цьому прикладі, я вважаю, що через багатошарову нейронну мережу вона має бути здатна вивчити як f (x), так і F [f (x)] шляхом зворотного поширення. Однак, чи стосується це більш складних функцій чи всіх функцій у Всесвіті, це потребує більше доказів. Однак, коли ми розглянемо на прикладі конкуренції Imagenet --- для класифікації 1000 об'єктів, дуже часто використовується дуже глибока нейронна мережа; найкраща модель може досягти неймовірного показника помилок до ~ 5%. Такий глибокий NN містить більше 10 нелінійних шарів, і це є експериментальним доказом того, що складна взаємозв'язок може бути представлена ​​через глибоку мережу [виходячи з того, що ми знаємо, що NN з 1 прихованим шаром може відокремлювати дані нелінійно].

Але чи можна дізнатися ВСІ похідні, потрібно більше досліджень.

Я не впевнений, чи існують якісь методи машинного навчання, які б могли засвоїти функцію та її похідну повністю. Вибач за те.

$f : \mathbb{R}^M \to \mathbb{R}^N$$\mathbb{R}$$N=1$

$M$$f_i(x),~i=1,\dots,M$$i$

$g_0,\dots, g_N$

$g(x)$

import numpy as np 

def Gaussian(x, mu, sigma):
    return np.exp(-0.5*((x - mu)/sigma)**2)

$x \in [a,b]$

x = np.arange(-1.0, 1.01, 0.01)
dx = x[1] - x[0]
g = Gaussian(x, 0.25, 0.25)

Давайте візьмемо синуси та косинуси з різною частотою як наші навчальні функції. Обчислення цільового вектора:

from math import cos, sin, exp
from scipy.integrate import quad

freq = np.arange(0.25, 15.25, 0.25)

y = []
for k in freq:
    y.append(quad(lambda x: cos(k*x)*exp(-0.5*((x-0.25)/0.25)**2), -1, 1)[0])
    y.append(quad(lambda x: sin(k*x)*exp(-0.5*((x-0.25)/0.25)**2), -1, 1)[0])
y = np.array(y)/dx

Тепер регресорна матриця:

X = np.zeros((y.shape[0], x.shape[0]), dtype=float)
print('X',X.shape)
for i in range(len(freq)):
    X[2*i,:] = np.cos(freq[i]*x)
    X[2*i+1,:] = np.sin(freq[i]*x)

X[:,0] = X[:,0]/2
X[:,-1] = X[:,-1]/2

Лінійна регресія:

from sklearn.linear_model import LinearRegression
reg = LinearRegression().fit(X, y)
ghat = reg.coef_

import matplotlib.pyplot as plt 

plt.scatter(x, g, s=1, marker="s", label='original g(x)')
plt.scatter(x, ghat, s=1, marker="s", label='learned $\hat{g}$(x)')
plt.legend()
plt.grid()
plt.show()

$g(x)$

from scipy.signal import savgol_filter
ghat_sg = savgol_filter(ghat, 31, 3) # window size, polynomial order

plt.scatter(x, g, s=1, marker="s", label='original g(x)')
plt.scatter(x, ghat, s=1, marker="s", label='learned $\hat{g}$(x)')
plt.plot(x, ghat_sg, color="red", label='Savitzky-Golay $\hat{g}$(x)')
plt.legend()
plt.grid()
plt.show()

$F[f(x)]$$f(x)$