Чи може нейронна мережа обчислити

В дусі відомого жарту Tensorflow Fizz Buzz і проблеми XOr я задумався, чи можливо створити нейронну мережу, яка реалізує функцію ?$y = x^2$

Враховуючи деяке подання числа (наприклад, як вектор у двійковій формі, так що це число 5представлене як [1,0,1,0,0,0,0,...]), нейронна мережа повинна навчитися повертати свій квадрат - 25 в цьому випадку.

Якби я міг реалізувати , я, ймовірно, міг би реалізувати і взагалі будь-який многочлен x, і тоді з рядом Тейлора я міг би наблизити , що вирішило б проблему Fizz Buzz - нейронна мережа, яка може знайти залишок поділу.$y=x^2$$y=x^3$$y=\sin(x)$

Зрозуміло, що просто лінійна частина NN не зможе виконати це завдання, тож якби ми могли зробити множення, це станеться завдяки функції активації.

Чи можете ви запропонувати будь-які ідеї чи читання на тему?

Нейронні мережі називають також наближенням універсальної функції, що базується на теоремі наближення універсальної функції . У ньому зазначається, що:

У математичній теорії штучних нейронних мереж теорема універсального наближення зазначає, що мережа передачі вперед з одним прихованим шаром, що містить кінцеве число нейронів, може наближати безперервні функції на компактних підмножинах Rn, за м'яких припущень про функцію активації

Значення ANN з нелінійною функцією активації може відображати функцію, яка пов'язує вхід з виходом. Функцію можна легко оцінити за допомогою регресії ANN.$y = x^2$

Ви можете знайти відмінний урок тут з , наприклад блокнотом.

Також завдяки такій здатності ANN може відображати складні взаємозв'язки, наприклад, між зображенням та його мітками.

$f(x)=x^2$$\mathbb{R}^n$

$\mathbb{R}^n$$\mathbb{R}^n$$x$$f(x)=x^2$$\mathbb{R}$$f(x)=x^2$$x\in \mathbb{R}$

$\sin(x)$$x=0$$x\to 10000$