Попередні нейронні проблеми чистої гри в гольф ( це і що ) надихнув мене поставити нове завдання:

Змагання

Знайдіть найменшу нейронну мережу подачі таким чином, що за будь-якого 4-мірного вхідного вектора $(a,b,c,d)$ з цілими записами в $[-10,10]$ мережа виводить $\textrm{sort}(a,b,c,d)$ з помилка координат, строго менша за $0.5$ .

Допустимість

Для цього завдання нейронна мережа, що подається, визначається як склад шарів . Шар є функцією $L\colon\mathbf{R}^n\to\mathbf{R}^m$ , що визначається матрицею ∈ R м × п з ваг , вектор Ь ∈ R м від ухилів , а функція активації F : R → R , який застосовується координатно мудрий:$A\in\mathbf{R}^{m\times n}$$b\in\mathbf{R}^m$ $f\colon\mathbf{R}\to\mathbf{R}$

Оскільки функції активації можуть бути налаштовані на будь-яке завдання, нам потрібно обмежити клас функцій активації, щоб цей виклик був цікавим. Дозволені наступні функції активації:

• Ідентичність. $f(t)=t$

• ReLU. $f(t)=\operatorname{max}(t,0)$

• Softplus. $f(t)=\ln(e^t+1)$

• Гіперболічна дотична. $f(t)=\tanh(t)$

• Сигмоїдний. $f(t)=\frac{e^t}{e^t+1}$

В цілому допустима нейронна сітка має вигляд $L_k\circ L_{k-1}\circ\cdots \circ L_2\circ L_1$ для деякого$k$ , де кожен шар$L_i$ визначається вагами $A_i$ , зміщенням $b_i$ та функцією активації $f_i$ із наведеного списку. Наприклад, допустима наступна нейронна сітка (хоча вона не відповідає цілі ефективності цього завдання, вона може бути корисним пристосуванням):

Цей приклад демонструє два шари. Обидва шари мають нульовий зміщення. Перший шар використовує активацію ReLU, а другий використовує активацію ідентичності.

Оцінка балів

Ваш бал - це загальна кількість ненульових ваг і ухилів.

(Наприклад, наведений вище приклад має оцінку 16, оскільки вектори зміщення дорівнюють нулю.)

Октава , 96 88 87 84 76 54 50 ваг і ухилів

Ця 6-шарова нейронна сітка по суті є 3-х ступінчастою системою сортування побудованою з дуже простої min/ max мережі в якості компонента. Це в основному приклад мережі з Вікіпедії, як показано нижче, з невеликою модифікацією: Перші два порівняння робляться паралельно. Щоб обійти від’ємні числа через ReLU, ми просто додаємо спочатку 100, а потім віднімаємо 100 знову в кінці.

Тож це просто слід розглядати як базову лінію, оскільки це наївна реалізація. Однак він сортує всі можливі числа, які не мають занадто великої величини. (Ми можемо регулювати діапазон, замінивши 100 на інше число.)

Спробуйте в Інтернеті!

max / min-компонент

Є ( значно менш елегантний спосіб більш елегантний зараз, завдяки @xnor!) Спосіб знайти мінімум та максимум двох чисел, використовуючи менші параметри:

Це означає, що ми повинні використовувати набагато менше ваг і ухилів.

Дякуємо @Joel за те, що вказав, що достатньо зробити всі числа позитивними на першому кроці та перевернути його на останньому, що складає -8 ваг. Дякуємо @xnor за вказівку ще коротшого методу max / min, який складає -22 ваги! Дякуємо @ DustinG.Mixon за пораду поєднання певних матриць, що призводить до чергових -4 ваг!

function z = net(u)
a1 = [100;100;0;100;100;0];
A1 = [1 0 0 0;0 0 1 0;1 0 -1 0;0 1 0 0;0 0 0 1;0 1 0 -1];
B1 = [1 0 -1 0 0 0;0 0 0 1 0 -1;0 1 1 0 0 0;0 0 0 0 1 1];
A2 = [1 0 0 0;0 1 0 0;1 -1 0 0;0 0 1 0;0 0 0 1;0 0 1 -1];
A3 = [1 0 -1 0 0 0;0 1 1 0 0 0;0 0 0 1 0 -1;0 1 1 -1 0 1;0 0 0 0 1 1];
B3 = [1 0 0 0 0;0 1 0 -1 0;0 0 1 1 0;0 0 0 0 1];
b3 = -[100;100;100;100];
relu = @(x)x .* (x>0);
id = @(x)x;
v = relu(A1 * u + a1);
w = id(B1 * v) ;
x = relu(A2 * w);
y = relu(A3 * x);
z = id(B3 * y + b3);
% disp(nnz(a1)+nnz(A1)+nnz(B1)+nnz(A2)+nnz(A3)+nnz(B3)+nnz(b3)); %uncomment to count the total number of weights
end

Спробуйте в Інтернеті!