Я читаю наріжний документ « Послідовність до послідовності навчання за допомогою нейронних мереж » Іллі Суцкевера та Квока Ле. На першій сторінці коротко згадується, що:
A surprising example of the power of DNNs is their ability to sort
N N-bit numbers using only 2 hidden layers of quadratic size
Чи може хтось коротко окреслити, як сортувати числа за допомогою лише 2 прихованих шарів?
Відповіді:
Провівши деякі дослідження, я знайшов документ, який доводить, що сортування можна проводити щонайбільше з 3-х шарів, і що їх рішення є оптимальним, якщо ви обмежите розмір мережі, яка має поліномічну точку, на кількість вхідних чисел:
Глибинно ефективні нейронні мережі для проблем , пов'язаних з поділом, і дивіться теорему 7 на сторінці 955 (стор. 10 у PDF).
Я б міг уявити, що хтось міг би придумати ваги вручну, щоб виконати роботу точно, але, можливо, справа в тому, щоб можна було тренувати? Кілька прикладів:
Як сортувати числа за допомогою згорткової нейронної мережі?