Чи є нейронні мережі з дуже малою кількістю вузлів, які гідно вирішують нетривіальні проблеми?

Мені цікаво знати, чи існує якась нейронна мережа, яка вирішує (з> = 80% точністю) будь-яку нетривіальну проблему, яка використовує дуже мало вузлів (де 20 вузлів не є жорстким обмеженням). Я хочу розвинути інтуїцію щодо розмірів нейронних мереж.

neural-networks

— Гільєрмо Моссе
джерело

Універсальна теорема наближення: нейронна мережа з одним прихованим шаром може наближати будь-яку "розумну" функцію, задану достатню кількість вузлів у прихованому шарі.

— nbro

Я думаю, що відповісти на ваше запитання буде непросто. Що ви маєте на увазі під "нетривіальною проблемою"?

— nbro

Я хочу небагато вузлів навіть у прихованих шарах.

— Гільєрмо Моссе

@nbro моє відчуття "нетривіального" в цьому контексті є нерозв'язним або невирішеним.

— DukeZhou

Навіть якщо неможливо відповісти на це питання належним чином, оскільки нетривіальний спосіб недостатньо визначений (можливо, автор відредагує ці питання пізніше, щоб уточнити краще), я користуюся можливістю вказати на цей документ, який мені здається цікавим

Найменша нейронна мережа для вивчення критичності Ізінга

Якщо припустити, що ви маєте загальне уявлення про модель Ізінга, я думаю, що проблема визначення критичної температури з точки зору керованих даними даних може розглядатися як нетривіальна, і в статті показано, як автори покращили продуктивність, пов'язану з вирішенням цієї задачі, передаючи NN від 100 прихованих нейронів, як це виконується в цій статті Фази машинного навчання матерії з 2017 року, до лише 2 прихованих нейронів

Просто мої копійки:

зменшення нейронів, зберігаючи хороші показники, повинно допомогти з точки зору інтерпретації нейронної обробки, яка є сумно незрозумілою, а її складність зростає (експоненціально) із кількістю нейронів

— Нікола Берніні
джерело

Я просто хотів прикладів, які громада сама вважала цікавими. Я думаю, що насправді нетривіально визначати нетривіальність. Правильно?

— Гільєрмо Моссе

@GuillermoMosse Ні, визначити нетривіальним досить тривіально. Визначення є більш-менш довільним залежно від того, що найкраще відповідає ситуації. Я впевнений, що дуже простий НН міг би навчитися визначати, чи є задане число нетривіальним квадратним коренем ...

— ліс