Що перешкоджає використанню імпульсних нейронних мереж у додатках?

Імпульсні нейромережі або шипшинг містять більше мембранної динаміки біологічних нейронів, де імпульси переносять інформацію до наступного шару. Нейрони не обов’язково повинні "вогнювати" все одночасно, як це було б, наприклад, у задньому плані.

Однак, схоже, є бар'єри проти використання цих моделей для проблем машинного навчання. Які конкретні проблеми стоять на шляху машинного навчання практиків за допомогою більш біологічно реалістичних моделей?

Основне питання полягає в тому, що ніхто не знає, як працює мозок :)

Теорія

Наскільки я можу сказати, у дослідженні нейронної мережі є три великі кроки:

1. Модель Perceptron (або пороговий затвор), де будь-яка булева функція може бути обчислена деяким багатошаровим персептроном з одним прихованим шаром.
2. Модель Нейрона - вдосконалена версія попередньої, де елементи мережі використовують функцію активації сигмоїдів (безперервний набір можливих входів і виходів). Вони також можуть обчислити будь-яку булеву функцію (після застосування порогу) і, крім того, можуть наблизити будь-яку безперервну функцію.
3. Модель нейронів Шипіка, яка використовує "тимчасове кодування" для передачі інформації між мережевими елементами. Вона може робити все, що робить попередня модель, і часто може робити це з меншою кількістю нейронів.

По суті, еволюція тут полягає в наближенні до того, як працює людський мозок, і остання модель має найкращу вірність.

Практика

SNN представляються дуже перспективними, і навіть існує комерційний продукт SpikeNET, створений поверх нього (у розділі "Що SpikeNET може зробити" та "Що SpikeNET поки не може" ви можете побачити проблеми, з якими вони стикалися).

Я не можу розповісти про конкретні проблеми із шипучими мережами - але в цілому у мене складається враження, що проблеми виникають тому, що люди хочуть, щоб SNN працювали все більше, як людський мозок:

• вони хочуть вибрати, як кодувати інформацію - що можна зробити за допомогою затримки кодування (більш сильно стимульовані нейрони, як правило, шипшають частіше і швидше ), двійкове кодування (інформація представлена ​​кількістю шипів у заданому інтервалі часу), часове кодування (інформація - обернена деталізація розрізненого часового інтервалу), кодування порядку ранжування (перші шипи, отримані нейроном, надають вплив, а пізніші - гальмуються) та ін.
• вони імітують геббієву пластичність, яка збільшує вагу між нейронами, коли обидва нейрона одночасно «увімкнено» (або обидва «вимкнено»).
• вони застосовують самоорганізацію, коли група нейронів конкурує з переможним нейроном, що гальмує реакцію інших нейронів. За допомогою шипучого нейрона переможець може бути обчислений швидко, виходячи лише з окремих пострілів.

У Вікіпедії є посилання на книгу "Імпульсні нейронні мережі", в якій є розділ "Проблеми впровадження імпульсно-кодованих нейронних мереж", але я недостатньо освічений, щоб коментувати це.

Щодо вступу до теми, я рекомендую цей документ: Імпульсні нейронні мережі та їх застосування ( pdf )

Схоже, що всі алгоритми нейронної мережі використовують певну форму градієнтного спуску у своїх алгоритмах навчання, і навіть в інших моделях ANN використовується градієнтний спуск. Схоже, немає теорії про те, як застосовувати градієнтне спуск у часовій формі над SNN. одна з можливостей - збільшення нейроморфних обчислень, в яких використовуються більш біологічно реалістичні моделі, подібні до SNN. але здається, що на сьогоднішній день у нейроморфному полі не досягнуто сильних орієнтирів / проривів машинного навчання, як це стосується дуже певних орієнтирів, досягнутих з ANN у багатьох стандартних проблемах ML, таких як розпізнавання рукописного тексту, розпізнавання мови, розпізнавання об'єктів, переклад мови тощо.