Чи обчислювальна потужність нейронних мереж пов'язана з функцією активації

10

Доведено, що нейронні мережі з раціональною вагою мають обчислювальну здатність універсальної машини Тьюрінга, що дозволяє обчислювати Тюрінг з нейронними сітками . З того, що я отримую, здається, що використання ваг реального значення дає ще більше обчислювальної сили, хоча я не впевнений у цьому.

Однак чи існує кореляція між обчислювальною потужністю нейронної сітки та її функцією активації? Наприклад, якщо функція активації порівнює вхідні дані з лімітом послідовності Specker (що ви не можете зробити зі звичайною машиною Тьюрінга, правда?), Чи робить це нейронна сітка обчислювально "сильнішою"? Чи міг би хтось вказати мені на посилання в цьому напрямку?

computability neural-networks

— К.Стефф
джерело

Що ви маєте на увазі під обчислювальною потужністю?

— edA-qa mort-ora-y

@ edA-qamort-ora-y Я вніс декілька змін, щоб уточнити питання. Якщо у вас є якісь інші пропозиції щодо редагування, я також радий їх

— прийняти

12

Просто примітка:

раціонально зважені періодичні s, що мають булеві функції активації (прості пороги), еквівалентні автоматам кінцевого стану (Мінський, "Обчислення: кінцеві та нескінченні машини", 1967); $NN$
раціонально зважені періодичні s, що мають функції лінійної сигмоїдної активації, еквівалентні машинам Тьюрінга (Зігельманн та Сонтаг, " Про обчислювальну потужність нейронних сіток ", 1995); $NN$
реально зважені рецидивні s, що мають функції лінійної активації сигмоїдів, є більш потужними, ніж машини Тюрінга (Зігельманн та Сонтаг, " Аналогові обчислення через нейронні мережі ", 1993); $NN$

але ...

реально зважені періодичні з гауссовим шумом на виходах не можуть розпізнати довільні регулярні мови (Maass та Sontag, " Аналогові нейронні мережі з гауссовими або іншими поширеними шумовими розподілами не вдається розпізнати довільні регулярні мови ", 1995); $NN$

— Vor
джерело

5

Я прийму легке рішення і скажу «Так». Розглянемо функцію активації, яка приймає будь-які входи і просто повертає постійне значення (тобто ігнорує входи). Ця мережа завжди призводить до постійного виходу, і, таким чином, обчислювальна потужність (можливо, за будь-яким визначенням) цієї мережі дорівнює нулю. Він не здатний нічого обчислити.

Цього достатньо, щоб показати співвідношення між функцією активації потужністю мережі. Звичайно, це не показує і не спростовує, що мережа може мати більше потужності, ніж універсальна машина для твердження .

— edA-qa mort-ora-y
джерело