Обчислювальна потужність нейронних мереж?

Скажімо, у нас є одношарова нейронна мережа прямої подачі з k входами та одним виходом. Він обчислює функцію з , досить легко зрозуміти, що вона має принаймні таку ж обчислювальну потужність, як . Для задоволення ми назвемо набір функцій, обчислених одношаровою нейронною мережею, " ". $\lbrace 0,1\rbrace ^{n}\rightarrow\lbrace 0,1\rbrace$ $AC^0$ $Neural$

Однак здається, що вона може мати більшу обчислювальну потужність, ніж лише . $AC^0$

Отже ... це або це ? Чи вивчався також такий клас складності раніше? $AC^0 \subseteq Neural$ $Neural = AC^0$

— габго
джерело

Примітка про термінологію - важлива інформація - це скільки прихованих шарів. Нейронна мережа нульового прихованого шару з одним виходом - це лише лінійна порогова функція, яку часто (заплутано) називають одношаровою або двошаровою нейронною мережею / перцептроном, залежно від того, чи вважаються входи / виходи шарами. Крім того, в літературі AI нейронні мережі, як правило, визначаються через сигмоподібні функції, що означає, що вхід / вивід є реальними. Одні мережі прихованих шарів, як відомо, є універсальними наближувачами в тому сенсі, що будь-яку безперервну функцію можна наблизити довільно близько

— Ярослав Булатов

Я можу знайти деякі посилання: Обчислення загального призначення з нейронними мережами: Огляд теоретичних результатів складності, 2003 р. Та Ієрархії підрахунку: поліноміальний час та контури постійної глибини, 1993 .

Виявляється, нейронні мережі вважаються пороговими ланцюгами; тобто ті схеми, що використовують ворота MAJORITY. У (2) випадок, що нейронна мережа глибини має складність (ось посилання на посилання на запис у зоопарку складності про ). $d$ $TC^0_d$ $TC^0$

Оскільки містить , що є з довільними воротами MOD, то . Також в зоопарку зазначається, що такі схеми з глибиною 3 суворо потужніші, ніж схеми глибини 2. $TC^0$ $ACC^0$ $AC^0$ $AC^0 \subset TC^0$

У статті " Про обчислювальну потужність сигмоїда проти булевих порогових схем" 1991 р. Згадується, що для постійної глибини булеві та реальні значення порогових схем (з поліноміально обмеженими вагами) по суті однакові. $d$

— М. Алагана
джерело

Цікаво, дякую. Це те, що я шукав. Ще цікавіше те, що у є цілі проблеми ... хм ...

T C^{0}

$TC^0$

— gabgoh