Запитання з тегом «backpropagation»

Припустимо, що NN містить nnn прихованих шарів, mmm прикладів тренувань, xxx функцій та ninin_i вузлів у кожному шарі. Яка складність у часі для підготовки цього NN з використанням зворотного розповсюдження? У мене є основне уявлення про те, як вони знаходять складність часу алгоритмів, але тут є 4 різні фактори, які …

18 neural-networks  machine-learning  backpropagation  time-complexity 

Просто для розваги я намагаюся розвинути нейронну мережу. Тепер для зворотного розмноження я побачив дві техніки. Перший використовується тут і в багатьох інших місцях. Що це робить: Він обчислює помилку для кожного вихідного нейрона. Він підтримує його в мережі (обчислюючи помилку для кожного внутрішнього нейрона). Він оновлює ваги формулою: (де …

17 neural-networks  machine-learning  backpropagation 

Кілька ресурсів, про які я згадував, згадували, що MSE чудовий тим, що він опуклий. Але я цього не розумію, особливо в умовах нейронних мереж. Скажімо, у нас є наступне: ХХX : навчальний набір даних YYY : цілі ΘΘ\Theta : набір параметрів моделі (модель нейронної мережі з нелінійностями)fΘfΘf_\Theta Тоді: MSE( Θ …

9 neural-networks  math  backpropagation  gradient-descent