Запитання з тегом «backpropagation»

Це невелике концептуальне питання, яке мене натякає на деякий час: Як ми можемо розповсюджуватися через шар максимального об'єднання в нейронній мережі? Я натрапив на шари максимального об'єднання, переглядаючи цей підручник для бібліотеки nn Torch 7. Бібліотека резюмує обчислення градієнта і передачі вперед для кожного шару глибокої мережі. Я не розумію, …

62 neural-network  backpropagation 

Я вже деякий час використовую нейронні мережі. Однак одне, з чим я постійно борюся, - це вибір оптимізатора для тренінгу в мережі (використовуючи backprop). Що я зазвичай роблю, це просто почати з одного (наприклад, стандартний SGD), а потім спробувати інші інші, майже випадковим чином. Мені було цікаво, чи є кращий …

18 neural-network  optimization  backpropagation 

У мене виникають певні труднощі з отриманням зворотного розповсюдження з ReLU, і я провів деяку роботу, але я не впевнений, чи я на правильному шляху. Функція витрат: 12(y−y^)212(y−y^)2\frac{1}{2}(y-\hat y)^2деyyyявляє собою реальне значення, і у являє собою передбачене значення. Припустимо також, щоx> 0 завжди.y^y^\hat yxxx 1 шар ReLU, де вага на …

17 neural-network  backpropagation 

У мене є наступні CNN: Почну з вхідного зображення розміром 5х5 Тоді я застосовую згортку за допомогою ядра 2x2 і stride = 1, що створює карту характеристик розміром 4x4. Тоді я застосовую 2х2 макс-пулінг з кроком = 2, що зменшує мапу функції до розміру 2х2. Тоді я застосовую логістичну сигмоїду. …

16 machine-learning  convnet  backpropagation  cnn  kernel 

Чи зможу я перевищити свій LSTM, якщо навчатиму його за допомогою розсувного вікна? Чому люди, схоже, не використовують його для LSTM? Для спрощеного прикладу припустимо, що ми повинні передбачити послідовність символів: A B C D E F G H I J K L M N O P Q R S …

15 lstm  backpropagation  mini-batch-gradient-descent 

У мене є невелике підпитання до цього питання . Я розумію, що при розповсюдженні назад через максимальний шар об'єднання градієнт повертається назад таким чином, що нейрон в попередньому шарі, який був обраний як max, отримує весь градієнт. У чому я не впевнений на 100% - це те, як градієнт у …

14 machine-learning  neural-network  convnet  backpropagation 

Я намагаюся розібратися, скільки ваг і ухилів потрібно для CNN. Скажіть, у мене є (3, 32, 32) -образ і хочу застосувати (32, 5, 5) -фільтр. Для кожної карти функцій я маю 5х5 ваг, тому у мене повинно бути 3 x (5x5) x 32 параметри. Тепер мені потрібно додати упередження. Я …

11 deep-learning  convnet  backpropagation