Запитання з тегом «neural-network»

Нещодавно я прочитав « Цілком конволюційні мережі для семантичної сегментації » Джонатана Лонга, Евана Шелгамера, Тревора Даррелла. Я не розумію, що роблять "деконволюційні шари" / як вони працюють. Відповідна частина - 3.3. Підвищення розміру - це згорнута назад реакція Інший спосіб підключення грубих виходів до щільних пікселів - інтерполяція. Наприклад, …

188 neural-network  convnet  convolution 

Я використовую нейронні мережі для вирішення різних проблем машинного навчання. Я використовую Python та pybrain, але ця бібліотека майже припинена. Чи є інші хороші альтернативи в Python?

130 machine-learning  python  neural-network 

Посилаючись на примітки курсу Стенфорда про конволюційні нейронні мережі для візуального розпізнавання , в пункті сказано: "На жаль, підрозділи ReLU можуть бути крихкими під час тренування і можуть" померти ". Наприклад, великий градієнт, що протікає через нейрон ReLU, може призвести до того, що ваги оновлюються таким чином, що нейрон ніколи …

119 machine-learning  neural-network  deep-learning 

Ключова відмінність між GRU та LSTM полягає в тому, що GRU має два ворота (ворота скидання та оновлення ), тоді як LSTM має три ворота (а саме вхідні , вихідні та забуті ворота). Чому ми використовуємо GRU, коли явно маємо більше контролю в мережі через модель LSTM (оскільки у нас …

95 neural-network  deep-learning 

Зараз я працюю над впровадженням стохастичного градієнтного спуску SGDдля нейронних мереж, що використовують зворотне розповсюдження, і, хоча я розумію його мету, у мене є деякі питання щодо того, як вибрати значення для швидкості навчання. Чи пов’язана ступінь навчання з формою градієнта помилок, оскільки це диктує швидкість спуску? Якщо так, то …

85 machine-learning  neural-network  deep-learning  optimization  hyperparameter 

Під час написання статті / презентації теми, що стосується нейронних мереж, зазвичай візуалізується архітектура мереж. Які хороші / прості способи візуалізації загальних архітектур автоматично?

79 machine-learning  neural-network  deep-learning  visualization 

Я побудував свою модель. Тепер я хочу намалювати схему архітектури мережі для моєї дослідницької роботи. Приклад наведено нижче:

77 machine-learning  neural-network  deep-learning  svm  software-recommendation 

Це невелике концептуальне питання, яке мене натякає на деякий час: Як ми можемо розповсюджуватися через шар максимального об'єднання в нейронній мережі? Я натрапив на шари максимального об'єднання, переглядаючи цей підручник для бібліотеки nn Torch 7. Бібліотека резюмує обчислення градієнта і передачі вперед для кожного шару глибокої мережі. Я не розумію, …

62 neural-network  backpropagation 

Нещодавно я читав коментар Ян Лекунса про 1x1 згортки : У конволюційних мережах немає такого поняття, як "повністю пов'язані шари". Існують лише шари згортки з 1x1 ядрами згортки та повною таблицею з'єднань. Це надто рідко зрозумілий факт, що ConvNets не потребує введення фіксованого розміру. Ви можете навчити їх на входах, …

55 neural-network  convnet 

Я думав про періодичні нейронні мережі (RNN) та їх різновиди, конволюційні нейронні мережі (CNN) та їх різновиди. Чи справедливо сказати б ці два моменти: Використовуйте CNN, щоб розбити компонент (наприклад, зображення) на підкомпоненти (наприклад, об'єкт у зображенні, такий як контур об'єкта на зображенні тощо) Використовуйте RNN для створення комбінацій підкомпонентів …

53 machine-learning  neural-network  beginner 

Я знав, що Залишкова мережа (ResNet) зробила звичайну ініціалізацію популярною. У ResNet використовується нормальна ініціалізація He , тоді як перший шар використовує He рівномірну ініціалізацію. Я переглянув папір ResNet і папір "Deving Deep into Rectifiers" (Папір він ініціалізації), але не знайшов жодної згадки про нормальний init vs uniform init. Також: …

51 neural-network  deep-learning  normalization 

Коли я почав працювати зі штучними нейронними мережами (NN), я вважав, що мені доведеться боротися з надмірною обробкою як основну проблему. Але на практиці я навіть не можу змусити NN пройти 20-відсотковий бар'єр помилок. Я навіть не можу побити свій рахунок у випадковому лісі! Я шукаю дуже загальну чи не …

50 neural-network  deep-learning 

Я використовую TensorFlow для експериментів з нейронними мережами. Хоча зараз я провів досить багато експериментів (XOR-Problem, MNIST, деякі регресії, ...), я борюся з вибором "правильної" функції витрат для конкретних проблем, тому що в цілому мене можна вважати початківцем. Перед тим, як прийти до TensorFlow, я самостійно зашифрував декілька повністю пов'язаних …

49 machine-learning  python  neural-network  statistics  tensorflow 

читав трохи про LSTM та їх використання для часових рядів, і це було цікаво, але важко водночас. Одне, що у мене виникли труднощі з розумінням, - це підхід до додавання додаткових функцій до того, що вже є переліком функцій часових рядів. Припустимо, що у вас є такий набір даних так: …

43 machine-learning  neural-network  deep-learning  time-series 

Я думав, що обидва, PReLU та Leaky ReLU є f(x)=max(x,αx) with α∈(0,1)f(x)=max(x,αx) with α∈(0,1)f(x) = \max(x, \alpha x) \qquad \text{ with } \alpha \in (0, 1) Керас, однак, обидві функції в документах . Leaky ReLU Джерело LeakyReLU : return K.relu(inputs, alpha=self.alpha) Звідси (див. Код relu ) f1(x)=max(0,x)−αmax(0,−x)f1(x)=max(0,x)−αmax(0,−x)f_1(x) = \max(0, x) …

42 neural-network