Запитання з тегом «deep-learning»

Посилаючись на примітки курсу Стенфорда про конволюційні нейронні мережі для візуального розпізнавання , в пункті сказано: "На жаль, підрозділи ReLU можуть бути крихкими під час тренування і можуть" померти ". Наприклад, великий градієнт, що протікає через нейрон ReLU, може призвести до того, що ваги оновлюються таким чином, що нейрон ніколи …

119 machine-learning  neural-network  deep-learning 

Ключова відмінність між GRU та LSTM полягає в тому, що GRU має два ворота (ворота скидання та оновлення ), тоді як LSTM має три ворота (а саме вхідні , вихідні та забуті ворота). Чому ми використовуємо GRU, коли явно маємо більше контролю в мережі через модель LSTM (оскільки у нас …

95 neural-network  deep-learning 

Зараз я працюю над впровадженням стохастичного градієнтного спуску SGDдля нейронних мереж, що використовують зворотне розповсюдження, і, хоча я розумію його мету, у мене є деякі питання щодо того, як вибрати значення для швидкості навчання. Чи пов’язана ступінь навчання з формою градієнта помилок, оскільки це диктує швидкість спуску? Якщо так, то …

85 machine-learning  neural-network  deep-learning  optimization  hyperparameter 

Під час написання статті / презентації теми, що стосується нейронних мереж, зазвичай візуалізується архітектура мереж. Які хороші / прості способи візуалізації загальних архітектур автоматично?

79 machine-learning  neural-network  deep-learning  visualization 

Я побудував свою модель. Тепер я хочу намалювати схему архітектури мережі для моєї дослідницької роботи. Приклад наведено нижче:

77 machine-learning  neural-network  deep-learning  svm  software-recommendation 

Проблема, з якою я маю справу, - передбачення значень часових рядів. Я дивлюся по одному часовому ряду і, спираючись, наприклад, на 15% вхідних даних, я хотів би передбачити його майбутні значення. Поки що я натрапив на дві моделі: LSTM (довготривала короткочасова пам'ять; клас періодичних нейронних мереж) АРІМА Я спробував обидва …

64 time-series  deep-learning  rnn  prediction 

Я знав, що Залишкова мережа (ResNet) зробила звичайну ініціалізацію популярною. У ResNet використовується нормальна ініціалізація He , тоді як перший шар використовує He рівномірну ініціалізацію. Я переглянув папір ResNet і папір "Deving Deep into Rectifiers" (Папір він ініціалізації), але не знайшов жодної згадки про нормальний init vs uniform init. Також: …

51 neural-network  deep-learning  normalization 

Коли я почав працювати зі штучними нейронними мережами (NN), я вважав, що мені доведеться боротися з надмірною обробкою як основну проблему. Але на практиці я навіть не можу змусити NN пройти 20-відсотковий бар'єр помилок. Я навіть не можу побити свій рахунок у випадковому лісі! Я шукаю дуже загальну чи не …

50 neural-network  deep-learning 

Скільки параметрів має односкладений LSTM? Кількість параметрів накладає нижню межу на кількість необхідних прикладів тренувань, а також впливає на час навчання. Отже, знання кількості параметрів є корисним для навчальних моделей з використанням LSTM.

43 deep-learning  rnn 

читав трохи про LSTM та їх використання для часових рядів, і це було цікаво, але важко водночас. Одне, що у мене виникли труднощі з розумінням, - це підхід до додавання додаткових функцій до того, що вже є переліком функцій часових рядів. Припустимо, що у вас є такий набір даних так: …

43 machine-learning  neural-network  deep-learning  time-series 

Я часто читаю, що для моделей Deep Learning звичайною практикою є застосування міні-партій (як правило, невеликих, 32/64) протягом кількох навчальних епох. Я не можу зрозуміти причину цього. Якщо я не помиляюся, розмір партії - це кількість екземплярів тренувань, які модель бачила під час ітерації тренувань; і епоха - це повна …

40 machine-learning  deep-learning 

Я збираюся тренувати велику мережу LSTM з 2-3 мільйонами статей і борюся з помилками пам'яті (я використовую AWS EC2 g2x2large). Я з'ясував, що одне рішення - зменшити batch_size. Однак я не впевнений, чи цей параметр пов’язаний лише з проблемами ефективності пам'яті чи він вплине на мої результати. Власне кажучи, я …

38 deep-learning  keras 

У мене виникають проблеми з розумінням різниці між еквівалентом перекладу та інваріантним для перекладу . У книзі « Глибоке навчання» . MIT Press, 2016 (I. Goodfellow, A. Courville, Y. Bengio), можна знайти в конволюційних мережах: [...] конкретна форма спільного використання параметрів спричиняє властивість шару, який називається еквівалентністю перекладу [...] об'єднання …

38 neural-network  deep-learning  convolution 

Користувачі різних спільнот звикли цитувати смішні речі про свої поля. Можливо, буде цікаво ділитися своїми смішними речами про машинне навчання, глибоке навчання, наукові дані та речі, з якими ви стикаєтеся щодня!

35 machine-learning  neural-network  deep-learning 

Припустимо, я будую НН для класифікації. Останній шар - щільний шар з активацією softmax. У мене є п'ять різних класів для класифікації. Припустимо, для єдиного прикладу тренувань true labelє [1 0 0 0 0]прогнози, поки це буде [0.1 0.5 0.1 0.1 0.2]. Як би я обчислив перехресну втрату ентропії для …

35 machine-learning  deep-learning