Запитання з тегом «deep-learning»

Я треную нейронну мережу, але втрата тренувань не зменшується. Як я можу це виправити? Я не запитую про перевиконання чи регуляризацію. Я запитую про те, як вирішити проблему, коли продуктивність моєї мережі не покращується на навчальному наборі . Це питання навмисно загальне, тому інші питання про те, як потренувати нейронну …

147 neural-networks  deep-learning 

Найсучаснішою нелінійністю є використання випрямлених лінійних одиниць (ReLU) замість сигмоподібної функції в глибокій нейронній мережі. Які переваги? Я знаю, що навчання мережі, коли використовується ReLU, було б швидше, і це більш біологічно натхненно, які інші переваги? (Тобто, якісь недоліки використання сигмоїди)?

141 machine-learning  neural-networks  deep-learning 

Останнім часом я читав про глибоке навчання, і мене бентежить термін (або, скажімо, технології). Яка різниця між Конволюційні нейронні мережі (CNN), Машини з обмеженим набором Больцмана (RBM) та Авто-кодери?

123 neural-networks  deep-learning  conv-neural-network  autoencoders  rbm 

Я не бачив запитання, викладеного саме в цих термінах, і саме тому я ставлю нове запитання. Мені цікаво знати, це не визначення нейронної мережі, а розуміння фактичної різниці з глибокою нейронною мережею. Для додаткового контексту: я знаю, що таке нейромережа і як працює задні розмноження. Я знаю, що DNN повинен …

113 neural-networks  deep-learning 

Зараз я займаюся навчальним посібником з глибокого навчання Udacity. У уроці 3 вони говорять про згортку 1x1. Цей звіт 1х1 використовується в Inception модулі Google. У мене виникають проблеми з розумінням того, що таке згортка 1x1. Я також бачив цю посаду Янна Лекуна. Може хтось люб’язно мені це пояснить?

106 neural-networks  deep-learning  convolution  conv-neural-network 

Існує кілька варіантів, як нормалізувати зображення, але більшість, здається, використовують ці два методи: Віднімаємо середнє значення на канал, обчислене для всіх зображень (наприклад, VGG_ILSVRC_16_layers ) Віднімання за пікселем / каналом, розраховане на всі зображення (наприклад, CNN_S , також див . Довідкову мережу Caffe ) Природний підхід міг би придумати нормалізацію …

88 deep-learning  image-processing 

Останніми роками конволюційні нейронні мережі (або, можливо, глибокі нейронні мережі взагалі) стають все глибшими і глибшими: сучасні мережі переходять від 7 шарів ( AlexNet ) до 1000 шарів ( Залишкові мережі) в просторі 4 років. Причина підвищення продуктивності з більш глибокої мережі полягає в тому, що можна вивчити більш складну …

73 machine-learning  classification  neural-networks  deep-learning  conv-neural-network 

Епоха стохастичного градієнтного спуску визначається як один прохід через дані. Для кожної міні-партії SGD малюється зразків, обчислюється градієнт і параметри оновлюються. У налаштуваннях епохи проби беруть без заміни.kkk Але це здається непотрібним. Чому б не намалювати кожну міні-партію SGD так, як випадково витягується з усього набору даних при кожній ітерації? …

69 neural-networks  deep-learning  gradient-descent 

У мене складається враження, що коли люди посилаються на мережу "глибокої віри", що це в основному нейронна мережа, але дуже велика. Це правильно чи чи мережа глибоких переконань також означає, що алгоритм сам по собі відрізняється (тобто немає нейронної мережі вперед, але, можливо, щось із петлями зворотного зв'язку)?

62 machine-learning  neural-networks  deep-learning  deep-belief-networks 

Мені було цікаво, чи є там якісь хороші бібліотеки R для глибокого вивчення нейронних мереж? Я знаю , що це nnet, neuralnetі RSNNS, але жоден з них не здається , здійснити глибокі методи навчання. Мені особливо цікаво непідконтрольне, за яким слід керуватися навчанням, і використовувати відмову для запобігання спільної адаптації …

56 r  neural-networks  deep-learning  rbm  deep-belief-networks 

Я новачок в області глибокого навчання і для мене першим кроком було прочитати цікаві статті з сайту deepplearning.net. У працях про глибоке навчання Хінтон та інші в основному говорять про його застосування до проблем із зображенням. Чи може хтось спробувати відповісти на мене, чи можна це застосувати до проблеми прогнозування …

54 time-series  machine-learning  prediction  deep-learning  deep-belief-networks 

У більшості кодів Tensorflow, який я бачив, використовується оптимізатор Адама з постійною швидкістю навчання 1e-4(тобто 0,0001). Код зазвичай виглядає наступним чином: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These will include # the optimizer slots added by AdamOptimizer(). init_op = …

53 neural-networks  deep-learning  gradient-descent  tensorflow  adam 

Існують рекурентні нейронні мережі та рекурсивні нейронні мережі. Обидва зазвичай позначаються однаковим абревіатурою: RNN. Згідно з Вікіпедією , періодичні NN насправді є рекурсивними NN, але я не дуже розумію пояснення. Більше того, я не вважаю, що краще (із прикладами чи так) для обробки природних мов. Справа в тому, що, хоча …

48 machine-learning  neural-networks  deep-learning  natural-language 

В останні роки конволюційні нейронні мережі (CNN) стали найсучаснішим для розпізнавання об'єктів в комп'ютерному зорі. Зазвичай CNN складається з декількох згорткових шарів, за якими слідують два повністю з'єднані шари. Інтуїція, що стоїть за цим, полягає в тому, що згорткові шари навчаються кращому представленню вхідних даних, а повністю пов'язані шари потім …

46 machine-learning  neural-networks  svm  deep-learning  conv-neural-network 

У недавньому дописі блогу Ронге Ге сказано, що: Вважається, що для багатьох проблем, включаючи вивчення глибоких мереж, майже всі локальні мінімуми мають дуже схоже значення функції з глобальним оптимумом, а значить, знайти локальний мінімум досить добре. Звідки походить ця віра?

46 machine-learning  neural-networks  optimization  deep-learning