Запитання з тегом «deep-learning»

Я моделюю 15000 твітів для прогнозування настроїв, використовуючи одношаровий LSTM з 128 прихованими одиницями, використовуючи Word2vec-подібне представлення з 80 вимірами. Я отримую точність спуску (38% з випадковим = 20%) після 1 епохи. Якщо більше тренувань, точність валідації починає знижуватися, коли точність тренування починає підніматися - явна ознака надягання. Тому я …

13 deep-learning  regularization  overfitting  lstm 

Для класифікації тексту я використовую lstm та мережу перекладу каналів. Я перетворюю текст в гарячі вектори і подаю кожен в lstm, щоб я міг його узагальнити як єдине подання. Потім я подаю його в іншу мережу. Але як я треную lstm? Я просто хочу, щоб текст класифікував послідовність - чи …

13 classification  neural-networks  deep-learning  lstm 

Я читав Книгу Йошуа Бенджіо про глибоке навчання, і це написано на сторінці 224: Конволюційні мережі - це просто нейронні мережі, які використовують згортку замість загального множення матриць принаймні в одному з їх шарів. однак я не був на 100% впевнений у тому, як «замінити матричне множення на згортку» в …

13 machine-learning  neural-networks  deep-learning  convolution 

Нещодавно я прочитав статтю Янна Дофіна та ін. Виявлення та атака проблеми сідлових точок у великомірній невипуклій оптимізації , де вони запроваджують цікавий алгоритм спуску під назвою Ньютон , що не є сідлом , який, здається, є спеціально розробленим для оптимізації нейронної мережі і не повинен страждати від застрявання в …

13 optimization  deep-learning  gradient-descent 

Чи існують дослідницькі групи, які працюють над використанням глибокого навчання для проблем комбінаторної оптимізації?

13 optimization  deep-learning 

Я налаштовую пошук в сітці для групи парам. Я намагаюся знайти найкращі параметри нейронної мережі Кераса, яка робить бінарну класифікацію. Вихід або 1, або 0. Є близько 200 функцій. Коли я здійснив пошук по сітці, я отримав купу моделей та їх параметрів. Найкраща модель мала ці параметри: Epochs : 20 …

13 machine-learning  cross-validation  deep-learning  tensorflow  theano 

Чи є література, яка вивчає вибір розміру міні-партії при виконанні стохастичного градієнтного спуску? На мій досвід, це здається, що це емпіричний вибір, який зазвичай виявляється шляхом перехресної перевірки або з використанням різних правил. Це гарна ідея повільно збільшувати розмір міні-партії, оскільки зменшується помилка перевірки? Які наслідки це матиме на помилку …

13 machine-learning  gradient-descent  hyperparameter  deep-learning 

Топологію моделі Google Inception можна знайти тут: Google Inception Netowrk Я помітив, що в цій моделі є 3 softmax-шару (№ 154, № 152, # 145), і 2 з них є якоюсь швидкою втечею цієї моделі. З того, що мені відомо, шар softmax призначений для остаточного виведення, то чому їх так …

13 deep-learning  conv-neural-network 

Чи можливі негативні ваги (після достатньої кількості епох) для глибоких звивистих нейронних мереж, коли ми використовуємо ReLU для всіх шарів активації?

13 machine-learning  neural-networks  deep-learning  conv-neural-network 

Зачинено. Це питання поза темою . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб воно було тематичним для перехресної перевірки. Закрито 10 місяців тому . Я знаю, що існує багато бібліотек для машинного навчання та глибокого навчання, таких як caffe, Theano, TensorFlow, keras, ... Але мені здається, …

13 neural-networks  deep-learning  conv-neural-network 

Нормалізація партії пояснюється значним покращенням продуктивності глибоких нейронних сіток. Багато матеріалів в Інтернеті показує, як реалізувати його на основі активації за допомогою активації. Я вже реалізував backprop, використовуючи матричну алгебру, і враховуючи, що я працюю на мовах високого рівня (покладаючись на Rcpp(а згодом і на GPU) для щільного множення матриці), …

12 machine-learning  neural-networks  deep-learning  backpropagation  batch-normalization 

Нещодавній прогрес нейронних мереж узагальнений послідовністю нових архітектур, що характеризуються головним чином зростаючою складністю дизайну. Від LeNet5 (1994) до AlexNet (2012), до Overfeat (2013) та GoogleLeNet / Inception (2014) тощо ... Чи є спроба дозволити машині вирішувати / проектувати, яку архітектуру використовувати, залежно від даних?

12 neural-networks  deep-learning 

Аутсайдер у галузі ML / DL; розпочав курс глибокого навчання Udacity, який базується на Tensorflow; виконання завдання 3 завдання 4; намагаючись налаштувати рівень навчання за допомогою наступної конфігурації: Розмір партії 128 Кількість кроків: достатньо, щоб заповнити 2 епохи Розміри прихованих шарів: 1024, 305, 75 Ініціалізація ваги: ​​усічений нормальний з std. …

12 python  machine-learning  tensorflow  deep-learning 

Скажіть, що я використовую RNN / LSTM для аналізу настроїв, що є підходом до багатьох (див. Цей блог ). Мережа тренується за допомогою усіченого зворотного розповсюдження через час (BPTT), де мережа розкручується лише 30 останніх кроків, як зазвичай. У моєму випадку кожен мій розділ тексту, який я хочу класифікувати, набагато …

12 neural-networks  deep-learning  natural-language  backpropagation 

У книзі Ієна Гудфеллоу « Глибоке навчання» написано саме так Іноді функція втрат, яка насправді хвилює (скажімо, помилка класифікації), не є ефективною оптимізацією. Наприклад, точно зведення до мінімуму очікуваних втрат 0-1, як правило, є незмінним (експоненціальним у вхідному вимірі), навіть для лінійного класифікатора. У таких ситуаціях, як правило, оптимізується функція …

12 neural-networks  deep-learning  loss-functions