Запитання з тегом «neural-networks»

Після відповіді на питання ( витягування вагової важливості з одношарової мережі передачі вперед ) я шукаю висновок про релевантність входів у нейронні мережі. Враховуючи глибоку сітку, де реконструкція важливості входу шляхом просування назад через шари від вивідного вузла, що цікавить, може бути важким або забираючи багато часу, мені було цікаво, …

14 neural-networks  python  feature-selection  sensitivity-analysis 

Чи є якісь вагомі причини віддати перевагу бінарним значенням (0/1) над дискретними або безперервними нормованими значеннями, наприклад (1; 3), як входи для мережі подачі для всіх вузлів входу (із зворотним розповсюдженням чи без)? Звичайно, я кажу лише про вхідні дані, які можуть бути перетворені в будь-яку форму; наприклад, коли у …

14 neural-networks 

Відповідно до цього підручника з глибокого навчання , зменшення ваги (регуляризація) зазвичай не застосовується до термінів зміщення b, чому? Яке значення має інтуїція?

14 machine-learning  neural-networks  bias  regularization 

Особливо в контексті змагань з караглів я помітив, що продуктивність моделі - це все, що стосується вибору / інженерії функцій. Хоча я цілком можу зрозуміти, чому це стосується тих випадків, коли ми маємо справу з більш звичайними / старошкільними алгоритмами ML, я не розумію, чому це було б у випадку …

14 neural-networks  deep-learning  feature-selection  feature-engineering 

Я намагаюся зрозуміти відомий документ "Гра в Атарі з вивченням глибокого підкріплення" ( pdf ). Мені незрозуміло щодо різниці між епохою та епізодом . В алгоритмі зовнішній цикл знаходиться над епізодами , тоді як на малюнку2 вісь x позначенаепохою. У контексті підкріплення навчання мені не зрозуміло, що означає епоха. Чи …

14 neural-networks  terminology  reinforcement-learning  q-learning 

У деяких навчальних посібниках я виявив, що ініціалізація ваги "Xavier" (стаття: Розуміння труднощів дресирування глибоких нейронних мереж ) є ефективним способом ініціалізації ваг нейронних мереж. Для повністю пов’язаних шарів у цих підручниках було правило: Var(W)=2nin+nout,simpler alternative:Var(W)=1ninVar(W)=2nin+nout,simpler alternative:Var(W)=1ninVar(W) = \frac{2}{n_{in} + n_{out}}, \quad \text{simpler alternative:} \quad Var(W) = \frac{1}{n_{in}} де - …

14 normal-distribution  variance  neural-networks  conv-neural-network 

Я намагаюся навчити нейронну мережу для класифікації, але мітки, які у мене є, досить шумні (близько 30% міток неправильні). Втрата перехресної ентропії справді працює, але мені було цікаво, чи є в цьому випадку якісь альтернативи? чи оптимальна втрата перехресної ентропії? Я не впевнений, але я думаю про те, щоб дещо …

14 machine-learning  neural-networks  loss-functions  noise 

Універсальна теорема наближення є досить відомим результатом для нейронних мереж, в основному вказуючи, що за деякими припущеннями функція може бути рівномірно наближена нейронною мережею в будь-якій точності. Чи є якийсь аналогічний результат, який стосується конволюційних нейронних мереж?

14 neural-networks  conv-neural-network  approximation 

У мене є набір даних, що містить 34 колонки введення та 8 вихідних стовпців. Один із способів вирішити проблему - взяти 34 входи та побудувати індивідуальну модель регресії для кожного вихідного стовпчика. Мені цікаво, чи можна вирішити цю проблему, використовуючи лише одну модель, особливо за допомогою нейронної мережі. Я використовував …

14 neural-networks  deep-learning  multivariate-regression 

У мене є вихідні дані, які містять близько 20 стовпців (20 функцій). Десять із них - це суцільні дані, 10 з них - категоричні. Деякі з категоричних даних можуть мати приблизно 50 різних значень (США). Після того як я попередньо обробляла дані, 10 безперервних стовпців стають 10 підготовленими стовпцями, а …

13 machine-learning  neural-networks  tensorflow  data-preprocessing  theano 

У статті DeepMind за 2015 рік про глибоке підкріплення навчання йдеться про те, що "попередні спроби поєднати RL з нейронними мережами значною мірою зазнали невдачі через нестабільне навчання". Потім у статті перераховані деякі причини цього на основі співвідношень спостережень. Скажіть, будь ласка, хтось пояснить, що це означає? Це форма надмірного …

13 machine-learning  neural-networks  deep-learning  reinforcement-learning 

Я прочитав кілька статей про створення вручну зображень, щоб "обдурити" нейронну мережу (див. Нижче). Це тому, що мережі лише моделюють умовну ймовірність ? Якщо мережа може моделювати спільну ймовірність p ( y , x ) , чи все ж такі випадки будуть мати місце?p(y|x)p(y|x)p(y|x)p(y,x)p(y,x)p(y,x) Я здогадуюсь, що такі штучно створені …

13 machine-learning  neural-networks  deep-learning 

На мою думку, корельовані вхідні дані повинні призвести до надмірного розміщення в нейронних мережах, оскільки мережа засвоює кореляцію, наприклад, шум у даних. Це правильно?

13 correlation  neural-networks  overfitting 

Ініціалізуючи ваги з'єднання у нейромережі, що подається, важливо ініціалізувати їх випадковим чином, щоб уникнути будь-яких симетрій, які алгоритм навчання не зміг би розірвати. Рекомендація, яку я бачив у різних місцях (наприклад, у підручнику MNIST TensorFlow ), - це використовувати усічений нормальний розподіл, використовуючи стандартне відхилення , де - кількість входів …

13 neural-networks  backpropagation  weights  truncated-normal 

Для класифікації тексту я використовую lstm та мережу перекладу каналів. Я перетворюю текст в гарячі вектори і подаю кожен в lstm, щоб я міг його узагальнити як єдине подання. Потім я подаю його в іншу мережу. Але як я треную lstm? Я просто хочу, щоб текст класифікував послідовність - чи …

13 classification  neural-networks  deep-learning  lstm