Запитання з тегом «neural-networks»

Я намагаюся зрозуміти різні архітектури періодичної нейронної мережі (RNN), які слід застосувати до даних часових рядів, і я дещо плутаюсь з різними іменами, які часто використовуються при описі RNN. Чи структура структури довготривалої пам'яті (LSTM) та рецидивуючого блоку (GU) по суті є RNN з циклом зворотного зв'язку?

20 neural-networks  lstm  rnn 

При навчанні глибоких і неглибоких нейронних мереж, чому градієнтні методи (наприклад, спуск градієнта, Нестеров, Ньютон-Рафсон), зазвичай використовуються, на відміну від інших метагевристів? Під метагевристикою я маю на увазі такі методи, як імітація відпалу, оптимізація колоній мурашок тощо, які були розроблені, щоб уникнути застрявання в локальних мінімумах.

20 neural-networks  optimization  deep-learning  gradient-descent  backpropagation 

Я використовував theano для експерименту з LSTM, і мені було цікаво, які методи оптимізації (SGD, Adagrad, Adadelta, RMSprop, Adam тощо) найкраще працюють для LSTM? Чи є якісь наукові роботи на цю тему? Також, чи залежить відповідь від типу програми, для якої я використовую LSTM? Якщо так, я використовую LSTM для …

20 machine-learning  neural-networks  optimization  lstm 

Чому зворотне розповсюдження не працює, коли ви ініціалізуєте всю вагу одного і того ж значення (скажімо, 0,5), але працює добре, коли задаються випадкові числа? Чи не повинен алгоритм обчислювати помилку і працювати звідти, незважаючи на те, що ваги спочатку однакові?

20 machine-learning  neural-networks  backpropagation 

Щодо мовлення нейронної мережі (y = вага * x + зміщення), як я можу знати, які змінні важливіші за інші? У мене є нейронна мережа з 10 входами, 1 прихованим шаром з 20 вузлами та 1 вихідним шаром, який має 1 вузол. Я не впевнений, як знати, які вхідні змінні …

20 machine-learning  neural-networks  bias  tensorflow  theano 

Я працюю над класифікацією сну. Я прочитав деякі дослідницькі статті з цієї теми, багато з них використовували метод SVM або ансамблю. Чи корисно використовувати звивисту нейронну мережу для класифікації одновимірного ЕЕГ-сигналу? Я новачок у цій роботі. Вибачте мене, якщо я попрошу щось не так?

20 neural-networks  svm  conv-neural-network  signal-processing 

Мені цікаво знати, наскільки важливим є упереджений вузол для ефективності сучасних нейронних мереж. Я легко можу зрозуміти, що це може бути важливо в неглибокій мережі з лише кількома вхідними змінними. Однак у сучасних нейронних мереж, таких як у глибокому навчанні, часто є велика кількість вхідних змінних, щоб вирішити, чи спрацьовує …

19 neural-networks  deep-learning  bias-node 

У мене дуже проста проблема, але я не можу знайти правильний інструмент для її вирішення. У мене є деяка послідовність векторів однакової довжини. Тепер я хотів би навчити LSTM RNN на зразку поїздів цих послідовностей, а потім змусити його передбачити нову послідовність векторів довжиною на основі декількох векторів праймінгу .ннn …

19 neural-networks  python  lstm 

RNN може бути використаний для прогнозування або відображення послідовності послідовностей. Але як RNN можна використовувати для класифікації? Я маю на увазі, ми даємо цілій послідовності одну мітку.

19 machine-learning  neural-networks  rnn 

Я розумію згортання та об'єднання шарів, але не можу побачити причину повністю з'єднаного шару в CNN. Чому попередній шар безпосередньо не з'єднаний з вихідним шаром?

19 neural-networks  deep-learning  conv-neural-network 

Для використання SVM або нейронної мережі йому потрібно перетворити (кодувати) категоричні змінні в числові змінні, нормальним методом у цьому випадку є використання 0-1 двійкових значень з k-м категоричним значенням, перетвореним у (0,0, .. ., 1,0, ... 0) (1 знаходиться на k-й позиції). Чи є інші методи для цього, особливо коли …

19 machine-learning  neural-networks  categorical-data  svm  categorical-encoding 

Я часто чую, як люди говорять про нейронні мережі як про щось як про чорну скриньку, яку ви не розумієте, що це робить або що вони означають. Я насправді не можу зрозуміти, що вони розуміють під цим! Якщо ви розумієте, як працює зворотне розповсюдження, то як це чорна скринька? Чи …

19 machine-learning  neural-networks 

У мене з'явилася невелика плутанина щодо алгоритму зворотного розповсюдження , який використовується в багатошаровому персептроні (MLP). Помилка коригується функцією витрат. У зворотному розмноженні ми намагаємось регулювати вагу прихованих шарів. Помилка виводу, яку я можу зрозуміти, тобто e = d - y[Без підписок]. Питання: Як можна отримати помилку прихованого шару? Як …

19 machine-learning  neural-networks  backpropagation 

Працюючи над проблемою регресії, я почав думати про представлення функції "день тижня". Цікаво, який підхід би краще: одна особливість; значення 1/7 за понеділок; 2/7 на вівторок ... 7 особливостей: (1, 0, 0, 0, 0, 0, 0) для понеділка; (0, 1, 0, 0, 0, 0, 0) за вівторок ... Важко це …

19 machine-learning  neural-networks  feature-construction 

Питання може звучати дещо дивно, оскільки я новачок у статистичних висновках та нейронних мережах. Коли в задачах класифікації за допомогою нейронних мереж ми говоримо, що ми хочемо вивчити функцію f∗f∗f^* яка відображає простір входів xxx , на простір виходів yyy : f∗(x;θ)=yf∗(x;θ)=yf^*(x; \theta) = y Чи підходимо ми параметри ( …

19 machine-learning  neural-networks