Запитання з тегом «deep-learning»

Які переваги, чому можна використовувати декілька LSTM, складених один на один, у глибокій мережі? Я використовую LSTM, щоб представляти послідовність входів як єдиний вхід. Тож як тільки я маю це єдине представництво - чому я б його передавав знову? Я запитую це, тому що я це бачив у програмі покоління …

25 classification  neural-networks  deep-learning  lstm  rnn 

Чому функції активації випрямлених лінійних одиниць (ReLU) вважаються нелінійними? f(x)=max(0,x)f(x)=max(0,x) f(x) = \max(0,x) Вони лінійні, коли вхід позитивний, і з мого розуміння, щоб розблокувати репрезентативну потужність глибоких мереж, нелінійні активації є обов'язковими, інакше вся мережа може бути представлена ​​одним шаром.

25 neural-networks  deep-learning 

Відповідно до цього та цієї відповіді, автоенкодери здаються технікою, яка використовує нейронні мережі для зменшення розмірів. Мені хотілося б додатково знати, що таке варіаційний автокодер (його основні відмінності / переваги перед «традиційними» автоенкодерами), а також, які основні навчальні завдання для цих алгоритмів використовуються.

24 machine-learning  bayesian  deep-learning  autoencoders  variational-bayes 

Я читав про оптимізатора Адама для глибокого навчання і натрапив на таке речення у новій книзі « Глибоке навчання » Бенджіо, Гудфлоу та Курвіля: Зазвичай Адам вважається досить надійним у виборі гіпер параметрів, хоча інтенсивність навчання іноді потрібно змінити із запропонованого за замовчуванням. якщо це правда, то велика справа, тому …

24 neural-networks  deep-learning  optimization  hyperparameter  adam 

У Олексія Крижевського та ін. Класифікація Imagenet із глибокими звивистими нейронними мережами вони перераховують кількість нейронів у кожному шарі (див. Схему нижче). Вхід в мережу є 150 528-мірним, а кількість нейронів у решті шарів мережі визначається 253,440–186,624–64,896–64,896–43,264– 4096–4096–1000. 3D-перегляд Кількість нейронів для всіх шарів після першого зрозуміла. Один простий спосіб …

24 neural-networks  deep-learning  conv-neural-network 

Я намагаюся краще зрозуміти конволюційні нейронні мережі краще, записуючи код Python, який не залежить від бібліотек (наприклад, Convnet або TensorFlow), і я застрягаю в літературі про те, як вибрати значення для матриці ядра, коли виконання згортки на зображенні. Я намагаюся зрозуміти деталі реалізації на кроці між картами функцій на зображенні …

24 machine-learning  neural-networks  deep-learning  feature-construction  conv-neural-network 

Тому я намагаюся провести пошук зображень людей за допомогою звивистих сіток. Я читав документи ( Paper1 і Paper2 ) і цю посилання StackOverflow , але я не впевнений , я розумію структуру мережі (вона не визначена в роботах). Запитання: Я можу мати свій вхід, після якого проходить шар шуму, а …

23 neural-networks  deep-learning  autoencoders  deep-belief-networks 

Механізми уваги були використані в різних документах поглибленого навчання за останні кілька років. Ілля Суцкевер, керівник досліджень Open AI, захоплено похвалив їх: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Евгеніо Кулурчелло з університету Пердю заявив, що RNN та LSTM повинні бути відмовлені на користь суто нейронних мереж, орієнтованих на увагу: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Це здається перебільшенням, але безперечно, …

23 time-series  deep-learning  lstm  rnn  attention 

Я знаю, що було досягнуто великого прогресу щодо розпізнавання зображень, класифікації зображень тощо з глибокими, згорнутими нейронними сітками. Але якщо я треную мережу на, скажімо, зображеннях PNG, чи буде вона працювати лише для таких закодованих зображень? Які інші властивості зображення впливають на це? (альфа-канал, переплетення, роздільна здатність тощо?)

23 neural-networks  deep-learning  image-processing 

Чи є якісь хороші документи, які висвітлюють деякі методичні способи вибору розмірів для фільтрів, об'єднання одиниць та визначення кількості згорткових шарів?

22 neural-networks  deep-learning  conv-neural-network 

Я слухав розмову і бачив цей слайд: Наскільки це правда?

22 deep-learning  deep-belief-networks 

Я деякий час працюю з конволюційними нейронними мережами (CNN), в основному над даними зображень для семантичної сегментації / сегментації екземплярів. Я часто візуалізував софтмакс мережевого виходу як "теплову карту", щоб побачити, наскільки високі активації пікселя для певного класу. Я інтерпретував низькі активації як "невизначені" / "невпевнені", а високі - як …

22 probability  deep-learning  conv-neural-network  uncertainty  softmax 

Фон: Так, для обмеження ваг нейронної мережі МОЖЕ бути використана обмежена машина Больцмана (БРМ). Також його можна використовувати "пошарово" шляхом побудови глибокої мережі вірування (тобто тренування -го шару на верхньому ( n - 1 ) -го шару, а потім для підготовки -й шар у верхній частині -го шару, промийте і …

21 machine-learning  neural-networks  deep-learning  deep-belief-networks  rbm 

Нещодавно я працював над вивченням алгоритмів прискорення, таких як adaboost, gradient boost, і я знав той факт, що найпоширенішими слабовживаними є дерева. Мені дуже хочеться знати, чи є кілька останніх успішних прикладів (я маю на увазі деякі статті чи статті) для використання нейронних мереж як базового учня.

21 neural-networks  deep-learning  boosting  ensemble  dropout 

Ми визначаємо архітектуру вузького місця як тип, знайдений у статті ResNet, де [два шари конвеєра 3x3] замінені на [один 1x1 conv, один 3x3 conv та інший 1x1 conv шар]. Я розумію, що шари conv 1x1 використовуються як форма зменшення розмірів (і відновлення), що пояснюється в іншій публікації . Однак мені …

21 residuals  deep-learning  conv-neural-network