Запитання з тегом «deep-learning»

Я читав папір для нормалізації партії (BN) (1) і не розумів необхідності використання ковзаючих середніх для відстеження точності моделі, і навіть якщо я визнав, що це правильно зробити, я не розумію що саме вони роблять. Наскільки я розумію (що я помиляюся), у статті йдеться про те, що вона використовує статистику …

21 machine-learning  neural-networks  deep-learning  conv-neural-network  batch-normalization 

Під час впровадження ResNet Tensorflow я вважаю, що вони використовують ініціалізатор дисперсійного масштабування, а також ініціалізатор xavier є популярним. Я не маю надто багато досвіду щодо цього, що краще на практиці?

20 machine-learning  neural-networks  deep-learning  conv-neural-network  tensorflow 

З усіма медіа-розмовами про глибоке вивчення цих днів я прочитав деякі елементарні речі про це. Щойно я виявив, що це просто ще один метод машинного навчання для вивчення шаблонів з даних. Але моє запитання: де і чому цей метод світить? Чому всі говорять про це саме зараз? Тобто в чому …

20 machine-learning  data-mining  deep-learning  deep-belief-networks 

У мене є модель глибокої нейронної мережі, і мені потрібно навчити її на моєму наборі даних, який складається з приблизно 100 000 прикладів, мої дані перевірки містять близько 1000 прикладів. Оскільки для навчання кожного прикладу потрібен час (приблизно 0,5 секунди для кожного прикладу) і щоб уникнути перенапруження, я хотів би …

20 neural-networks  deep-learning 

При навчанні глибоких і неглибоких нейронних мереж, чому градієнтні методи (наприклад, спуск градієнта, Нестеров, Ньютон-Рафсон), зазвичай використовуються, на відміну від інших метагевристів? Під метагевристикою я маю на увазі такі методи, як імітація відпалу, оптимізація колоній мурашок тощо, які були розроблені, щоб уникнути застрявання в локальних мінімумах.

20 neural-networks  optimization  deep-learning  gradient-descent  backpropagation 

Я розумію основну структуру варіабельного автокодера та нормальний (детермінований) автокодер і математику, що стоїть за ними, але коли і навіщо я віддаю перевагу одному типу автокодера перед іншим? Все, про що я можу подумати, - це попередній розподіл прихованих змінних варіабельного автокодера, який дозволяє нам вибирати приховані змінні та потім …

20 deep-learning  autoencoders  variational-bayes 

Мені цікаво знати, наскільки важливим є упереджений вузол для ефективності сучасних нейронних мереж. Я легко можу зрозуміти, що це може бути важливо в неглибокій мережі з лише кількома вхідними змінними. Однак у сучасних нейронних мереж, таких як у глибокому навчанні, часто є велика кількість вхідних змінних, щоб вирішити, чи спрацьовує …

19 neural-networks  deep-learning  bias-node 

Я розумію згортання та об'єднання шарів, але не можу побачити причину повністю з'єднаного шару в CNN. Чому попередній шар безпосередньо не з'єднаний з вихідним шаром?

19 neural-networks  deep-learning  conv-neural-network 

Чи є якась різниця між «трансферним навчанням» та «адаптацією домену»? Я не знаю про контекст, але я розумію, що ми маємо деякий набір даних 1 і тренуємось на ньому, після чого у нас є ще один набір даних 2, для якого ми хочемо адаптувати свою модель, не перекваліфікуючись з нуля, …

19 deep-learning  terminology  conv-neural-network  transfer-learning  domain-adaptation 

Найбільш поширені конволюційні нейронні мережі містять об'єднання шарів для зменшення розмірів вихідних ознак. Чому я не міг досягти того самого, просто збільшивши крок конволюційного шару? Що робить шар об'єднання необхідним?

18 deep-learning  conv-neural-network  pooling 

Мої професори фізики в середній школі, а також благородний лауреат Фейнман завжди представляли те, що вони називали іграшковими моделями, щоб проілюструвати основні поняття та методи фізики, такі як гармонійний генератор, маятник, прядильна поверхня та чорний ящик. Які моделі іграшок використовуються для ілюстрації основних понять та методів, що лежать в основі …

18 machine-learning  neural-networks  deep-learning 

Я шукаю статті чи тексти, які порівнюють та обговорюють (емпірично чи теоретично): Подвоєння і дерев рішень алгоритми , такі як випадкових лісів або AdaBoost і GentleBoost стосовно до дерев рішень. з Методи глибокого навчання, такі як машини з обмеженим Больцманом , ієрархічна часова пам’ять , конволюційні нейронні мережі тощо. Більш …

18 machine-learning  deep-learning  cart  rbm  adaboost 

Багато навчальних посібників в Інтернеті говорять про спуск градієнта, і майже всі вони використовують фіксований розмір кроку (швидкість навчання ). Чому не застосовується пошук рядків (наприклад, пошук зворотного відстеження чи точний пошук рядків)?αα\alpha

18 machine-learning  neural-networks  optimization  deep-learning 

Ми визначаємо епоху як пройшла всю сукупність усіх доступних навчальних зразків, а розмір міні-партії - кількість зразків, за яку ми в середньому знаходимо оновлення ваг / зміщення, необхідних для спуску градієнта. Моє запитання - чи слід ми не замінювати з набору навчальних прикладів, щоб генерувати кожну міні-серію в епоху. Я …

18 machine-learning  neural-networks  optimization  deep-learning 

У мене є пара питань, які мене бентежать стосовно CNN. 1) Особливості, отримані за допомогою CNN, - інваріантність масштабу та обертання? 2) Ядра, які ми використовуємо для згортання з нашими даними, вже визначені в літературі? що це за ядра? це різне для кожної програми?

18 neural-networks  deep-learning  conv-neural-network