Запитання з тегом «neural-networks»

Я розглядаю можливість використання версії LSTM ( довготривалої пам'яті ) періодичної нейронної мережі (RNN) для моделювання даних таймерів. Зі збільшенням довжини послідовності даних збільшується складність мережі. Тому мені цікаво, яку довжину послідовностей можна було б моделювати з хорошою точністю? Я хотів би використати порівняно просту версію LSTM без будь-яких складних …

15 neural-networks  deep-learning  lstm 

Я створив кілька нейронних мереж (MLP (повністю підключений), Elman (повторюваний)) для різних завдань, таких як гра в понг, класифікація рукописних цифр та інше ... Крім того, я спробував створити кілька первинних нейронних мереж, наприклад, для класифікації багатозначних рукописних нотаток, але я абсолютно новий для аналізу та кластеризації текстів, наприклад, у …

15 clustering  neural-networks  feature-selection  text-mining  self-organizing-maps 

Коли ми заглиблюємось у літературу про нейронні мережі , ми дістаємо ідентифікацію інших методів з нейроморфними топологіями ("Нейромережеві" архітектури). І я не кажу про теорему універсального наближення . Приклади наведені нижче. Потім мене змушує замислитися: що таке визначення штучної нейронної мережі? Здається, його топологія охоплює все. Приклади: Однією з перших …

15 machine-learning  neural-networks  deep-learning  unsupervised-learning  supervised-learning 

Я не знайшов задовільної відповіді на це від Google . Звичайно, якщо у мене є дані мільйонів, то глибоке навчання - це спосіб. І я читав, що коли у мене немає великих даних, то, можливо, краще використовувати інші методи в машинному навчанні. Причина - це надмірна відповідність. Машинне навчання: тобто …

15 regression  machine-learning  classification  neural-networks  deep-learning 

Я намагаюся навчитися користуватися нейронними мережами. Я читав цей підручник . Після встановлення нейронної мережі на часовій серії, використовуючи значення в для прогнозування значення на автор отримує наступний сюжет, де синя лінія є тимчасовим рядом, зелена - прогноз на дані поїздів, червона - прогнозування даних випробувань (він використав тест на …

15 time-series  neural-networks  predictive-models  deep-learning  prediction 

З цього моменту ми починаємо класифікувати багатошарові нейронні мережі як глибокі нейронні мережі або викласти його по-іншому: "Яка мінімальна кількість шарів у глибокій нейронній мережі?"

15 machine-learning  neural-networks  deep-learning  terminology 

Коли я реалізував пристойний міні-градієнт градієнта, я просто усереднював градієнти всіх прикладів у навчальній партії. Однак я помітив, що зараз оптимальна швидкість навчання набагато вища, ніж для онлайн-градієнтів пристойних. Моя інтуїція полягає в тому, що це тому, що усереднений градієнт менш шумний, і тому він може дотримуватися швидше. Тож, можливо, …

15 neural-networks  gradient-descent  backpropagation 

Якщо у мене є конволюційна нейронна мережа (CNN), яка має близько 1 000 000 параметрів, скільки тренувальних даних потрібно (припустимо, я роблю стохастичний градієнтний спуск)? Чи є якесь правило? Додаткові зауваження: Коли я виконував стохастичний градієнтний спуск (наприклад, 64 патчів за 1 ітерацію), після ~ 10000 ітерацій точність класифікатора може …

15 machine-learning  neural-networks  deep-learning  conv-neural-network 

У процесі моєї нейронної мережі навіть не можна вивчити евклідову відстань, я ще більше спростив і спробував навчити один РеЛУ (з випадковою вагою) до одного РеЛУ. Це найпростіша мережа, яка є, і все ж половину часу вона не зможе конвергуватися. Якщо початкова здогадка має таку саму орієнтацію, що і ціль, …

15 machine-learning  neural-networks  optimization  keras 

Може хтось скажіть, будь ласка, як я повинен будувати нейронну мережу за допомогою пакетного методу? Я читав, що в пакетному режимі для всіх зразків навчального набору ми обчислюємо помилку, дельту і, таким чином, дельта ваги для кожного нейрона в мережі, а потім замість негайного оновлення ваг ми їх накопичуємо, а …

15 machine-learning  neural-networks 

Під час міні-серійного навчання нейронної мережі я почув, що важливою практикою є переміщення даних тренувань перед кожною епохою. Чи може хтось пояснити, чому перемішування в кожну епоху допомагає? З пошуку Google я знайшов такі відповіді: це допомагає навчанню швидко сходитися це запобігає будь-які упередження під час тренувань це заважає моделі …

15 neural-networks 

Я читав про оптимізатора Адама для глибокого навчання і натрапив на таке речення у новій книзі « Глибоке навчання » Беґніо, Гудфллоу та Кортвіла: Адам включає коригування зміщення оцінок як моментів першого порядку (термін імпульсу), так і (безцентрованих) моментів другого порядку для обліку їх ініціалізації при початку. видається, що основною …

15 machine-learning  neural-networks  optimization  conv-neural-network  adam 

Місця, які я читав про прокляття розмірності, пояснюють це в поєднанні насамперед з kNN та лінійними моделями взагалі. Я регулярно бачу найкращих рейтингів у Kaggle, використовуючи тисячі функцій на наборі даних, які навряд чи мають 100k балів даних. Вони, в основному, використовують бусте дерева та NN, серед інших. Це багато …

15 neural-networks  svm  k-means  k-nearest-neighbour  high-dimensional 

У базовому машинному навчанні нас навчають наступним "правилам": a) розмір ваших даних повинен бути щонайменше в 10 разів більший за розмір VC вашого набору гіпотез. б) нейронна мережа з N з'єднаннями має розмір VC приблизно N. Отже, коли нейрональна мережа глибокого навчання має, скажімо, мільйони одиниць, чи це означає, що …

15 machine-learning  neural-networks  deep-learning  vc-dimension 

Я читав папір FaceNet і в третьому пункті вступу написано: Попередні підходи до розпізнавання облич, засновані на глибоких мережах, використовують рівень класифікації, підготовлений за набором відомих ідентичностей обличчя, а потім приймають проміжний рівень вузького місця як уявлення, яке використовується для узагальнення розпізнавання поза набором ідентичностей, що використовуються в навчанні. Мені …

15 neural-networks  image-processing