Запитання з тегом «deep-learning»

Нещодавно Аль-Рахімі виступив із дуже провокаційною розмовою в NIPS 2017, порівнюючи сучасне машинне навчання з алхімією. Одне з його тверджень полягає в тому, що нам потрібно повернутися до теоретичних розробок, мати прості теореми, що підтверджують основоположні результати. Коли він це сказав, я почав шукати основні теореми для ML, але не …

45 machine-learning  deep-learning  theory 

Я намагаюся зрозуміти складову частину згорткових нейронних мереж. Дивлячись на таку цифру: У мене немає проблем з розумінням першого шару згортки, де у нас є 4 різних ядра (розміром ), які ми переплітаємо з вхідним зображенням, щоб отримати 4 карти карт.k × kk×kk \times k Що я не розумію, це …

44 machine-learning  neural-networks  deep-learning  conv-neural-network 

Я хочу вивчити нейронні мережі. Я - комп'ютерний лінгвіст. Я знаю підходи до статистичного машинного навчання і можу кодувати в Python. Я хочу почати з її концепцій, і знаю одну або дві популярні моделі, які можуть бути корисні з точки зору обчислювальної лінгвістики. Я переглянув Інтернет для ознайомлення і знайшов …

43 neural-networks  deep-learning  references  natural-language  computer-vision 

Я виявив, що Imagenet та інші великі CNN використовують локальні шари нормалізації відповіді. Однак я не можу знайти про них стільки інформації. Наскільки вони важливі і коли їх слід використовувати? З http://caffe.berkeleyvision.org/tutorial/layers.html#data-layers : "Рівень нормалізації локальної відповіді виконує своєрідне" бічне гальмування "шляхом нормалізації над локальними вхідними регіонами. У режимі ACROSS_CHANNELS …

41 deep-learning  convolution  conv-neural-network 

Я виявив, що випрямлена лінійна одиниця (ReLU) отримала високу оцінку в декількох місцях як рішення проблеми, що втрачає градієнт, для нейронних мереж. Тобто, людина використовує max (0, x) як функцію активації. Коли активація позитивна, очевидно, що це краще, ніж, скажімо, сигмоїдна активаційна функція, оскільки її деривація завжди дорівнює 1 замість …

40 machine-learning  neural-networks  deep-learning  gradient-descent 

Я шукаю документ, який міг би допомогти в наданні настанови про те, як вибрати гіперпараметри глибокої архітектури, як-от складені автокодери або глибокі мережі. Гіперпараметрів дуже багато, і я дуже розгублений у тому, як їх вибрати. Також використання перехресної перевірки не є можливим, оскільки навчання дійсно займає багато часу!

38 machine-learning  deep-learning  deep-belief-networks  hyperparameter 

Проблема, яку я часто зустрічався в контексті Нейронних мереж в цілому, і Глибоких нейронних мереж, зокрема, полягає в тому, що вони "голодні", тобто вони не працюють добре, якщо у нас не є великий набір даних з якою тренувати мережу. Я розумію, що це пов’язано з тим, що NNets, особливо Deep …

37 neural-networks  deep-learning  regularization 

Я треную нейронну мережу, і втрата тренінгу зменшується, але втрата валідації не робить, або зменшується набагато менше, ніж я б очікував, виходячи з посилань або експериментів із дуже схожими архітектурами та даними. Як я можу це виправити? Щодо питання Що робити, коли моя нервова мережа не навчається? для чого це …

37 neural-networks  deep-learning 

Яка різниця між термінами «ядро» та «фільтр» в контексті згорткових нейронних мереж?

37 neural-networks  terminology  deep-learning  conv-neural-network 

Я створюю конволюційну нейронну мережу (CNN), де у мене є згортковий шар, за яким слідує шар об'єднання, і я хочу застосувати випадання для зменшення перевитрати. У мене таке відчуття, що шар, що випадає, слід наносити після об'єднання шару, але я насправді не маю нічого, що би це створити. Де є …

35 deep-learning  conv-neural-network  dropout 

Рідке кодування визначається як вивчення надмірно повного набору базових векторів для представлення вхідних векторів (<- чому ми цього хочемо). Які відмінності між розрідженим кодуванням та автокодером? Коли ми будемо використовувати розріджене кодування та автокодер?

35 machine-learning  neural-networks  unsupervised-learning  deep-learning  autoencoders 

Хтось бачив якусь літературу про попередню підготовку в глибокій згортковій нейронній мережі? Я бачив лише непідготовлену попередню підготовку в автоінкодерах або машинах з обмеженим набором болцманів.

33 machine-learning  neural-networks  deep-learning  conv-neural-network  autoencoders 

Комп’ютери вже давно вміють грати в шахи, використовуючи техніку "грубої сили", шукаючи певну глибину і потім оцінюючи позицію. Комп'ютер AlphaGo, однак, використовує лише ANN для оцінки позицій (наскільки я не знаю, він не здійснює глибокого пошуку). Чи можливо створити шаховий двигун, який грає в шахи так само, як AlphaGo грає …

32 neural-networks  deep-learning  reinforcement-learning  games 

Фон вступу Всередині конвертної нейронної мережі ми зазвичай маємо загальну структуру / потік, яка виглядає так: вхідне зображення (тобто 2D вектор x) (1-й згортковий шар (Conv1) починається тут ...) включають набір фільтрів ( w1) вздовж двовимірного зображення (тобто виконайте z1 = w1*x + b1множення крапкового продукту), де z1є 3D, і …

32 neural-networks  deep-learning  conv-neural-network 

Гінтон і Салаххутдінов у зменшенні розмірності даних за допомогою нейронних мереж Science 2006 запропонували нелінійну PCA шляхом використання глибокого автокодера. Я кілька разів намагався створити і навчити автокодер PCA з Tensorflow, але мені ніколи не вдалося отримати кращий результат, ніж лінійний PCA. Як я можу ефективно тренувати автокодер? (Пізніше редагуйте …

31 pca  python  deep-learning  tensorflow  autoencoders