Запитання з тегом «gradient-descent»

Якщо гессіанці настільки хороші для оптимізації (див., Наприклад , метод Ньютона ), навіщо зупинятися на цьому? Давайте скористаємось похідними третьої, четвертої, п’ятої та шостої? Чому ні?

29 optimization  gradient-descent  hessian 

Я роблю курс машинного навчання Стенфорда на Coursera. У главі з логістичної регресії функція витрат така: Потім, це похідне тут: Я намагався отримати похідну від функції витрат, але отримав щось зовсім інше. Як отримується похідна? Які є посередницькими кроками?

29 regression  logistic  gradient-descent  derivative 

Яка різниця між алгоритмами ЕМ (Максималізація очікування) та Градієнтним підйомом (або спуском)? Чи є якась умова, за якої вони є рівнозначними?

28 gradient-descent  expectation-maximization 

З огляду на опуклу функцію витрат, використовуючи SGD для оптимізації, ми будемо мати градієнт (вектор) в певний момент під час процесу оптимізації. Моє запитання, з огляду на точку на опуклій, чи градієнт лише вказує в тому напрямку, в якому функція швидко збільшується / зменшується, або градієнт завжди вказує на оптимальну …

25 neural-networks  optimization  gradient-descent  sgd  convex 

Власне, я хотів запитати вас, як я можу визначити умову, що закінчується для спуску градієнта. Чи можу я зупинити його на основі кількості ітерацій, тобто враховуючи значення параметрів для, скажімо, 100 ітерацій? Або я повинен зачекати так, що різні в двох параметрах значення "new" і "old" дуже малі на порядок …

24 algorithms  optimization  gradient-descent 

Мені було цікаво, які різні випадки використання для двох алгоритмів, Координатного спуску та Градієнтного Спуску . Я знаю, що спуск координат має проблеми з негладкими функціями, але він використовується в популярних алгоритмах, таких як SVM і LASSO. Однак градієнтний спуск, на мою думку, застосовується ширше, особливо при відродженні ANN та …

23 optimization  gradient-descent 

Мені цікаво, як градієнти розповсюджуються назад через нейронну мережу за допомогою модулів ResNet / пропускають з'єднання. Я бачив кілька запитань щодо ResNet (наприклад, нейромережа зі зв’язками пропускового шару ), але це запитує конкретно про зворотне поширення градієнтів під час тренування. Основна архітектура тут: Я читаю цю статтю « Вивчення залишкових …

22 machine-learning  neural-networks  conv-neural-network  gradient-descent  backpropagation 

Під час тренування нейронної мережі з використанням алгоритму зворотного розповсюдження використовується метод градієнтного спуску для визначення оновлень ваги. Моє запитання: Замість того, щоб використовувати метод градієнтного спуску, щоб повільно знаходити мінімальну точку щодо певної ваги, чому ми не просто встановимо похідну , і знайти значення вагиw,яке мінімізує помилку?d(Error)dw=0d(Error)dw=0\frac{d(\text{Error})}{dw}=0www Крім того, …

22 neural-networks  gradient-descent  backpropagation 

Чому люди використовують методи квадратичного програмування (наприклад, SMO) при роботі з ядрами SVM? Що не так з градієнтним узвозом? Чи неможливо користуватися ядрами або це занадто повільно (і чому?). Ось трохи більше контексту: намагаючись зрозуміти SVMs трохи краще, я використовував Gradient Descent для підготовки лінійного класифікатора SVM, використовуючи наступну функцію …

21 svm  kernel-trick  gradient-descent 

По суті, моє питання полягає в тому, що в багатошарових перцептронах персептрони використовуються з функцією активації сигмоїдів. Так що в правилі поновлення у обчислюється якy^y^\hat{y} y^=11+exp(−wTxi)y^=11+exp⁡(−wTxi)\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)} Чим цей «сигмоїдний» Перцепцепрон відрізняється від логістичної регресії тоді? Я б сказав , що одношаровий персептрон сигмовидної еквівалентно логістичної регресії в тому …

21 logistic  classification  neural-networks  gradient-descent  perceptron 

При навчанні глибоких і неглибоких нейронних мереж, чому градієнтні методи (наприклад, спуск градієнта, Нестеров, Ньютон-Рафсон), зазвичай використовуються, на відміну від інших метагевристів? Під метагевристикою я маю на увазі такі методи, як імітація відпалу, оптимізація колоній мурашок тощо, які були розроблені, щоб уникнути застрявання в локальних мінімумах.

20 neural-networks  optimization  deep-learning  gradient-descent  backpropagation 

Генетичні алгоритми є однією з форм методу оптимізації. Часто стохастичний градієнтний спуск та його похідні є найкращим вибором для оптимізації функцій, але генетичні алгоритми все ще іноді застосовуються. Наприклад, антена космічного корабля ST5 NASA була створена за допомогою генетичного алгоритму: Коли методи генетичної оптимізації є кращим вибором, ніж більш поширені …

20 machine-learning  optimization  gradient-descent  genetic-algorithms 

Я читаю це твердження на одному старому істинному / хибному іспиті: Ми можемо отримати декілька локальних оптимальних рішень, якщо вирішити задачу лінійної регресії шляхом мінімізації суми помилок у квадраті за допомогою градієнтного спуску. Рішення: помилкове Моє запитання, яка частина цього питання неправильна? Чому це твердження хибне?

19 least-squares  gradient-descent  convex 

Я знаю, що стохастичний градієнтний спуск має випадкову поведінку, але я не знаю, чому. Чи є пояснення з цього приводу?

19 machine-learning  random-variable  gradient-descent 

Я бачив подібний висновок з багатьох дискусій, що в міру збільшення розміру міні-партії збіжність SGD насправді стає важчим / гіршим, наприклад, цей документ і ця відповідь . Також я чув, що люди на ранніх етапах використовують такі хитрощі, як невеликі темпи навчання або розмір партії, щоб вирішити цю складність при …

18 machine-learning  neural-networks  optimization  gradient-descent  sgd