Чи використовуються методи пошуку ліній в глибокому навчанні? Чому ні?

Багато навчальних посібників в Інтернеті говорять про спуск градієнта, і майже всі вони використовують фіксований розмір кроку (швидкість навчання ). Чому не застосовується пошук рядків (наприклад, пошук зворотного відстеження чи точний пошук рядків)?$\alpha$

Спуск градієнта ванілі можна зробити більш надійним за допомогою пошуку ліній; Я написав алгоритми, які роблять це, і це робить дуже стабільний алгоритм (хоча і не обов'язково швидкий).

Однак займатися пошуком рядків методів стохастичного градієнта майже не має сенсу . Причиною цього я є те, що якщо ми здійснюємо пошук рядків на основі мінімізації функції повної втрати, ми негайно втратили одну з основних мотивацій для стохастичних методів; Тепер нам потрібно обчислити функцію повної втрати для кожного оновлення, яка, як правило, має обчислювальну вартість, порівнянну з обчисленням повної першої похідної. Зважаючи на те, що ми хотіли уникнути обчислення повного градієнта через обчислювальні витрати, здається, дуже малоймовірно, що ми хочемо гаразд з обчисленням функції повної втрати.

$-\infty$$\infty$

EDIT

@DeltaIV вказує, що це стосується і міні-партії, а не лише окремих зразків.

Підручники говорять про спуск градієнта, мабуть, тому, що це один з найпростіших алгоритмів, який використовується для оптимізації, тому його легко пояснити. Оскільки більшість таких навчальних посібників досить короткі, вони зосереджуються на простих речах. Існує принаймні кілька популярних алгоритмів оптимізації поза простими градієнтними спусками, які використовуються для глибокого навчання. Насправді люди часто використовують різні алгоритми, ніж градієнтний спуск, оскільки вони зазвичай сходяться швидше. Деякі з них мають постійну швидкість навчання (наприклад, зменшується з часом). Для огляду таких алгоритмів ви можете ознайомитись з повідомленням Огляд алгоритмів оптимізації градієнта спуску Себастьяном Рудером (або архівним документом ).