Як збільшується градієнт, як градієнтний спуск?

Я читаю корисну запис у Вікіпедії щодо збільшення градієнта ( https://en.wikipedia.org/wiki/Gradient_boosting ) і намагаюся зрозуміти, як / чому ми можемо наблизити залишки найкрутішим кроком спуску (також званий псевдоградієнтом ). Чи може хтось дати мені інтуїцію щодо того, як найкрутіший спуск пов’язаний / схожий на залишки? Допомога високо оцінена!

self-study gradient-descent

— Wouter
джерело

Припустимо, ми опинилися в такій ситуації. У нас є деякі дані $\{ x_i, y_i \}$ , де кожен $x_i$ може бути числом чи вектором, і ми хотіли б визначити функцію $f$ що наближає відносини $f(x_i) \approx y_i$ , в тому сенсі, що найменша помилка квадрата:

\frac{1}{2} \sum_{i} (у_{i} - f (х_{i}))^{2}

$\frac{1}{2} \sum_i (y_i - f(x_i))^2$

невеликий.

Тепер постає питання про те, що б нам хотілося домену $f$ бути. Вибір вибору для домену - це лише моменти наших навчальних даних. У цьому випадку ми можемо просто визначитись $f(x_i) = y$ , що охоплює весь бажаний домен, і робити це з ним. Окружний спосіб досягти цієї відповіді - це спуск градієнта з цим дискретним простором як домен. Це потребує певних змін у точці зору. Давайте розглянемо втрату як функцію істинної точки $y$ і передбачення $f$ (в дану хвилину, $f$ це не функція, а лише значення передбачення)

L (f; у) = \frac{1}{2} (у - f)^{2}

$L(f; y) = \frac{1}{2} (y - f)^2$

а потім прийняти градієнт щодо прогнозування

\nabla_{f} L (f; у) = f - у

$\nabla_f L(f; y) = f - y$

Потім оновлення градієнта, починаючи з початкового значення $y_0$ є

у_{1} = у_{0} - \nabla_{f} (у_{0}, у) = у_{0} - (у_{0} - у) = у

$y_1 = y_0 - \nabla_f (y_0, y) = y_0 - (y_0 - y) = y$

Таким чином, ми відновимо наше ідеальне передбачення за допомогою градієнтного кроку за допомогою цієї настройки, що приємно!

Недолік тут, звичайно, те, що ми хочемо $f$ визначатись набагато більше, ніж лише наші точки навчання. Для цього ми повинні зробити кілька поступок, оскільки ми не в змозі оцінити функцію втрат або її градієнт в будь-яких точках, крім нашого навчального набору даних.

Велика ідея полягає у слабкому наближенні $\nabla L$ .

Start з початковою здогадкою на $f$ , майже завжди проста константна функція $f(x) = f_0$ , це визначено скрізь. Тепер генеруйте новий робочий набір даних, оцінюючи градієнт функції втрат на даних тренувань, використовуючи початкову здогадку для $f$ :

W = {х_{i}, f_{0} - у}

$W = \{ x_i, f_0 - y \}$

Now approximate $\nabla L$ шляхом пристосування слабкого учня до $W$ . Скажімо, ми отримаємо наближення $F \approx \nabla L$ . Ми отримали розширення даних $W$ по всьому домену у вигляді $F(X)$ , хоча ми втратили точність у навчальних балах, оскільки ми підходимо до маленького учня.

Finally, використовувати $F$ замість $\nabla L$ в оновленні градієнта $f_0$ для всього домену:

f_{1} (х) = f_{0} (х) - Ж (х)

$f_1(x) = f_0(x) - F(x)$

Ми виходимо $f_1$ , нове наближення $f$ , трохи краще, ніж $f_0$ . Почніть з $f_1$ , і повторіть, поки не задоволені.

Сподіваємось, ви бачите, що дійсно важливим є наближення градієнта втрат. У випадку мінімізації квадратів це мінімізація має форму неочищених залишків, але у більш складних випадках це не відбувається. Машина все ще застосовується. Поки можна побудувати алгоритм для обчислення втрат та градієнта втрат за навчальними даними, ми можемо використовувати цей алгоритм для наближення функції, що мінімізує цю втрату.

— Метью Друрі
джерело

Так, я думаю, що це добре. Єдине, що слід зазначити, це якщо ви, наприклад, хочете підвищити мінімізацію біноміальних втрат

\sum_{i} у_{i} журнал (p_{i}) + (1 - у_{i}) журнал (1 - p_{i})

$\sum_i y_i \log (p_i) + (1 - y_i) \log(1 - p_i)$ то градієнт, який ми розширюємо, більше не пов'язаний із залишками природним чином.

— Меттью Друрі

Дякую Метью. Одне, що я намагаюся обвести головою. У літературі часто зазначається, що оновлення моделі - F (m + 1) = F (m) +

α_{m} * h (m)

$\alpha_m*h(m)$ , де h (m) - слабкий учень. Якщо я замислююся над деревовою моделлю - чи означає це, що і для регресії, і для класифікації ми фактично практично оновлюємо своє передбачення для даної точки даних простим додаванням результатів двох моделей? це також працює, якщо ми намагаємось бинарне класифікувати це? чи знак + не слід тлумачити так буквально?

— Wouter

Знак плюс досить буквальний. Але для слабких учнів, що базуються на дереві, передбачення моделі слід інтерпретувати як середньозважене середнє значення в листі, навіть у випадку, коли дерево підходить до двочленних даних. Зауважте, що, прискорюючи, ми зазвичай не підходимо до біноміальних даних, ми підходимо до градієнта ймовірності, оціненої за прогнозами попереднього етапу, що не буде

0, 1

$0,1$ цінується.

— Меттью Друрі

@MatthewDrury Я думаю, що в багатьох літературах ми не є безпосереднім оновленням

f_{1}

$f_1$ з

f_{0} - F (x)

$f_0-F(x)$ , але с

f_{0} - α * F (x)

$f_0-\alpha*F(x)$ , де

α

$\alpha$ від 0 до 1 - рівень навчання.

— Хайтао Ду

@ hxd1011 Так, це абсолютно правильно та вирішальне значення для успішного використання градієнтного збільшення.

— Меттью Друрі