Чому спуск градієнта неефективний для великого набору даних?

13

Скажімо, наш набір даних містить 1 мільйон прикладів, тобто , і ми хочемо використовувати спуск градієнта для виконання логістичної або лінійної регресії на цих наборах даних. $x_1, \ldots, x_{10^6}$

Що це з методом градієнтного спуску робить його неефективним?

Нагадаємо, що крок градієнта спуску в момент часу задається: $t$

w_{t + 1} = w_{t} + η_{t} \nabla f (x)

$w_{t+1} = w_{t} + \eta_t \nabla f(x)$

де - функція втрат. $f$

З вищенаведеним кроком я не бачу нічого незвичайного, що призводить до неефективності алгоритму. Це обчислення ? Чи не могла ця операція бути попередньо обчислена, тобто кожен вже обчислений, і просто оцінити їх у кожній точці даних $\nabla f(x)$ $\frac{\partial f}{\partial x}$ $x_i?$

machine-learning gradient-descent large-data

— Карлос - мангуст - небезпека
джерело

1

Неефективний щодо ...? Навіть найменші квадрати неефективні для великого набору даних. Вам потрібна велика нотація O, щоб мати змістовні уявлення про те, що робить для алгоритму. Не всі алгоритми GD мають однакові великі O. (чи не так?)

n

$n$

— AdamO

7

Це допоможе, якщо ви надали контекст для твердження, що спуск градієнта неефективний. Неефективний щодо чого?

Я здогадуюсь, що тут відсутній контекст - це порівняння зі стохастичним чи партійним градієнтом у грунтовому навчанні. Ось як відповісти на питання в цьому контексті. Ви оптимізуєте параметри моделі, навіть гіперпараметри. Отже, у вас є функція витрат , де - ваші дані, і - вектор параметрів, а - функція втрати. Щоб мінімізувати цю вартість, ви використовуєте градієнтний спуск над параметрами : $\sum_{i=1}^n L(x_i|\Theta)$ $x_i$ $\Theta$ $L()$ $\theta_j$

\frac{\partial}{\partial θ_{j}} \sum_{i = 1}^{n} L (Θ | x_{i})

$\frac{\partial}{\partial \theta_j}\sum_{i=1}^nL(\Theta|x_i)$

Отже, ви бачите, що вам потрібно отримати суму над усіма даними . Це прикро, адже це означає, що ви постійно переглядаєте дані для кожного кроку свого градієнтного спуску. Ось так виходить пакетний і стохастичний градієнтний спуск: що робити, якщо ми взяли вибірку з набору даних і обчислили градієнт на вибірці, а не на повний набір? Тут - кількість спостережень у вибірці . Отже, якщо ваш зразок становить 1/100-ту загальну кількість, ви пришвидшите свої розрахунки в 100 разів! Очевидно, що це вносить шум, який подовжує навчання, але шум зменшується зі швидкістю $x_{i=1,\dots,n}$

\frac{\partial}{\partial θ_{j}} \sum_{к = 1}^{н_{с}} L (Θ | х_{к})

$\frac{\partial}{\partial \theta_j}\sum_{k=1}^{n_s}L(\Theta|x_k)$

n_{s}

$n_s$

s

$s$

\sqrt{n}

$\sqrt n$ в той час як сума розрахунку збільшується на , тому ця хитрість може спрацювати.

n

$n$

Крім того, замість того, щоб чекати, поки не буде обчислена повна сума , ви можете розділити це на партії і зробити крок для кожної партії . Таким чином, ви зробили б M кроків до моменту обчислення суми за весь набір даних. Це були б шумніші кроки, але з часом шум відміняється. $\sum_{i=1}^n$ $\sum_{s=1}^M\sum_{i_s=1}^{n_s}$

— Аксакал
джерело

19

Є два способи, за якими спуск градієнта може бути неефективним. Цікаво, що кожен з них веде свій власний метод виправлення, що є майже протилежними рішеннями. Дві проблеми:

(1) Занадто багато оновлень градієнта спуску потрібно.

(2) Кожен крок спуску градієнта занадто дорогий.

Що стосується (1), порівнюючи спуск градієнта з методами, що враховують інформацію про похідні другого порядку, градієнтний спуск, як правило, є дуже неефективним щодо покращення втрат при кожній ітерації. Дуже стандартний метод, метод Ньютона , зазвичай потребує набагато меншої кількості ітерацій для сходження, тобто для логістичної регресії 10 ітерацій методу Ньютона часто матимуть менші втрати, ніж рішення, що забезпечується 5000 ітерацій градієнта спуску. Для лінійної регресії це ще більш екстремально; є рішення закритої форми! Однак, оскільки кількість предикторів стає дуже великою (тобто 500+), метод Ньютона / безпосередньо рішення для лінійної регресії може стати занадто дорогим за ітерацію через кількість необхідних операцій з матрицею, тоді як спуск градієнта матиме значно менші витрати за ітерацію.

Щодо (2), можливо, настільки великий набір даних, що кожна ітерація градієнтного спуску занадто дорога для обчислення. Для обчислення градієнта знадобляться операції ( = розмір вибірки, = кількість коваріатів). Хоча зовсім не є проблемою на сучасних комп’ютерах для значень , безумовно, буде щось на зразок , . У цьому випадку методи, які наближають похідну на основі менших підмножин даних, є більш привабливими, наприклад, стохастичний градієнтний спуск . $O(nk)$ $n$ $k$ $n = 10^{6}$ $k < 100$ $n = 10^{12}$ $k = 10^3$

Я кажу, що ці виправлення є майже протилежними, оскільки щось на зразок методу Ньютона коштує дорожче, але ефективніше (з точки зору зміни втрат) за оновлення, тоді як стохастичний градієнтний спуск насправді менш ефективний, але значно обчислювально дешевший за оновлення.

— Кліф АВ
джерело

Дякую за чудову відповідь. Що ви маєте на увазі під = числом коваріатів? Мені не знайома ця термінологія

k

$k$

— Карлос - Мангуст - Небезпека

2

@Learningonepageatatime: covariates = змінні предиктора.

— Кліф АВ

10

Спершу дозвольте запропонувати покращити вашу нотацію. Зокрема, позначимо функцію втрат на а не на . Використання літери - це просто моя особиста перевага, оскільки вона нагадує мені, що ми маємо справу з L oss. Більш суттєва зміна дає зрозуміти, що втрата - це функція ваг а не даних . Важливо, що градієнт по відношенню до не . Тож де - розмірність вашого дані. $L(w)$ $f(x)$ $L$ $w$ $x$ $w$ $x$

\nabla L (ш) = (\frac{\partial L}{\partial ш_{1}}, \dots, \frac{\partial L}{\partial ш_{D}}),

$\nabla L(w) = \left(\frac{\partial L}{\partial w_1}, \dots, \frac{\partial L}{\partial w_D} \right),$

D

$D$

Незважаючи на те, що ми повинні думати про втрату як функцію ваг , будь-яка розумна функція втрат все ще буде залежати від усього набору даних (якби цього не було, з даних не вдалося б дізнатися нічого! ). Наприклад, в лінійній регресії ми, як правило, використовуємо функцію втрати суми квадратів Отже, для оцінки градієнта для певного набору ваг буде потрібно сума над усіма точками в наборі даних . Якщо , то кожен покроковий крок оптимізації градієнта спуску вимагатиме порядку мільйона операцій, що досить дорого. $w$ $x$

L (ш) = \sum_{i = 1}^{N} (у_{i} - ш^{Т} х_{i})^{2} .

$L(w) = \sum_{i=1}^N (y_i - w^Tx_i)^2.$

\nabla L (w)

$\nabla L(w)$

w

$w$

N

$N$

x

$x$

N = 10^{6}

$N = 10^6$

— tddevlin
джерело

3

Коротка відповідь: для розрахунку градієнта потрібно підсумовувати всі точки даних. Якщо у нас великий обсяг даних, то це потребує тривалого часу.

У мене тут детальна відповідь.

Як стохастичний градієнтний спуск може заощадити час порівняно зі стандартним градієнтним спуском?

З іншого боку, завжди майте на увазі, що крім ітераційних методів є прямі методи (градієнт пристойний). Якщо ми хочемо вирішити найменш квадратну задачу, прямий метод може бути надзвичайно ефективним. Наприклад, розкладання QR. Якщо у нас не занадто багато функцій, це дуже швидко.

Перевіривши це, це може вас здивувати: 5 мільйонів точок даних з двома функціями. Вирішення лінійної регресії / найменшого квадрата займає пару секунд!

x=matrix(runif(1e7),ncol=2)
y=runif(5e6)
start_time <- Sys.time()
lm(y~x)
end_time <- Sys.time()
end_time - start_time
# Time difference of 4.299081 secs

— Хайтао Ду
джерело

1

Хоча два згадані вами приклади, як правило, опуклі, я додам один пункт про невипуклі проблеми. На мою думку, є дві основні причини, чому (пакетний) градієнтний спуск можна вважати "неефективним". Перший пункт про обчислювальні зусилля для обчислення градієнта "великої" суми функцій уже дуже чітко окреслено в інших відповідях. Однак для проблем, які не є опуклими, GD має проблему, як правило, застрягти в "близькому" локальному мінімумі. Цей мінімум може бути дуже поганим порівняно зі світовим мінімумом. SGD або міні-пакет GD мають "перевагу" бродіння навколо (принаймні частково) випадковим чином і, таким чином, можуть мати шанс знайти кращий локальний мінімум. Дивіться цю відповідь CV тут . Або цей інший резюме окреслює, як випадковість може бути корисною.

— ксель
джерело