місцеві мінімуми проти сідлових точок у глибокому навчанні

Я чув, як Ендрю Нг (у відео, якого я, на жаль, більше не можу знайти) розповів про те, як розуміння місцевих мінімумів у проблемах глибокого навчання змінилося в тому сенсі, що вони зараз вважаються менш проблематичними, оскільки у просторах з великими розмірами (зустрічаються в глибоке навчання) критичні точки, швидше, будуть сідловими точками або плато, а не місцевими мінімумами.

Я бачив документи (наприклад, цей ), які обговорюють припущення, згідно з якими "кожен локальний мінімум - це глобальний мінімум". Ці припущення є досить технічними, але, наскільки я розумію, вони, як правило, нав'язують структуру нейронної мережі, що робить її дещо лінійною.

Чи справедливим є твердження, що при глибокому навчанні (включаючи нелінійні архітектури) плато є скоріше, ніж локальні мінімуми? І якщо так, то чи існує за цим (можливо, математична) інтуїція?

Чи є щось особливе щодо глибокого навчання та сідла?

— oW_
джерело

Якщо мова йде про математичну інтуїцію, чому точка сідла швидше локального мінімуму, я б подумав про це з точки зору особливостей. Щоб бути локальним мінімумом, він повинен бути локальним мінімумом у кожному напрямку. Навпаки, для точки сідла лише 1 напрямок повинен відрізнятися від інших. Набагато ймовірніше, що 1 або більше мають різні поведінки, ніж інші, порівняно з однаковою поведінкою у всіх напрямках.

— Павло

дякую, тепер, коли ви це скажете, це щось очевидно ... ось кілька цікавих обговорень теми

— oW_

Ендрю Нг виклав відео на тему "Проблема локальних мінімумів" на 2-му тижні курсу курсу "Курс", "Вдосконалення глибоких нейронних мереж: налаштування гіперпараметрів, регуляризація та оптимізація". Можливо, саме той, кого ви шукаєте.

— mjul

дивіться тут

— Медіа

Відповіді:

Це просто намагається передати мою інтуїцію, тобто ніякої жорсткості. Річ із сідловими моментами полягає в тому, що вони є типом оптимуму, який поєднує комбінацію мінімумів і максимумів. Оскільки кількість вимірів настільки велика при глибокому навчанні, ймовірність того, що оптимум складається лише з комбінації мінімумів, дуже низька. Це означає, що «застрягнути» в місцевому мінімумі рідко. Загрожуючи надмірним спрощенням, важче "застрягнути" у точці сідла, оскільки можна "ковзати вниз по одному з вимірів". Я думаю, що відео, про яке ви посилаєтесь, про Ендрю Нґ, походить з курсу Coursera, присвяченого глибокому навчанню.

— user41985
джерело

Дозвольте дати пояснення на основі багатовимірного обчислення. Якщо ви пройшли багатоваріантний курс, ви почули, що, враховуючи критичну точку (точка, де градієнт дорівнює нулю), умова для цієї критичної точки є мінімальним - матриця Гессія є позитивно визначеною. Оскільки гессіан є симетричною матрицею, ми можемо діагоналізувати її. Якщо записати діагональну матрицю, відповідну Гессі, як: що гессіанський позитивний певний еквівалент.

D = [\begin{matrix} d_{1} \\ ⋱ \\ d_{n} \end{matrix}]

$D = \begin{bmatrix} d_{1} & & \\ & \ddots & \\ & & d_{n} \end{bmatrix}$

d_{1} > 0, \dots, d_{n} > 0

$d_1 > 0, \dots, d_n>0$

Тепер давайте подумаємо про функції глибокого навчання. Функції глибокого навчання в дуже складних формах залежать від безлічі параметрів, тому у гессіана буде складний сам вираз. З цієї причини можна думати, що значення не є упередженими до негативних чи позитивних значень. З цієї причини, з огляду на будь-яку критичну точку, вірогідність того, що кожне значення буде позитивним, можна вважати рівним $d_1,\dots,d_n$ $d_i$ $1/2$ $d_i$ $d_j$ через високу нелінійність матриці Гессі, тому вірогідність того, що вони будуть позитивними, ми сприймемо як самостійні події.

П (г_{1} > 0, \dots, г_{н} > 0) = П (г_{1} > 0) \cdot \dots \cdot П (г_{н} > 0) = \frac{1}{2^{н}}

$P(d_1 > 0, \dots, d_n > 0) = P(d_1 > 0)\cdot \cdots \cdot P(d_n > 0) = \frac{1}{2^n}$

$10^8$ $1/2^n$

А як щодо максимумів?

$1/2 ^n$

P (s a d d l e) = 1 - P (m a x i m u m) - P (m i n i m u m) = 1 - \frac{1}{2^{n}} - \frac{1}{2^{n}} = 1 - \frac{1}{2^{n - 1}}

$P(saddle) = 1 - P(maximum) - P(minimum) = 1 - \frac{1}{2^n} - \frac{1}{2^n} = 1 - \frac{1}{2^{n-1}}$

$n$

— Девід Масіп
джерело