Вартісна функція нейронної мережі є невипуклою?

Функція вартості нейронної мережі , і вона вважається невипуклою . Я не зовсім розумію, чому це саме так, оскільки, як я бачу, він цілком схожий на вартісну функцію логістичної регресії, правда?$J(W,b)$

Якщо він невипуклий, значить, похідна 2-го порядку , правда?$\frac{\partial J}{\partial W} < 0$

ОНОВЛЕННЯ

Завдяки нижченаведеним відповідям, а також коментарю @ gung, я зрозумів, що якщо у вас немає прихованих шарів, він опуклий, як і логістична регресія. Але якщо є приховані шари, переймаючи вузли в прихованих шарах, а також ваги в наступних з'єднаннях, ми можемо мати кілька рішень ваг, що призводять до однакових втрат.

Тепер більше запитань,

1) Є кілька локальних мінімумів, і деякі з них повинні мати однакове значення, оскільки вони відповідають деяким перестановкам вузлів і ваг, правда?

2) Якщо вузли і ваги взагалі не будуть перестановлені, то це опукло, правда? І мінімуми будуть глобальними мінімумами. Якщо так, відповідь на відповідь 1) полягає в тому, що всі ці локальні мінімуми матимуть однакове значення, правда?

Вартісна функція нейронної мережі в цілому не є ні опуклою, ні увігнутою. Це означає, що матриця всіх інших часткових похідних (гессійська) не є ні позитивним напівдефінітом, ні негативним семидефінітом. Оскільки друга похідна є матрицею, можливо, це ні те, ні інше.

Щоб зробити це аналогічним одно змінним функціям, можна сказати, що функція витрат не має ні форми графа ні як графіка - x 2 . Іншим прикладом неопуклі, що не увігнута функція є гріхом ( х ) на R . Одна з найяскравіших відмінностей полягає в тому, що ± x 2 має лише один крайній край, тоді як гріх має нескінченно багато максимумів і мінімумів.$x^2$$-x^2$$\sin(x)$$\mathbb{R}$$\pm x^2$$\sin$

Як це стосується нашої нейронної мережі? Функція витрат також має ряд локальних максимумів і мінімумів, як ви бачите, наприклад, на цьому малюнку .$J(W,b)$

Те, що у є декілька мінімумів, також може бути інтерпретовано приємно. У кожному шарі ви використовуєте кілька вузлів, яким призначені різні параметри, щоб зробити функцію витрат невеликою. За винятком значень параметрів, ці вузли однакові. Таким чином, ви можете обмінятися параметрами першого вузла в одному шарі з параметрами другого вузла в тому ж шарі і облік цієї зміни в наступних шарах. Ви отримаєте інший набір параметрів, але значення функції витрат неможливо відрізнити (в основному ви просто перемістили вузол в інше місце, але всі входи / виходи зберегли однакові).$J$

Якщо перемурувати нейрони в прихованому шарі і зробити ту саму перестановку на вагах сусідніх шарів, то втрата не зміниться. Отже, якщо існує ненульовий глобальний мінімум як функція ваг, то він не може бути унікальним, оскільки перестановка ваг дає ще один мінімум. Отже, функція не опукла.

Буде цільова функція опуклою чи ні, залежить від деталей мережі. У випадку, коли існує декілька локальних мінімумів, ви запитуєте, чи всі вони рівноцінні. Загалом, відповідь "ні", але шанс знайти локальний мінімум з хорошою ефективністю узагальнення, як видається, збільшується з розміром мережі.

Ця стаття представляє інтерес:

Чороманська та ін. (2015). Поверхні втрат багатошарових мереж

http://arxiv.org/pdf/1412.0233v3.pdf

Зі вступу:

• Для мереж великих розмірів більшість локальних мінімумів еквівалентні та дають аналогічні показники на тестовому наборі.

• Ймовірність знайти локальний мінімум "поганого" (високого значення) не є нульовим для маломірних мереж і швидко зменшується при розмірі мережі.

• Боротьба знайти глобальний мінімум на навчальному наборі (на відміну від одного з багатьох хороших місцевих) на практиці не корисна і може призвести до надмірної підготовки.

Вони також цитують деякі документи, в яких описується, як точки сідла є більшою проблемою, ніж місцеві мінімуми при навчанні великих мереж.

Деякі відповіді на ваші оновлення:

1. Так, загалом існує декілька локальних мінімумів. (Якби був лише один, він би називався глобальним мінімумом.) Місцеві мінімуми не обов'язково матимуть однакове значення. Загалом, може бути, що місцеві мінімуми не мають однакового значення.

2. Ні, він не опуклий, якщо це не одношарова мережа. У загальному багатошаровому випадку параметри пізніших шарів (ваги та параметри активації) можуть бути сильно рекурсивними функціями параметрів попередніх шарів. Як правило, множення змінних рішень, запроваджених деякою рекурсивною структурою, як правило, знищує опуклість. Іншим чудовим прикладом цього є моделі MA (q) в аналізі рядів часу.

$y$$X$$\|y - X\beta\|$

У вас буде один глобальний мінімум, якщо проблема опукла або квазіконвексована.

Про опуклі "будівельні блоки" під час побудови нейронних мереж (версія Computer Science)

Я думаю, що їх можна згадати декілька:

1. max (0, x) - опукла і зростаюча

2. log-sum-exp - опуклий і збільшується в кожному параметрі

3. y = Ax є афінним і таким чином опуклим у (A), може збільшуватися, можливо, зменшуючись. y = Ax є афінним і таким чином опуклим у (x), може збільшуватися, можливо, зменшуючись.

На жаль, він не опуклий у (A, x), оскільки виглядає як невизначена квадратична форма.

4. Звичайна математична дискретна згортання (під "звичайним" я маю на увазі визначений повторюваним сигналом) Y = h * X Здається, що це афінна функція h або змінної X. Отже, це опукла у змінній h або в змінній X. Про обидві змінні - Я не думаю, що тому, коли h і X скаляри, то згортання зменшиться до невизначеної квадратичної форми.

5. max (f, g) - якщо f і g опуклі, то max (f, g) також опуклі.

Якщо ви замінюєте одну функцію на іншу і створюєте композиції, то все ще знаходитесь у опуклій кімнаті для y = h (g (x), q (x)), але h повинна бути опуклою і повинна збільшуватися (не зменшуватися) у кожному аргументі. ...

Чому нейронні сітки в невипуклій:

1. Я думаю, що згортка Y = h * X не обов'язково збільшується в h. Отже, якщо ви не використовуєте зайвих припущень щодо ядра, ви вийдете з опуклої оптимізації негайно після застосування згортки. Тож не все добре із складом .

2. Також згортання та множення матриць не є опуклим, якщо врахувати пара параметрів, як було зазначено вище. Таким чином, виникають проблеми з множенням матриць: це невипукла операція в параметрах (A, x)

3. y = Ax може бути квазівипуклий у (A, x), але також слід враховувати додаткові припущення.

Будь ласка, дайте мені знати, якщо ви не погоджуєтесь або маєте додаткове розгляд. Питання мені також дуже цікаве.

ps max-pooling - що зменшення розміру при виборі max виглядає як деяка модифікація операцій елементарного максу з афінною попередньою композицією (для витягування потрібних блоків), і для мене це виглядає опукло.

Про інші питання

1. Ні, логістична регресія не є опуклою чи увігнутою, але є лога-увігнутою. Це означає, що після застосування логарифму ви будете мати увігнуту функцію в пояснювальних змінних. Отже, тут максимально можливий трюк з можливістю журналу.

2. Якщо є не один глобальний мінімум. Нічого не можна сказати про співвідношення між місцевими мінімумами. Або принаймні ви не можете використовувати опуклу оптимізацію та її розширення, тому що ця область математики глибоко заснована на глобальному заниженні.

Можливо, у вас є плутанина щодо цього. Тому що насправді люди, які створюють такі схеми, просто роблять «щось», і вони отримують «щось». На жаль, тому що ми не маємо досконалого механізму для вирішення невипуклої оптимізації (загалом).

Але є ще більш прості речі поряд з нейронними мережами - які не можна вирішити, як нелінійні найменші квадрати - https://youtu.be/l1X4tOoIHYo?t=2992 (EE263, L8, 50:10)