Чи завжди середня квадратична помилка є опуклою в контексті нейронних мереж?

9

Кілька ресурсів, про які я згадував, згадували, що MSE чудовий тим, що він опуклий. Але я цього не розумію, особливо в умовах нейронних мереж.

Скажімо, у нас є наступне:

$X$ : навчальний набір даних
$Y$ : цілі
$\Theta$ : набір параметрів моделі (модель нейронної мережі з нелінійностями) $f_\Theta$

Тоді:

MSE (Θ) = (f_{Θ} (Х) - Y)^{2}

$\operatorname{MSE}(\Theta) = (f_\Theta(X) - Y)^2$

Чому ця функція втрат завжди була опуклою? Чи залежить це від ? $f_\Theta(X)$

— користувач74211
джерело

1

Відповідь коротко: MSE опукло на вході та параметрах само по собі. Але в довільній нейронній мережі вона не завжди опукла через наявність нелінійностей у вигляді функцій активації. Джерело моєї відповіді - тут .

— варш
джерело

1

Опуклість

Функція $f(x)$ при випукла, якщо для будь-якого , і для будь-якого , $x ∈ Χ$ $x_1 ∈ Χ$ $x_2 ∈ Χ$ $0 ≤ λ ≤ 1$
$f (λ х_{1} + (1 - λ) х_{2}) \leq λ f (х_{1}) + (1 - λ) f (х_{2}) .$ $f(λ x_1 + (1 − λ) x_2) ≤ λf(x_1) + (1 − λ) f (x_2).$

Можна довести, що такий опуклий має один глобальний мінімум. Унікальний глобальний мінімум усуває пастки, створені локальними мінімумами, які можуть виникати в алгоритмах, які намагаються досягти конвергенції на глобальному мінімумі, наприклад мінімізації функції помилок. $f(x)$

Хоча функція помилки може бути на 100% надійною у всіх безперервних, лінійних контекстах та багатьох нелінійних контекстах, це не означає зближення на глобальному мінімумі для всіх можливих нелінійних контекстів.

Середня квадратична помилка

Дана функція описує ідеальну поведінку системи та модель системи (де - вектор параметрів, матриця, куб або гіперкуб і ), створена раціонально або за допомогою конвергенції (як і в тренуванні з нейронної сітки), функція середньої квадратичної помилки (MSE) може бути представлена наступним чином. $s(x)$ $a(x, p)$ $p$ $1 ≤ n ≤ N$

е (β) : = N^{- 1} \sum_{н} [а (х_{н}) - с (х_{н})]^{2}

$e(β) := N^{-1} \sum_{n} [a(x_n) − s(x_n)]^2$

Матеріал, який ви читаєте, ймовірно, не стверджує, що або є опуклими відносно , але що опукло відносно та незалежно від того, якими вони є. Це пізніше твердження можна довести для будь-яких безперервних та . $a(x, p)$ $s(x)$ $x$ $e(β)$ $a(x, p)$ $s(x)$ $a(x, p)$ $s(x)$

Плутанина в алгоритмі конвергенції

Якщо питання полягає в тому, чи може конкретна і метод досягнення який наближає в межах розумного граничного рівня конвергенції MSE, відповідь - "Так". Ось чому MSE - не єдина модель помилок. $a(x, p)$ $s(x)$ $a(x, p)$

Підсумок

Найкращим підсумком є те, що слід визначати або вибирати з набору моделей опуклої помилки запасів на основі наступних знань. $e(β)$

Відомі властивості системи $s(x)$
Визначення моделі апроксимації $a(x, p)$
Тензор використовується для генерування наступного стану в конвергентній послідовності

Набір моделей опуклих запасів, безумовно, включає модель MSE через його простоту та обчислювальну ощадливість.

— Фохристиян
джерело

Отже, коротка відповідь - MSE wrt Theta завжди опукла. Хоча Feedforard (X, Theta) може бути невипуклим?

— user74211

Ну, @ user74211, цей коментар насправді не відповідає на питання. Питання, задане спеціально ЯК середня квадратна помилка, завжди може бути опуклою, якщо функція, до якої вона застосовується, не є. Ваш коментар - це підгрупа тверджень у запитанні без потрібного пояснення.

— Фахристиян