Чому зворотне розповсюдження не працює, коли ви ініціалізуєте всю вагу одного і того ж значення (скажімо, 0,5), але працює добре, коли задаються випадкові числа?
Чи не повинен алгоритм обчислювати помилку і працювати звідти, незважаючи на те, що ваги спочатку однакові?
Відповіді:
Порушення симетрії.
Якщо всі ваги починаються з рівних значень і якщо рішення вимагає розробити нерівні ваги, система ніколи не може навчитися.
Це відбувається тому, що помилка поширюється назад через ваги пропорційно значенням ваг. Це означає, що всі приховані одиниці, підключені безпосередньо до вихідних блоків, отримуватимуть однакові сигнали помилок, і, оскільки зміни ваги залежать від сигналів помилок, ваги від цих одиниць до вихідних одиниць завжди повинні бути однаковими. Система запускається у якусь нестабільну точку рівноваги, яка підтримує ваги рівними, але вона вище, ніж деякі сусідні точки на поверхні помилки, і як тільки вона відсунеться до однієї з цих точок, вона ніколи не повернеться. Ми протидіємо цій проблемі, запускаючи систему з невеликих випадкових ваг. За цих умов проблем подібної симетрії не виникає.
Щоб додати відповідь Тьєррі, ви можете думати про помилку як функцію вагового вектора, тобто як функцію від яку ви хочете мінімізувати. Алгоритм зворотного розповсюдження працює, переглядаючи локальну околицю точки і бачивши, який напрямок призведе до меншої помилки. Це дасть вам місцевий мінімум.
Те, що ви хочете, це глобальний мінімум, але у вас немає гарантованого способу його пошуку. А якщо на вашій поверхні є кілька локальних мінімумів, то ви можете потрапити в біду.
Але якщо його є лише кілька, то стратегія Тьєррі повинна працювати - виконання декількох пошуків локальних мінімумів, починаючи з випадково вибраних точок, повинно збільшити шанси на пошук глобального мінімуму.
І в тому щасливому випадку, в якому є лише один мінімум - будь-який початковий вектор ваги приведе вас до цього.