Я починаю з глибокого навчання, і у мене є питання, відповіді якого я не зміг знайти, можливо, я не шукав належним чином. Я бачив цю відповідь , але все ще не ясно, що таке втрата ваги і як це пов'язано з функцією втрати.
Я починаю з глибокого навчання, і у мене є питання, відповіді якого я не зміг знайти, можливо, я не шукав належним чином. Я бачив цю відповідь , але все ще не ясно, що таке втрата ваги і як це пов'язано з функцією втрати.
Відповіді:
Зниження ваги вказує на регуляризацію в нейронній мережі.
Під час навчання термін регуляризації додається до втрати мережі для обчислення градієнта зворотного розповсюдження. weight decayЗначення визначає , як цей термін домінує регуляризація буде в обчисленні градієнта.
Як правило, чим більше у вас є прикладів для тренувань, тим слабкішим повинен бути цей термін. Чим більше параметрів у вас, тим вище повинен бути цей термін.
Отже, зниження ваги - це термін регуляризації, який карає великі ваги. Коли коефіцієнт зменшення ваги великий, штраф для великих ваг також великий, коли він невеликий, вага може вільно рости.
Отже, якщо ви повернетесь до того, щоб прочитати відповідь, яку ви пов’язали у своєму запитанні, то зараз було б повним сенсом.