Вплив НЕ зміни ваги фільтрів CNN під час заднього ходу

Який ефект НЕ змінює ваги фільтрів CNN під час зворотного розповсюдження? Я змінив лише повністю пов'язані ваги шару під час тренування на наборі даних MNIST і все-таки досяг майже 99-відсоткової точності.

machine-learning cnn mnist

— Абхісек Даш
джерело

Цікаво, ви починали з випадкових ваг або використовували ваги з якоїсь попередньої мережі? Також ваш показник точності з навчального набору чи з тестового набору?

— Ніл Слейтер

@Neil Slater: Я почав із випадкових гауссових ваг. Міра точності знаходиться на тестовому наборі.

— Абхісек Даш

@Neil Slater: Точність майже залишається однаковою навіть при різних ініціалізаціях фільтрів. Я використав 2 шари згортки та максимуму пулу та шар ФК із 256 прихованими нейронами

— Abhisek Dash

Не змінюючи ваги згорткових шарів CNN, ви по суті подаєте класифікатору (повністю пов'язаний шар) випадкові ознаки (тобто не оптимальні функції для класифікаційного завдання, що знаходиться в руці).

MNIST - це досить легке завдання класифікації зображень, що ви можете майже подати вхідні пікселі до класифікатора без будь-якого вилучення функцій, і він все ще набере рейтинг у високих 90-х. Крім того, можливо, шари об'єднання трохи допомагають ...

Спробуйте тренувати MLP (без шарів conv / pool) на вхідному зображенні та подивіться, як він займає рейтинг. Ось приклад, коли MLP (1 прихований та 1 вихідний шар) досяг 98 +% без будь-якої попередньої обробки / вилучення функції.

Редагувати:

Я також хотів би вказати на іншу відповідь, яку я написав, яка детальніше розглядає питання про те, чому MNIST такий простий, як завдання класифікації зображень.

— Джиб2011
джерело