Найбільш поширені конволюційні нейронні мережі містять об'єднання шарів для зменшення розмірів вихідних ознак. Чому я не міг досягти того самого, просто збільшивши крок конволюційного шару? Що робить шар об'єднання необхідним?
Найбільш поширені конволюційні нейронні мережі містять об'єднання шарів для зменшення розмірів вихідних ознак. Чому я не міг досягти того самого, просто збільшивши крок конволюційного шару? Що робить шар об'єднання необхідним?
Відповіді:
Ви дійсно можете це зробити, див. Прагнення до простоти: Всесвітня мережа . Об’єднання дає вам певну кількість інваріантності перекладу, яка може бути, а може і не бути корисною. Також об'єднання обчислюється швидше, ніж згортки. Тим не менш, ви завжди можете спробувати замінити об'єднання путівками на крок з кроком і побачити, що працює краще.
Деякі поточні роботи використовують середній пул ( Wide Residual Networks , DenseNets ), інші використовують згортання з кроком ( DelugeNets )
Мабуть, максимальне об'єднання допомагає, оскільки воно витягує найгостріші риси зображення. Отже, з огляду на зображення, найгостріші риси - найкраще зображення нижнього рівня. https://www.quora.com/What-is-the-benefit-of-using-average-pooling-rather-than-max-pooling
Але згідно з лекцією Ендрю Нґ «Deep Learning», максимальне об'єднання працює добре, але ніхто не знає чому. Цитата -> "Але я повинен визнати, я думаю, що головна причина, що люди використовують максимум об'єднань - це те, що це було знайдено в багатьох експериментах, щоб добре працювати, ... Я не знаю, хто повністю знає, чи справді це основоположна причина ".