Які відмінності між фільтрами, засвоєними в автоенкодері та конволюційній нейронній мережі?

У CNN ми вивчимо фільтри для створення карти функцій у згортковому шарі.

В Autoencoder окрему приховану одиницю кожного шару можна розглядати як фільтр.

Яка різниця між фільтрами, вивченими у цих двох мережах?

У разі використання фільтрів CNN застосовуються до невеликих патчів зображення у кожному можливому місці (що також робить їх перекладними інваріантними).

Приховані шари Autoencoder отримують ціле зображення (вихід попереднього шару) як їх вхід, що не виглядає гарною ідеєю для зображень: зазвичай співвідносяться лише просторово локальні функції, тоді як більш віддалені - менш корельовані. Також ці приховані нейрони не є інваріантними для перекладу.

Таким чином, CNN - це як звичайні ANN з особливим видом регуляризації, який нулює більшість ваг для використання місцевості.