Чому автоенкодери для зменшення розмірів симетричні?

Я не є експертом з автокодерів чи нейронних мереж будь-якими способами, тому вибачте мене, якщо це дурне питання.

З метою зменшення розмірів або візуалізації кластерів у даних високих розмірів, ми можемо використовувати автокодер для створення (втраченого) 2-мірного подання, перевіряючи вихід мережевого шару з 2-ма вузлами. Наприклад, за допомогою наступної архітектури ми перевіримо вихід третього шару

$[X] \rightarrow N_1=100 \rightarrow N_2=25 \rightarrow (N_3=2) \rightarrow N_4=25 \rightarrow N_5=100 \rightarrow [X]$

де - вхідні дані, а N l - кількість вузлів у l- му шарі.$X$$N_l$$l$

Тепер моє питання: чому ми хочемо симетричну архітектуру? Чи не означає, що дзеркало глибинної фази стиснення означає, що ми можемо мати аналогічно складну фазу «декомпресії», що призводить до виходу 2 вузла, який не змушений бути дуже інтуїтивним? Іншими словами, чи не матиме простіша фаза декодування, що призведе до виходу шару з двома вузлами, що обов'язково буде також простішим?

Думаю, що чим менш складна фаза декомпресії, тим простішим (більш лінійним?) Має бути 2D-представлення. Більш складна фаза декомпресії дозволила б більш складне 2D-представлення.

Немає конкретних обмежень щодо симетрії автокодера.

На початку люди прагнули максимально застосовувати таку симетрію: не тільки шари були симетричними, але й ваги шарів у кодері та декодері, де вони ділилися . Це не є вимогою, але це дозволяє використовувати певні функції втрат (тобто відповідність балів RBM) і може діяти як регуляризація , оскільки ви ефективно зменшуєте вдвічі кількість параметрів для оптимізації. Однак сьогодні я думаю, що ніхто не нав'язує розподіл ваги кодер-декодер.

Щодо архітектурної симетрії прийнято знаходити однакову кількість шарів, однаковий тип шарів та однакові розміри шарів у кодері та декодері, але в цьому немає необхідності .

Наприклад, у конволюційних автокодерах раніше було дуже часто знаходити згорткові шари в кодері та деконволюційні шари в декодері, але зараз ти зазвичай бачиш, що шари в дешифраторі є надзвичайними, оскільки у них менше проблем з артефактами.

Ваше запитання, безумовно, стоїть на місці, проте я виявив, що будь-яке запитання у форматі "чи слід робити X чи Y у глибокому навчанні?" має лише одну відповідь.

Спробуйте їх обидва

Глибоке навчання - це дуже емпіричне поле, і якщо для вашого домену працює несиметричний автоматичний кодер, тоді використовуйте його (та опублікуйте документ)

Я зробив декілька обширних експериментів для вирішення заданого питання. Мої експерименти показали, що шлях кодування (ліва нога NN) повинен мати менше, але ширші шари. Зазвичай я беру половину такої кількості шарів, але подвійну кількість вузлів для кодування шляху. Я не маю пояснення цьому, просто ця конфігурація часто призводила до більш швидкого зближення.