Останнім часом я вивчаю автокодери. Якщо я правильно зрозумів, автокодер - це нейронна мережа, де вхідний шар ідентичний вихідному шару. Отже, нейронна мережа намагається передбачити вихід, використовуючи вхід як золотий стандарт.
У чому корисність цієї моделі? Які переваги намагаються відновити деякі вихідні елементи, зробивши їх максимально рівними вхідним елементам? Чому треба використовувати всю цю техніку, щоб дістатися до тієї ж відправної точки?
Відповіді:
Автоматичні кодери мають вхідний шар, прихований шар та вихідний шар. Вхід змушений бути таким же ідентичним виводу, тому його прихований шар нас цікавить.
Прихований шар утворює своєрідне кодування вводу. "Метою автоматичного кодера є вивчення стислого, розподіленого подання (кодування) для набору даних." Якщо вхід - 100 мірний вектор, і у вас є 60 нейронів у прихованому шарі, то алгоритм автоматичного кодування буде повторювати вхід у вигляді 100-мірного вектора у вихідному шарі, в процесі надання вам 60-мірного вектора, який кодує ваш вхід .
Тому метою автоматичних кодерів є зменшення розмірності , серед багатьох інших.
Він також може моделювати свою сукупність, щоб при введенні нового вектора ви могли перевірити, наскільки різний вихід із вхідних даних. Якщо вони "зовсім" однакові, можна припустити, що вхід відповідає населенню. Якщо вони "зовсім" інші, то, ймовірно, вхід не належить населенню, яке ви моделювали.
Я розглядаю це як своєрідну "регресію нейронних мереж", де ви намагаєтеся мати функцію, що описує ваші дані: її вихід такий же, як і вхідний.
Можливо, ці малюнки дають вам інтуїцію. Як зазначає вище зазначений авто кодер, намагається витягнути деякі функції високого рівня з навчальних прикладів. Ви можете побачити, як алгоритм прогнозування використовується для тренування кожного прихованого рівня окремо для глибокого NN на другій картині.
Фотографії взяті з російської вікіпедії.