Чи нейронні мережі використовують ефективне кодування?

Моє запитання стосується взаємозв'язку між гіпотезою ефективного кодування, яка викладена на сторінці Вікіпедії щодо ефективних алгоритмів навчання кодування та нейронної мережі.

Який взаємозв'язок між гіпотезою ефективного кодування та нейронними мережами?

Чи існують моделі нейронної мережі, явно натхненні гіпотезою ефективного кодування?

Або було б справедливіше сказати, що всі алгоритми навчання нейронної мережі принаймні неявно засновані на ефективному кодуванні?

neural-networks information-theory

— Майк NZ
джерело

Можливо, розріджені автокодери - це те, за чим ви хочете? (Якщо ваш інтерес менш технічний і ширший / філософський, пропозиція користувача kenorb може бути доречною.)

— GeoMatt22

Цікаве запитання. Я здогадуюсь, що NN ніде не є тим, що ми можемо вважати «ефективними». Я думаю, що широко використовувані методи, такі як Dropout, насправді прагнуть знизити ефективність кодування.

— kbrose

Інша довідка: Гіпотеза про лотерейний білет, arxiv.org/abs/1803.03635, у статті йдеться про пошук працездатних підмереж, але я думаю, що можливе з'єднання з ефективним кодуванням

— kbrose

Я не є експертом з теорії інформації, але не вірю, що між ефективним кодуванням того, що роблять NN, є якийсь зв’язок, і мені невідомі будь-які історичні чи сучасні спроби включити ефективне кодування. Однак може бути правдою, що НН ефективно кодують сигнали: arxiv.org/abs/1503.02406

— shadowtalker

Мені не вистачає (поки що), щоб відповісти на це, але мені здається, це стосується питання про те, чи справді НН справді запам'ятовують, а не навчаються.

— Білл Кларк

Я вважаю, що можна стверджувати, що зв’язок був зроблений. Я прошу вибачення за те, що не опублікував своє джерело, оскільки не зміг його знайти, але це було зі старого слайда, який представив Гінтон. У ній він стверджував, що одним із фундаментальних способів мислення для тих, хто займається машинним навчанням (оскільки презентація передувала загальному використанню слова глибоке навчання) полягає в тому, що існує оптимальна трансформація даних, завдяки якій дані можуть бути легко навчився. Я вважаю, що для нейронних мереж "оптимальна трансформація" даних, хоча і підтримується, є ефективною гіпотезою кодування в дії. Точно так само, як даючи належне ядро, багато просторів можна легко класифікувати за допомогою лінійних моделей, вивчаючи правильний спосіб перетворення та зберігання даних, аналогічних тому, яким і яким чином нейрони повинні бути влаштовані для представлення даних.

— Анонімний Ему
джерело