Яке походження нейронних мереж автокодера?

14

Я шукав у Google, Wikipedia, Google вченому тощо, але не міг знайти походження Autoencoders. Можливо, це одне з тих концепцій, що розвивалося дуже поступово, і неможливо простежити чітку вихідну точку, але все ж я хотів би знайти якийсь підсумок основних кроків їхнього розвитку.

У розділі про автокодування в книзі Ієна Гудфелло, Йошуа Бенджіо та книги «Поглиблене навчання» Аарона Курвіля йдеться про:

Ідея автокодерів десятиліттями була частиною історичного ландшафту нейронних мереж (LeCun, 1987; Bourlard and Kamp, 1988; Hinton and Zemel, 1994). Традиційно автоенкодери використовували для зменшення розмірності або вивчення функцій.

Ця презентація Паскаля Вінсента говорить:

Позначення використання класичних автокодер було фактично введено набагато раніше (LeCun, 1987; Gallinari et al., 1987), як альтернатива мережам Hopfield (Hopfield, 1982).

Це, мабуть, означає, що до цього існували "класичні автокодери": Лекун і Галлінарі використовували їх, але не вигадували їх. Я не бачу жодних слідів "класичних автокодерів" раніше 1987 року.

Будь-які ідеї?

neural-networks autoencoders history

— MiniQuark
джерело

9

Відповідно до історії, наданої Шмідхубером, " Глибоке навчання в нейронних мережах: огляд ", Нейронні мережі (2015), автокодери були запропоновані як метод непідтримуваної попередньої підготовки в Балларді, "Модульне навчання в нейронних мережах", Матеріали AAAI (1987). Незрозуміло, чи це вперше були використані автокодери; це лише перший раз, коли вони були використані з метою попередньої підготовки ANN .

Оскільки вступ до статті Шмідхубера стає зрозумілим, віднести всі ідеї, які використовуються в ANN, дещо складно, оскільки література різноманітна, а термінологія розвивалася з часом.

— Sycorax каже, що відновіть Моніку
джерело

1

Папір, написана Баллардом, має абсолютно різні термінології, і навіть не існує нюхання концепції Autoencoder в цілому. Можливо, AE не має жодного паперу про походження.

— abunickabhi

2

У статті Шмудхубера підкреслюється, що термінологія змінювалася з часом, і різні люди знову і знову перекривали одні і ті ж теми. Не дивно, що автор не використовує слово "автоматичний кодер"

— Sycorax каже: Відновити Моніку

4

У статті нижче йдеться про автокодер, побічно і датується 1986 р. (Що на рік раніше, ніж газета Балларда в 1987 році)

Д. Р. Румелхарт, Дж. Е. Гінтон та Р. Дж. Уільямс, "Навчання внутрішнім уявленням шляхом поширення помилок" , Паралельно розподілена обробка. Том 1: Основи. MIT Press, Кембридж, Массачусетс, 1986 рік.

У роботі в основному описується новий вид тогочасної мережі підсилення та його математичний формалізм.

— абунікабхі
джерело