Мережі Hopfield здатні зберігати вектор і витягувати його, починаючи з галасливої його версії. Вони роблять це, встановлюючи ваги, щоб мінімізувати енергетичну функцію, коли всі нейрони встановлені рівними векторним значенням, і отримують вектор, використовуючи шумну версію його як вхідну і дозволяючи сітці осідати до мінімуму енергії.
Залишаючи осторонь такі проблеми, як той факт, що немає гарантії, що сітка оселиться в найближчому мінімумі і т. Д. - проблеми, врешті-решт вирішені за допомогою машин Boltzmann і, врешті-решт, із зворотним розповсюдженням - прорив був вони відправною точкою для абстрактних уявлень. Дві версії одного і того ж документа нагадували б один і той же стан, вони були б представлені в мережі однаковим станом.
Як писав сам Хопфілд у своїй статті 1982 р. Нейронні мережі та фізичні системи з колективними обчислювальними можливостями
Нинішнє моделювання може бути пов'язане з тим, як сутність або гештальт запам'ятовується або класифікується на основі вхідних даних, що представляють сукупність його ознак.
З іншого боку, проривом глибокого навчання стало вміння будувати кілька, ієрархічні уявлення про вхід, що врешті-решт призводить до полегшення життя практикуючих ШІ, спрощуючи інженерію функцій. (див., наприклад, Представницьке навчання: огляд та нові перспективи , Бенджо, Курвіль, Вінсент).
З концептуальної точки зору, я вважаю, що глибоке навчання можна бачити як узагальнення мереж Хопфілда: від одного єдиного представлення до ієрархії представництва.
Це правда і з обчислювальної / топологічної точки зору? Не враховуючи, наскільки "простими" мережами Хопфілда (2 нейронів стану, непрямої, енергетичної функції), можна бачити кожен шар мережі як мережу Хопфілда, а весь процес як послідовне вилучення раніше запам'ятовуваного гештальт та реорганізацію ці гештальт?