За пропозицією OP rcpinto я перетворив коментар про те, що я бачив "близько півдесятка статей, які слідкують за роботами Graves et al. Майте на увазі, що це відповідає лише на частину питання, що стосується NTM, а не самого Google DeepMind, плюс я все ще вивчаю мотузки в машинному навчанні, тому частина матеріалів у цих роботах над головою; Мені вдалося схопити більшу частину матеріалу в оригінальному документі Graves et al. {1], але я близький до тестування домашнього коду NTM. Я також принаймні знімав наступні документи за останні кілька місяців; вони не повторюють дослідження NTM суворо науково, але багато їх експериментальних результатів, як правило, підтримують оригінал хоча б дотично:
• У цій роботі щодо варіанту версії NTM-адреси, Gulcehere та ін. не намагайтеся точно копіювати тести Graves та ін., але, як і команда DeepMind, вона демонструє помітно кращі результати для оригінальної NTM та декількох варіантів у порівнянні зі звичайним періодичним LSTM. Вони використовують 10 000 навчальних зразків набору даних Q&A у Facebook, а не N-грамів Graves та ін. оперували у своїх документах, тому це не тиражування в найсуворішому сенсі. Однак їм все-таки вдалося отримати версію оригінального NTM та кілька варіантів роботи, а також зафіксували однакову величину покращення продуктивності. 2
• На відміну від оригінального NTM, це дослідження перевірило версію підсилення навчання, яка не була диференційованою; тому, можливо, вони не змогли вирішити декілька програм, таких як програмування, як Repeat-Copy, якщо тільки контролер не обмежився рухом вперед. Проте їх результати були досить хорошими, щоб надати підтримку ідеї NTM. Очевидно, доступна більш нова редакція їх статті, яку я ще не повинен прочитати, тому, можливо, деякі проблеми їх варіанту були вирішені. 3
• Замість того, щоб перевірити оригінальний аромат NTM на звичайних нейронних мережах, таких як LSTM, цей документ націлив його на кілька більш досконалих структур пам'яті NTM. Вони отримали хороші результати в однотипних завданнях, подібних до програмування, що Graves та ін. протестовано, але я не думаю, що вони використовували один і той же набір даних (важко сказати з того, як записано їх дослідження, лише над якими наборами даних вони працювали). 4
• На с. 8 цього дослідження , NTM чітко перевершує декілька схем LSTM, прямої та найближчої сусіди на наборі даних розпізнавання символів Omniglot. Альтернативний підхід до зовнішньої пам’яті, підготовлений авторами, явно перемагає її, але все одно, очевидно, працює добре. Здається, автори належать до суперницької команди в Google, тому це може бути проблемою при оцінці копійності. 5
• На с. 2 ці автори повідомили про кращу генералізацію "дуже великих послідовностей" у тесті копіювання завдань, використовуючи значно меншу мережу NTM, вони розвивалися за допомогою генетичного алгоритму NEAT, який динамічно зростає топологіями. 6
NTM є досить новими, тому не було багато часу, щоб суворо повторити оригінальне дослідження, я думаю. Жменька паперів, які я ліпила протягом літа, однак, здається, надає підтримку їх експериментальним результатам; Я ще не бачив жодного звіту, окрім відмінних показників. Звичайно, у мене є ухил щодо доступності, оскільки я читаю лише файли файлів, які я легко міг знайти в недбалому пошуку в Інтернеті. З цього невеликого зразка виходить, що більшість подальших досліджень було зосереджено на розширенні концепції, а не на реплікації, що пояснювало б відсутність даних про копіюваність. Я сподіваюся, що це допомагає.
1 Могили, Олексій; Уейн, Грег і Даніелька, Іво, 2014 р., "Нейронні твердінні машини", опубліковані 10 грудня 2014 року.
2 Гульчере, Каглар; Чандар, Сарат; Choy, Kyunghyun and Bengio, Yoshua, 2016, "Динамічна машина нейронного тюрінгу із схемами м'якої та жорсткої адреси", опублікована 30 червня 2016 року.
3 Заремба, Войцех і Суцкевер, Ілля, 2015 р., "Підсилюючі навчальні нейронні твердінні машини", опубліковані 4 травня 2015 року.
4 Чжан; Вей; Ю, Ян і Чжоу, Боуен, 2015, "Структурована пам'ять для нейронних машин твердіння", опублікована 25 жовтня 2015 року.
5 Санторо, Адам; Бартунов, Сергій; Ботвінік, Метью; Wierstra, Daan and Lillicrap, Тимофій, 2016, "Однонаукове навчання за допомогою нейронних мереж, що посилюються пам'яттю", опубліковано 19 травня 2016 року.
6 Boll Greve, Rasmus; Якобсен, Еміль Юуль та Себастьян Різі, невідома дата, "Еволюціонуючі нейромашини Тюрінга". Жоден видавець не вказаний
Усі, крім (можливо) Boll Greve та ін. були опубліковані в Бібліотеці Корнелської університету arXiv.org - сховищі arXiv.org: Ітака, Нью-Йорк.