Нейрові архітектури: автоматизований дизайн даних

Нещодавній прогрес нейронних мереж узагальнений послідовністю нових архітектур, що характеризуються головним чином зростаючою складністю дизайну. Від LeNet5 (1994) до AlexNet (2012), до Overfeat (2013) та GoogleLeNet / Inception (2014) тощо ...

Чи є спроба дозволити машині вирішувати / проектувати, яку архітектуру використовувати, залежно від даних?

Ви також можете переглянути літературу про нейро-еволюцію . Приклади:

• Заремба, Войцех. Ілля Суцкевер. Рафал Йозефович " Емпіричне дослідження періодичних мережевих архітектур ". (2015): використовував еволюційні обчислення для пошуку оптимальних структур RNN.
• Франк Дернонкур. " Медіальна ретикулярна формація: нейронний субстрат для вибору дії? Оцінка за допомогою еволюційних обчислень. " Магістерська робота. École Normale Supérieure Ulm. 2011 рік.
• Байєр, Юстін, Даан Вірстра, Джуліан Тогеліус та Юрген Шмідхубер. " Еволюціонуючі структури клітин пам'яті для навчання послідовності ". Міжнародна конференція з штучних нейронних мереж, стор. 755-764. Springer Berlin Heidelberg, 2009 р.: Використовував еволюційні обчислення для пошуку оптимальних RNN-структур.

Підсилення навчання:

• Фам, Хье, Мелодія Ю. Гуань, Баррет Зоф, Квок В. Ле, Джефф Дін. "Ефективний пошук нейронної архітектури за допомогою обміну параметрами." arXiv передрук arXiv: 1802.03268 (2018). https://arxiv.org/pdf/1802.03268.pdf
• Зоф, Баррет і Ле, Квок V. Пошук нейронної архітектури з навчанням підкріплення. У ICLR, 2017. https://arxiv.org/abs/1611.01578
• Хосе М Альварес, Матьє Зальцман. Вивчення кількості нейронів у глибоких мережах. NIPS 2016. https://arxiv.org/abs/1611.06321

• Боуен Бейкер, Открист Гупта, Нікхіл Найк, Рамеш Раскар. Проектування архітектур нейронної мережі з використанням армуючого навчання. https://arxiv.org/abs/1611.02167

• Баррет Зоф, Квок В. Ле. Пошук нейронної архітектури з навчальним підкріпленням. https://arxiv.org/abs/1611.01578

Інше:

• Марцін Андріхович, Міша Деніл, Серхіо Гомес, Метью У. Гофман, Девід Пфау, Том Шаул, Брендан Шилінгфорд, Нандо де Фрейтас. Навчання вчитися градієнтному спуску по градієнтному спуску. https://arxiv.org/abs/1606.04474
• Franck Dernoncourt, Ji Young Lee Оптимізація гіперпараметрів нейронної мережі з гауссовими процесами для класифікації актів діалогу , IEEE SLT 2016.
• Кортес, Корінна, Хаві Гонсалво, Віталій Кузнецов, Мегряр Мохрі та Скотт Ян. "AdaNet: Адаптивне структурне навчання штучних нейронних мереж." arXiv передрук arXiv: 1607.01097 (2016). https://arxiv.org/abs/1607.01097 : Підхід, який вивчає як структуру мережі, так і її ваги.

Здається, дослідження рухаються в такому напрямку:

• Міконі, Томас. " Нейронні мережі з диференційованою структурою. ", ArXiv (2016): автор вводить поняття диференційованої структури мережі, щоб включити її в цільову функцію.

AutoML Google є одним із таких прикладів. Він був успішно застосований на наборі даних ImageNet, в результаті чого NASNet , що станом на цей час, перевершив усі інші моделі за точністю. Основний документ тут:

Вивчення архітектури, що передається, для розпізнавання масштабованих зображень - Zoph, et. ін.