Питання та альтернативи підходам до глибокого навчання?

Протягом останніх 50 років зростання / падіння / зростання популярності нейронних сіток виступало як щось «барометр» для досліджень ШІ.

З питань на цьому сайті зрозуміло, що люди зацікавлені у застосуванні глибокого навчання (DL) до найрізноманітніших складних проблем.

Тому у мене є два питання:

1. Практикуючі лікарі - які головні перешкоди на шляху застосування DL «поза скринькою» до вашої проблеми?
2. Дослідники - якими методами ви користуєтесь (або розробили), які можуть допомогти вирішити практичні проблеми? Чи є вони в межах DL чи пропонують альтернативний підхід?

Підводячи підсумок, у застосованому глибокому навчанні є дві основні проблеми.

• Перше, що обчислюється, є вичерпним. Звичайні процесори вимагають багато часу для виконання навіть базових обчислень / тренувань за допомогою Deep Learning. Однак рекомендується використовувати графічні процесори, навіть у багатьох ситуаціях їх може бути недостатньо. Типові моделі глибокого навчання не підтримують теоретичний час перебування в поліномах. Однак якщо ми подивимось на порівняно простіші моделі в ML для одних і тих же завдань, занадто часто ми маємо математичні гарантії, що час навчання, необхідний для таких більш простих алгоритмів, є у поліномах. Це, принаймні, для мене, мабуть, найбільша різниця.

  Однак є рішення, як вирішити цю проблему. Одним із головних підходів є оптимізація алгоритмів DL лише для декількох ітерацій (замість того, щоб переглядати глобальні рішення на практиці, просто оптимізувати алгоритм до хорошого локального рішення, тоді як критерій "Добрий" визначається користувачем).

• Іншим питанням, яке може бути трохи суперечливим для молодих любителів глибокого навчання, є те, що алгоритми глибокого навчання не мають теоретичного розуміння та міркувань. Глибокі нейронні мережі були успішно використані у багатьох ситуаціях, включаючи розпізнавання рукописного тексту, обробку зображень, самостійне керування автомобілями, обробку сигналів, NLP та біомедичний аналіз. У деяких із цих випадків вони навіть перевершили людей. Однак, якщо говорити, вони ні в якому разі не теоретично такі здорові, як більшість статистичних методів.

  Я не буду вникати в деталі, скоріше залишаю це вам. Існують плюси і мінуси кожного алгоритму / методології, і DL не є винятком. Це дуже корисно, як це було доведено у багатьох ситуаціях, і кожен молодий науковець повинен вивчити хоча б основи DL. Однак у випадку відносно простих проблем краще використовувати відомі статистичні методи, оскільки вони мають багато теоретичних результатів / гарантій на їх підтримку. Крім того, з точки зору навчання, завжди краще почати з простих підходів і опанувати їх спочатку.

У мене дуже мало досвіду роботи з ML / DL, щоб називати себе практикуючим, але ось моя відповідь на 1-е питання:

По своїй суті DL добре вирішує завдання класифікації. Не кожну практичну проблему можна перефразувати з точки зору класифікації. Домен класифікації повинен бути відомий заздалегідь. Хоча класифікація може бути застосована до будь-якого типу даних, необхідно навчати NN зразками конкретного домену, де вони будуть застосовані. Якщо домен буде переключено в якийсь момент, зберігаючи ту ж модель (структуру NN), йому доведеться перевчити нові зразки. Крім того, навіть найкращі класифікатори мають "прогалини" - змагальні приклади можна легко побудувати з навчального зразка, таким чином, що зміни не помітні для людини, але неправильно класифікуються за навченою моделлю.

Питання 2. Я досліджую, чи обчислення гіпервимірних розмірів є альтернативою глибокому навчанню. Hyper-D використовує дуже довгі бітові вектори (10 000 біт) для кодування інформації. Вектори випадкові і як такі вони приблизно ортогональні. Групуючи та усереднюючи колекцію таких векторів, може бути сформований "набір" і пізніше запитуватися, щоб побачити, чи належить до набору невідомий вектор. Набір можна вважати поняттям або узагальнювати зображення тощо. Навчання проходить дуже швидко, як і розпізнавання. Що потрібно зробити, це імітувати домени, в яких глибоке навчання було успішним, і порівняти Hyper-D з ним.

З точки зору математики, однією з головних проблем у глибоких мережах з декількома шарами є зникаючі або нестабільні градієнти . Кожен додатковий прихований шар вчиться значно повільніше, майже нівелюючи перевагу додаткового шару.

Сучасні підходи до глибокого навчання можуть покращити таку поведінку, але в простих, старомодних нейронних мережах це добре відома проблема. Ви можете знайти добре письмовий аналіз тут для більш глибокого вивчення.