Чому б не просто скинути нейронні мережі та глибоке навчання? [зачинено]

Принципова проблема глибокого навчання та нейронних мереж загалом.

1. Рішення, що відповідають даним навчальних даних, є нескінченними. У нас немає точного математичного рівняння, яке задовольняє лише одне, і яке, можна сказати, найкраще узагальнює. Простіше кажучи, ми не знаємо, що найкраще узагальнює.

2. Оптимізація ваг не є опуклою проблемою, тому ми ніколи не знаємо, чи закінчується глобальний або локальний мінімум.

То чому б не просто скинути нейронні мережі і замість цього шукати кращу модель ML? Щось, що ми розуміємо, і щось, що відповідає набору математичних рівнянь? Лінійний і SVM не мають таких математичних недоліків і повністю відповідають набору математичних рівнянь. Чому б не просто думати про ті ж лінії (не потрібно, щоб вони були лінійними) і придумати нову модель ML краще, ніж Linear і SVM, нейронні мережі та глибоке навчання?

1. Неможливо знати, яке рішення найкраще узагальнює, це проблема, але це не повинно стримувати нас від використання хорошого рішення. Самі люди часто не знають, що найкраще узагальнює (розглянемо, наприклад, змагаються з об'єднуючими теоріями фізики), але це не спричиняє нам занадто багато проблем.

2. Було показано, що вкрай рідко тренування провалюються через місцеві мінімуми. Більшість локальних мінімумів у глибокій нейронній мережі близькі за значенням до світового мінімуму, тому це не є проблемою. джерело

Але більш широка відповідь полягає в тому, що ви можете говорити цілий день про неконвекційність та вибір моделі, і люди все одно будуть використовувати нейронні мережі просто тому, що вони працюють краще, ніж будь-що інше (принаймні, на речі, такі як класифікація зображень).

Звичайно, є також люди, які стверджують, що ми не повинні надто зосереджуватися на CNN, як громада була зосереджена на SVM кілька десятиліть тому, а натомість продовжувати шукати наступну велику річ. Зокрема, я думаю, що я пам’ятаю, що Гінтон шкодував про ефективність CNN, як про щось, що може заважати дослідженням. пов’язаний пост

Як зазначають коментарі до вашого запитання, багато людей працюють над пошуком чогось кращого. Хоча я хотів би відповісти на це питання, розширивши коментар, залишений @josh

Усі моделі неправильні, але деякі корисні (Wiki)

Вищенаведене твердження є загальною істиною, що використовується для опису природи статистичних моделей. Використовуючи доступні нам дані, ми можемо створити моделі, які дозволять нам робити корисні речі, такі як приблизна прогнозована величина.

Візьмемо для прикладу лінійну регресію

Використовуючи ряд спостережень, ми можемо підходити до моделі, щоб дати нам приблизне значення для залежної змінної з урахуванням будь-якого значення для незалежної змінної.

Бернхем, КП; Anderson, DR (2002), вибір моделі та мультимодель> умовивід: практичний інформаційно-теоретичний підхід (2-е видання):

"Модель є спрощенням або наближенням реальності, а отже, не відображатиме всю реальність ... Коробка зазначила, що" всі моделі помиляються, але деякі корисні ". Хоча модель ніколи не може бути" правдою ", модель може бути класифікованим від дуже корисного, корисного, до дещо корисного, нарешті, по суті марного ».

Відхилення від нашої моделі (як видно на зображенні вище) здаються випадковими, деякі спостереження знаходяться нижче лінії, а деякі - вище, але наша регресія показує загальну кореляцію. Хоча відхилення в нашій моделі виглядають випадковими, в реалістичних сценаріях будуть інші фактори, які викликають це відхилення. Наприклад, уявіть, як спостерігають за автомобілями, коли вони їхали через перехрестя, де вони повинні повернути ліворуч або праворуч, щоб продовжувати, автомобілі повертаються без конкретного малюнка. Хоча ми могли б сказати, що напрямок руху автомобілів є абсолютно випадковим, чи кожен водій досягає перехрестя і в цьому місці приймає випадкове рішення, яким шляхом повернути? Насправді вони, ймовірно, прямують кудись із конкретних причин, і не намагаючись зупинити кожен автомобіль, щоб розпитати їх про їх міркування, ми можемо лише описати їх дії як випадкові.

Де ми можемо помістити модель з мінімальним відхиленням, наскільки ми можемо бути впевненими, що невідома, непомічена чи незмірна змінна, яка не буде в якийсь момент, кидає нашу модель? Чи крила метелика крилами в Бразилії відтягує смерч в Техасі?

Проблема з використанням лінійних та SVN моделей, які ви згадуєте лише, полягає в тому, що нам дещо потрібно вручну спостерігати за нашими змінними та як вони впливають один на одного. Потім нам потрібно вирішити, які змінні важливі і написати алгоритм, що відповідає специфічній задачі. Це може бути прямо вперед, якщо у нас є лише кілька змінних, але що робити, якщо нас було тисячі? Що, якби ми хотіли створити узагальнену модель розпізнавання образів, чи могли б реально досягти цього підходу?

Глибоке навчання та штучні нейронні мережі (ANN) можуть допомогти нам створити корисні моделі для величезних наборів даних, що містять величезну кількість змінних (наприклад, бібліотеки зображень). Як ви вже згадували, існує незрозуміла кількість рішень, які могли б відповідати даним за допомогою ANN, але чи справді це число відрізняється від кількості рішень, які нам потрібно буде розробити самостійно шляхом спроб та помилок?

Застосування ANN робить велику роботу для нас, ми можемо вказати наші входи та бажані результати (і змінити їх пізніше для вдосконалення) та залишити це до ANN, щоб розібратися у рішенні. Ось чому ANN часто називають "чорними скриньками" . З даного введення вони виводять наближення, однак (загалом) ці наближення не містять деталей про те, як вони були наближені.

І так це дійсно зводиться до того, яку проблему ви намагаєтеся вирішити, оскільки проблема буде диктувати, який модельний підхід корисніший. Моделі не зовсім точні, тому завжди є елемент «помилки», проте чим точніші ваші результати, тим вони корисніші. Детальніше в результатах того, як було зроблено наближення, також може бути корисним, залежно від проблеми це може бути навіть корисніше, ніж підвищена точність.

Якщо, наприклад, ви підраховуєте кредитну оцінку осіб, використовуючи регресію та SVM, ви можете розрахувати, які можна краще вивчити. Дуже корисно мати можливість безпосередньо налаштувати модель і пояснити клієнтам вплив окремих незалежних змінних на загальний бал. ANN може допомогти в обробці більшої кількості змінних для досягнення більш точного показника, але чи буде ця точність кориснішою?

Глобальний мінімум може бути і марним, тому нам насправді все одно, знайдемо ми його чи ні. Причина в тому, що для глибоких мережне тільки час її знаходження стає експоненціально довшим, оскільки розмір мережі збільшується, але й глобальний мінімум часто відповідає перевищенню навчального набору. Таким чином, постраждає здатність до узагальнення DNN (що саме нас насправді хвилює). Крім того, часто ми віддаємо перевагу більш рівним мінімумам, що відповідають більшому значенню функції втрат, ніж різкішим мінімумам, що відповідає нижчому значенню функції втрат, оскільки другий буде дуже погано справлятися з невизначеністю вхідних даних. Це стає все більш зрозумілим із розвитком байєсівського глибокого навчання. Надійна оптимізація перемагає детерміновану оптимізацію дуже часто, коли застосовується до реальних проблем, де важлива невизначеність.

Нарешті, факт, що DNN просто запускають дупу таких методів, як XGBoost при класифікації зображень та NLP. Компанія, яка повинна отримувати прибуток за допомогою класифікації зображень, правильно вибере їх як моделі для розгортання у виробництві ( і вкладе значну суму грошей на функціональну інженерію, конвеєр даних тощо, але я відхиляюсь). Це не означає, що вони домінують у всьому середовищі ML: наприклад, вони поступаються гірше, ніж XGBoost за структурованими даними (див. Останніх переможців змагань Kaggle), і вони, здається, ще не роблять, а також фільтри частинок для моделювання часових рядів. Однак деякі новітні нововведення на RNN можуть змінити цю ситуацію.

Я думаю, що найкращий спосіб подумати над цим питанням - через конкурентне місце на ринку. Якщо ви кидаєте глибоке навчання, і ваші конкуренти використовують це, І це трапляється, що працює краще, ніж ви використовували, тоді вас поб'ють на ринку.

Я думаю, що це відбувається, почасти, сьогодні, тобто глибоке навчання, здається, працює краще за все для багатьох проблем на ринку. Наприклад, онлайн- перекладачі мови, які використовують глибоке навчання , краще, ніж суто лінгвістичні підходи, які використовувались раніше. Ще кілька років тому цього не було, але прогрес у глибокому навчанні привів тих, хто звик до лідерських позицій на ринку.

Я постійно повторюю "ринок", тому що саме це сприяє поточному сплеску глибокого навчання. Щойно бізнес знайде щось корисне, що щось набуде широкого поширення. Справа не в тому, що ми , комітет, вирішили, що глибоке навчання має бути популярним. Це бізнес та конкуренція.

Друга частина полягає в тому, що крім фактичного успіху ML, є також страх пропустити човен. Багато підприємств параноїкують, що якщо вони пропустять AI, вони зазнають краху як бізнес. Цей страх живиться усіма цими консультаційними будинками, Gartners тощо, шепочуючи керівникам, що вони повинні зробити AI або померти завтра.

Ніхто не змушує підприємств використовувати глибоке навчання. IT та R&D захоплюються новою іграшкою. Академія бадьорить, тому ця вечірка триватиме до тих пір, поки музика не припиниться, тобто до тих пір, поки глибоке навчання не перестане здійснювати. Тим часом можна скинути його і придумати краще рішення.

Є чудові відповіді, в основному зважуючи корисність DL та ANN. Але я хотів би заперечити проти ОП більш фундаментальний спосіб, оскільки питання вже сприймає як належне математичну непослідовність нейронних мереж.

Перш за все, за більшості моделей нейронних мереж стоїть математична теорія. Ви також можете стверджувати, що лінійна регресія не узагальнюється, якщо тільки основна модель не є ... ну, лінійною. У нейронних алгоритмах передбачається модель (навіть якщо не явно) і обчислюється похибка примірки. Той факт, що алгоритми модифіковані різною евристикою, не втрачає початкової математичної підтримки. До речі, локальна оптимізація - це також математично послідовна, не кажучи вже про корисну теорію.

За цією лінією, якщо Нейронні мережі просто складають один клас методів у цілому наборі інструментів, який саме рядок відокремлює Нейронні мережі від решти методик? Насправді, SVM колись вважалися класом NN, і вони все ще фігурують у тих же книгах. З іншого боку, NN можна розглядати як (нелінійну) регресійну техніку, можливо, з деяким спрощенням. Я погоджуюся з ОП, що ми повинні шукати кращі, обґрунтовані, ефективні алгоритми, незалежно від того, ви їх позначаєте як національні мережі чи ні.

Я думаю, що з певної проблеми ми менше піклуємося про математичну суворість та простоту, але більше за її корисність, поточний стан - нейронна мережа, яка краще виконує певні завдання, як розпізнавання шаблонів при обробці зображень.

У цьому питанні багато. Давайте переглянемо те, що ви написали по черзі.

Рішення, що відповідають даним навчальних даних, є нескінченними. У нас немає точного математичного рівняння, яке задовольняє лише одне, і яке, можна сказати, найкраще узагальнює.

Той факт, що існує нескінченна кількість рішень, походить від того, що проблема навчання є невдалою проблемою, тому не може бути жодної, яка найкраще узагальнює. Крім того, жодна теорема безкоштовного обіду, який би метод ми не використовували, не може гарантувати, що він найкращий у всіх навчальних проблемах.

Простіше кажучи, ми не знаємо, що найкраще узагальнює.

Це твердження насправді не відповідає дійсності. Існують теореми про мінімізацію емпіричного ризику за допомогою Вапніка та Червоненкіса, які з'єднують кількість вибірок, розмір VC методу навчання та помилку узагальнення. Зауважте, що це стосується лише даного набору даних. Отже, з урахуванням набору даних та процедури навчання ми знаємо межі узагальнення. Зауважте, що для різних наборів даних немає і не може бути єдиної найкращої процедури навчання через відсутність теореми про безкоштовний обід.

Оптимізація ваг не є опуклою проблемою, тому ми ніколи не знаємо, чи закінчується глобальний або локальний мінімум. То чому б не просто скинути нейронні мережі і замість цього шукати кращу модель ML?

Тут є кілька речей, про які потрібно пам’ятати. Оптимізація невипуклої проблеми не така проста, як опукла; це правда. Однак клас методів навчання, які є опуклими, обмежений (лінійна регресія, SVM), і на практиці вони виконують гірше, ніж клас невипуклих (стимулювання, CNN) з різних проблем. Тож важливою частиною є те, що на практиці нейронні мережі працюють найкраще. Хоча існує ряд дуже важливих елементів, які змушують нейронні мережі добре працювати:

1. Вони можуть застосовуватися на дуже великих наборах даних через стохастичний градієнтний спуск.
2. На відміну від SVM, висновок з глибокими мережами не залежить від набору даних. Це робить нейронні мережі ефективними в час тестування.
3. За допомогою нейронних мереж можна безпосередньо керувати їх здатністю до навчання (придумуйте кількість параметрів), просто додаючи більше шарів або збільшуючи їх. Це дуже важливо, оскільки для різних наборів даних вам можуть знадобитися більші чи менші моделі.

Щось, що ми розуміємо, і щось, що відповідає набору математичних рівнянь? Лінійний і SVM не мають таких математичних недоліків і повністю відповідають набору математичних рівнянь. Чому б не просто думати про ті ж лінії (не потрібно, щоб вони були лінійними) і придумати нову модель ML краще, ніж Linear і SVM, нейронні мережі та глибоке навчання?

Скидання речей, які працюють через нерозуміння їх, не є великим напрямком досліджень. Докладати зусиль для їх розуміння - це, з іншого боку, великий напрямок досліджень. Також я не погоджуюся з тим, що нейронні мережі суперечать математичним рівнянням. Вони цілком послідовні. Ми знаємо, як оптимізувати їх та виконувати умовиводи.

Як щодо перегляду нейронних мереж з експериментальної точки зору? Тільки тому, що ми їх створили, не означає, що нас зобов’язують зрозуміти їх інтуїтивно. Або що нам не дозволяють грати з ними, щоб краще зрозуміти, що вони роблять.

Ось декілька думок, які я маю щодо них:

• Структура: вони є ієрархії. Вони схожі на дерева, які діляться вхідними даними. Коріння - це вхідні дані, а листя - вихідний шар. Чим ближче шар до виходів, тим релевантніший він для них, тим більший рівень абстракції, який він містить (це більше про зображення, ніж про пікселі).
• Функціональність: вони "грають" з даними, модус операнді полягає в експерименті з відносинами в нейронах (вагах), поки речі не "натиснуть" (межа помилки прийнятна).

Це відповідає тому, як ми думаємо. Це навіть відповідає тому, як діє науковий метод. Отже, розбиваючи нейронні мережі, ми можемо також вирішувати загальне питання про те, що являє собою знання.

Не забувайте, існує велика область досліджень, що використовують ЛМ, ГЛМ, багаторівневе моделювання. Останнім часом байєсівські методи та гамільтоніанський Монте-Карло (спільнота STAN справді передує цьому) набули повноліття і низка проблем, які STAN вирішує дуже легко, і їм не потрібні ні сітки, ні глибокі мережі. Дослідження соціальних наук, мікроекономіка - це два (великі) приклади таких напрямків, які швидко сприймають Стен.

Моделі Стен дуже «читабельні». Коефіцієнти насправді мають задню розподільну інтерпретацію, і це роблять прогнози. Пріорі є частиною процесу генерування даних і не потрібно поєднувати їх, щоб бути ефективними (як, наприклад, гібби). Встановлення моделі в квартирі - це захоплення, воно насправді налаштовує дотепні параметри MCMC автоматично досить гарно, і попереджає вас, коли розвідка застряє з дуже приємними візуалізаціями.

Якщо ви ще не пробували це вже побачити дивовижні демки STAN тут ).

Зрештою, я думаю, що люди не так багато говорять про цей матеріал, оскільки дослідження в цій галузі та проблеми не настільки "сексуальні" / "круті", як у НН.

Що зазвичай відбувається, коли немає математичної послідовності (як мінімум у цьому випадку нейронних мереж) ... коли це не дає результатів за бажанням, на тестовому наборі ваш начальник повернеться і скаже ... Ей, чому б ти не спробуйте відкиньтеся (який вага, який шар, скільки головного болю, оскільки математичного способу не визначити), тож після того, як ви спробуєте і, сподіваємось, отримаєте незначне поліпшення, але не бажане, ваш начальник повернеться і скаже, чому не спробувати зменшення ваги (який фактор?)? і пізніше, чому ви не спробуйте ReLU чи якусь іншу активацію на деяких шарах, і все одно ні, чому б не спробувати "максимум об'єднання"? все ще ні, чому б не спробувати нормалізацію партії, все ще ні, або принаймні конвергенцію, але не бажаний результат. просто змінити архітектуру мережі? і повторіть все вище в різних комбінаціях! Тримайте це в циклі, поки вам це не вдасться!

З іншого боку, коли ви намагаєтеся послідовно SVM, після конвергенції, якщо результат не хороший, тоді добре, лінійне ядро, яке ми використовуємо, недостатньо добре, оскільки дані можуть бути не лінійними, використовуйте ядро ​​іншої форми, спробуйте ядро іншої форми, якщо у вас є якісь передумки, якщо їх все ще немає, просто залиште його, це обмеження SVM.

Що я кажу: нейронні мережі настільки непослідовні, що це навіть не помиляється! Він ніколи не приймає своєї поразки! Інженер / дизайнер бере на себе тягар, якщо він не працює, як бажано.