Значення нейронної мережі як чорного поля?

19

Я часто чую, як люди говорять про нейронні мережі як про щось як про чорну скриньку, яку ви не розумієте, що це робить або що вони означають. Я насправді не можу зрозуміти, що вони розуміють під цим! Якщо ви розумієте, як працює зворотне розповсюдження, то як це чорна скринька?

Чи означають вони, що ми не розуміємо, як розраховувались ваги чи що?

machine-learning neural-networks

— Джек Твен
джерело

1

Можливо, це допоможе: colah.github.io/posts/2014-03-NN-Manifolds-Topology Ця стаття намагається розкрити основний механізм нейронних мереж з топологічної точки зору, вона пропонує багато блискучих розумінь для пояснення ефективності роботи нейронні мережі.

— Сол

Мені подобається додати Джеку, коли ми дивимось на MLP з точки зору машинного навчання, нейронні мережі вже не є чорною скринькою. За допомогою простої сигмоїдної функції ми зможемо інтерпретувати відношення введення та виведення за допомогою рівняння.

37

Нейронна мережа - це чорна скринька, в тому сенсі, що, хоча вона може наближати будь-яку функцію, вивчення її структури не дасть вам ніякого розуміння щодо наближення структури функції.

Наприклад, одне поширене використання нейронних мереж у банківському бізнесі - класифікація позичальників на «хороших платників» та «поганих платників». У вас є матриця вхідних характеристик (стать, вік, дохід тощо) та вектор результатів ("дефолт", "не дефолт" тощо). Коли ви моделюєте це за допомогою нейронної мережі, ви припускаєте, що існує функція у відповідному розумінні математичної функції. Ця функція f може бути довільно складною і може змінюватися відповідно до еволюції бізнесу, тому ви не можете отримати її вручну. $C$ $R$ $f(C)=R$

$f$

Проблема чорного поля: Наближення, надане нейронною мережею, не дасть тобі уявлення про форму f. Немає простого зв’язку між вагами та наближеною функцією. Навіть аналіз того, яка вхідна характеристика не має значення, є відкритою проблемою (див. Це посилання ).

Крім того, з точки зору традиційної статистики, нейронна мережа є не ідентифікованою моделлю: Враховуючи набір даних та топологію мережі, може бути дві нейронні мережі з різною вагою та однаковим результатом. Це робить аналіз дуже важким.

Як приклад "не чорних моделей коробки" або "інтерпретаційних моделей", ви маєте рівняння регресії та дерева рішень. Перший дає наближення закритої форми до f, де важливість кожного елемента явна, другий - графічний опис деяких відносних співвідношень ризиків / шансів.

— Лукас Галліндо
джерело

Оскільки це стара відповідь, деяким може бути корисно надати кілька нових розроблених інструментів: "Наближення, надане нейронною мережею, не дасть вам уявлення про форму f" - я б сказав, що SHAP зараз робить чудова робота з пояснення моделі, навіть для нейронних мереж. "Навіть аналіз того, чия вхідна характеристика не має значення, є відкритою проблемою" - такі способи, як важливість перестановки, як і SHAP, зараз досить добре вирішують цю проблему.

— Бобсон Дугнутт

3

Google опублікував Inception-v3 . Це нейронна мережа (NN) для алгоритму класифікації зображень (розповідання кота від собаки).

У роботі вони говорять про сучасний стан класифікації зображень

Наприклад, GoogleNet використовував лише 5 мільйонів параметрів, що представляло собою зменшення в 12 разів по відношенню до свого попередника AlexNet, який використовував 60 мільйонів параметрів. Крім того, VGGNet використовував приблизно в 3 рази більше параметрів, ніж AlexNet

і саме тому ми називаємо NN для чорних коробок. Якщо я треную модель класифікації зображень - з 10 мільйонами параметрів - і передаю її вам. Що ти можеш з цим зробити?

Ви, звичайно, можете запустити його та класифікувати зображення. Це буде чудово працювати! Але ви не можете відповісти на жодне з наведених питань, вивчаючи всі ваги, ухили та структуру мережі.

Чи може ця мережа розповісти хаскі від пуделя?
Які об’єкти легко класифікувати за алгоритмом, які важко?
Яка частина собаки є найбільш важливою для вміння правильно її класифікувати? Хвіст чи стопа?
Якщо я фотографую голову кота на собаці, що відбувається і чому?

Ви можете відповісти на питання, просто запустивши NN і побачивши результат (чорний ящик), але у вас немає жодної зміни розуміння того, чому він поводиться так, як це робить у кращих випадках.

— боттигер
джерело

Думаю, щонайменше одне із запитань ("Яка частина собаки є найважливішою для вміння її правильно класифікувати? Хвіст чи стопа?") Цілком відповідає, якщо подивитися статтю та відео Метта Зейлера про деконвулютонітал мереж

— Алекс