Чи мають нейронні мережі пояснення, як це роблять дерева рішень?

13

У Деревах рішень ми можемо зрозуміти вихідну структуру дерева, а також можемо уявити, як Дерево рішень приймає рішення. Тому дерева рішень мають пояснення (їх вихід можна пояснити легко.)

Чи є у нас пояснення в нейронних мережах, як у деревах рішень?

neural-network

— нави
джерело

1

Останніми модельно-агностичними рамками є модель LIME .

— Емре

У галузі розпізнавання / класифікації об'єктів за допомогою нейронних мереж теплові карти популярні для візуалізації / пояснення такого рішення, як, наприклад, в heatmapping.org . Навчальні посібники та інтерактивні демонстрації доступні.

— Ніколас Рібле

9

Я не згоден з попередньою відповіддю та з вашою пропозицією з двох причин:

1) Дерева рішень ґрунтуються на простих логічних рішеннях, які в поєднанні разом можуть приймати більш складні рішення. Але якщо ваш вхід має 1000 розмірів, а засвоєні функції дуже нелінійні, ви отримуєте дійсно велике і важке дерево рішень, яке ви не зможете прочитати / зрозуміти, просто подивившись на вузли.

2) Нейронні мережі подібні до того, що сенс, що функція, яку вони вивчають, зрозуміла лише в тому випадку, якщо їх дуже мало. Коли ви стаєте великими, вам потрібні інші хитрощі, щоб зрозуміти їх. Як запропонував @SmallChess, ви можете прочитати цю статтю під назвою « Візуалізація та розуміння конволюційних мереж», в якій пояснюється конкретний випадок згорткових нейронних мереж, як ви можете читати ваги, щоб зрозуміти такі речі, як «виявлено автомобіль на цій фотографії, головним чином через колеса, а не інші компоненти ".

Ці візуалізації допомогли багатьом дослідникам реально зрозуміти слабкі сторони їх нервової архітектури та допомогли вдосконалити алгоритми навчання.

— Робін
джерело

:-) Мені було важко зрозуміти папір, ніж сама глибока згорткова мережа. Це дуже математичний папір.

— HelloWorld

1

Вибачте, я цитував неправильну статтю :-) Я просто змінив її, ця є більш графічною, ідея змінити конверт не дуже складна, якщо ви знаєте, як працюють конвнети. Таким же чином, глибока мрія Google використовує поширення назад для проектування певного результату у вхідному просторі.

— Робін

Є відео, де Метт Зейлер розширює багато таких ідей, які називаються мережами Deconconvolution

— Алекс

7

Ні. Нейронну мережу взагалі важко зрозуміти. Ви торгуєте прогностичною силою для складності моделі. Незважаючи на те, що можна графічно візуалізувати ваги NN, вони не точно розказують, як приймається рішення. Удачі, намагаючись зрозуміти глибоку мережу.

Існує популярний пакет Python (і на ньому є папір), який може моделювати мережу NN за допомогою більш простої моделі. Ви можете поглянути.

https://github.com/marcotcr/lime

— Привіт Світ
джерело

1

ха-ха. Я знаю, що це таке. обійми : D

— Світанок33

0

https://arxiv.org/abs/1704.02685 надайте спеціальний локальний інструмент пояснення NN: глибокий підйом. Він працює, поширюючи різницю в активації між екземпляром, який ви хочете пояснити, і посиланням на екземпляр. Отримати довідник трохи складно, але інструмент, здається, інтерпретується та загалом масштабується. Ми використовуємо його на табличних даних.

— lcrmorin
джерело