Чи є домен, де Bayesian Networks перевершує нейронні мережі?

Нейронні мережі отримують найкращі результати у завданнях Computer Vision (див. MNIST , ILSVRC , Kaggle Galaxy Challenge ). Вони, схоже, перевершують будь-який інший підхід у програмі Computer Vision. Але є й інші завдання:

• Виклик виклику молекулярної активності
• Регресія: прогноз дощів Kaggle , також 2-е місце
• Захоплення та підйом 2-го також третє місце - Визначте рухи рук із записів ЕЕГ

Я не надто впевнений у ASR (автоматичному розпізнаванні мови) та машинному перекладі, але думаю, що також чув, що (періодичні) нейронні мережі (починають) перевершують інші підходи.

В даний час я дізнаюся про Bayesian Networks і мені цікаво, в яких випадках ці моделі зазвичай застосовуються. Отже, моє питання:

Чи є виклик / (Kaggle) конкуренція, де найсучаснішими є Bayesian Networks або, принаймні, дуже схожі моделі?

(Бічна примітка: я також бачив дерева рішень , 2 , 3 , 4 , 5 , 6 , 7 перемоги в кількох останніх викликах Kaggle)

Однією з областей, де часто застосовуються байєсівські підходи, є те, де потрібна інтерпретація системи прогнозування. Ви не хочете давати лікарям нейронну сітку і говорити, що це 95% точність. Ви швидше хочете пояснити припущення, які робить ваш метод, а також процес прийняття рішення, який використовує метод.

Подібна область є, коли у вас є сильні попередні знання про домен і хочете використовувати їх у системі.

Байєсові мережі та нейронні мережі не виключають одна одну. Насправді, байєсівські мережі - лише черговий термін для "спрямованої графічної моделі". Вони можуть бути дуже корисними при проектуванні об'єктивних функцій нейронних мереж. Yann Lecun зазначив це тут: https://plus.google.com/+YannLeCunPhD/posts/gWE7Jca3Zoq .

Один приклад.

Варіаційний авто кодер і похідні спрямовані на графічні моделі виглядуНейронні мережі використовуються для реалізованого та наближення до його зворотного: .p ( x | z ) q ( z | x ) ≈ p ( z | x

Відмінні відповіді вже.

Один домен, над яким я можу придумати, і над якою активно працює, - це домен аналітики клієнтів .

Я повинен розуміти та передбачати кроки та мотиви клієнтів, щоб інформувати та попереджати як службу підтримки, маркетинг, так і команди зростання.

Отже, нейронні мережі роблять дійсно гарну роботу в прогнозуванні тріщин тощо. Але я знайшов і віддаю перевагу стилю байєсівських мереж, і ось причини, які віддають перевагу цьому:

1. Клієнти завжди мають шаблон. У них завжди є причина діяти. І це буде причиною того, що для них зробила моя команда, або вони самі навчилися. Отже, тут все є пріоритетним, і насправді ця причина дуже важлива, оскільки вона підживлює більшість рішень, прийнятих замовником.
2. Кожен крок замовника та колективів, що ростуть, у маркетинговій / збутовій воронці є причиною. Отже, попередні знання є життєво важливими, коли мова йде про перетворення потенційного потенціалу на клієнта.

Отже, концепція пріоритету є дуже важливою, коли мова йде про аналітику клієнтів, що робить концепцію мереж Байєсів дуже важливою для цього домену.

Пропоноване навчання:

Байєсові методи нейронних мереж

Байєсські мережі в бізнес-аналітиці

Іноді ви хвилюєтесь так само, як змінити результат, як і передбачити результат.

Нейронна мережа, що отримала достатньо даних про навчання, як правило, прогнозує результат краще, але як тільки ви зможете спрогнозувати результат, ви, можливо, захочете передбачити ефект зміни змін вхідних функцій на результат.

Приклад з реального життя, знаючи, що хтось, ймовірно, має серцевий напад, є корисним, але вміння сказати людині, що якщо вони перестануть робити XX, ризик зменшиться на 30%, це набагато корисніше.

Так само для утримання клієнтів, знаючи, чому клієнти припиняють покупки з вами, варто стільки ж, скільки передбачити клієнтів, які, ймовірно, припинять покупки з вами.

Також простіша байєсівська мережа, яка прогнозує менш добре, але призводить до того, що будуть вживатися більше заходів, часто може бути кращою, ніж "правильніша" байєсівська мережа.

Найбільша перевага байєсівських мереж перед нейронними мережами полягає в тому, що їх можна використовувати для причинного висновку. Ця галузь має принципове значення для статистики та машинного навчання. Іудея Перл здобула нагороду Тьюрінга за це дослідження.

Мережі Байєса можуть перевершити Нейронні мережі при невеликих налаштуваннях даних. Якщо попередньою інформацією належним чином керуватиме мережа, пріори та інші гіперпараметри, це може мати перевагу над нейронними мережами. Нейронні мережі, особливо ті, що мають більше шарів, дуже добре відомі, що є голодними. Майже за визначенням багато даних необхідні, щоб їх правильно навчати.

Я опублікував це посилання на Reddit і отримав багато відгуків. Деякі опублікували свої відповіді тут, інші - ні. Ця відповідь повинна підсумувати публікацію reddit. (Я зробив це вікі спільноти, так що я не отримую балів за нього)

• Автокодування коду Варіаційного Байєса - це комбінація мережі Байєса та нейронної мережі. Паперові Байєсові конволюційні нейронні мережі з приблизним варіаційним варіантом Бернуллі, схоже, йдуть у тому ж напрямку.
• Випадання: простий спосіб запобігти нейронним мережам від переоснащення - це приклад, коли байєсівські нейронні мережі перевершують свій підхід до відмови (див. Розділ 6.4 "Порівняння з байєсівською нейронною мережею")
• Навчання концепції людського рівня за допомогою імовірнісної індукції програми - це стаття "про байєсівську мережу, яка робить класичну класифікацію таким чином, що перевершує нейронні мережі" (згідно trashacount12345 - я цього ще не перевіряв).
• Ян Лекун написав публікацію в Google+, в якій він стверджує, що нейронні мережі та графічні моделі ймовірнісних процесів не є ортогональними поняттями.

Для інтерпретації геному переважні байєсові мережі. Див., Наприклад, цю дисертацію, в якій обговорюються обчислювальні методи інтерпретації геному.

Я зробив невеликий приклад для цього одного разу. З цього приводу я думаю, що Bayesian Networks віддають перевагу, якщо ви хочете захопити дистрибутив, але ваш навчальний набір для введення не покриває розподіл добре. У таких випадках навіть нейронна мережа, яка добре узагальнена, не змогла б відновити розподіл.

Я категорично не згоден, що нейронні мережі роблять добре, ніж інші учні. Насправді нейронні мережі роблять досить погано порівняно з іншими методами. Немає також методології, незважаючи на деякі поради щодо вибору параметрів, які робиться дуже часто випадково. Є також такі чуваки, які на форумах розмовляють випадково про те, наскільки нейронні сітки такі хороші, не тому, що вони мають певні докази щодо цього, а тому, що вони натякані на вигадливе і гучне слово «нейрон». Вони також дуже нестабільні, Ви пробували нейронну мережу для порівняння з xgboost? Я не буду пробувати жодну нейронну мережу, доки вона не стане самовираженою.