Різниця між мережею Байєса, нейронною мережею, деревом рішень та мережами Петрі


30

Яка різниця між нейронною мережею , Байєсовою мережею , деревом рішень та мережами Петрі , навіть якщо вони всі графічні моделі та візуально зображують причинно-наслідковий зв’язок.


1
Зауважте, що також існують Байєсові нейронні мережі (просто збиваючи з пантелику), які, як я бачу, є лише нейронною мережею з байєсівською обробкою параметрів.
naught101

Відповіді:


27

Нічого собі, яке велике питання! Коротка версія відповіді полягає в тому, що те, що ви можете представити дві моделі, використовуючи схематично подібні візуальні уявлення, не означає, що вони навіть віддалено пов'язані структурно, функціонально чи філософсько. Я не знайомий з FCM чи NF, але я можу трохи поговорити з іншими.

Байєська мережа

У байєсівській мережі графік представляє умовні залежності різних змінних у моделі. Кожен вузол представляє змінну, і кожен спрямований край являє собою умовне відношення. По суті, графічна модель - це візуалізація правила ланцюга.

Нейронна мережа

У нейромережі кожен вузол є імітованим «нейроном». Нейрон по суті вмикається або вимикається, і його активація визначається лінійною комбінацією значень кожного виходу в попередньому "шарі" мережі.

Дерево рішень

Скажімо, ми використовуємо дерево рішень для класифікації. Дерево по суті надає нам блок-схему, що описує, як слід класифікувати спостереження. Ми починаємо з кореня дерева, а лист, де ми опинилися, визначає класифікацію, яку ми прогнозуємо.

Як бачите, ці три моделі насправді взагалі нічого спільного не мають, окрім того, що вони є репрезентативними коробками та стрілками.


1
Теорія вбік, чи не вирішує також вирішення залежностей між змінними, випиваючи дані? Я новачок у галузі машинного навчання і мені більше цікаво зрозуміти, який алго використовувати в якому сценарії. Мені здається, ви б використовували мережу Bayesian, коли знаєте точну залежність між змінними, тоді як ви б використовували дерево рішень, коли ви здогадуєтесь, що деякі змінні можуть залежати від інших, але не знаєте, які саме. Хотіли б знати, чи це здається правильним чи чи можна пояснити застосовність байєсівської мережі та дерев рішень більш детально.
Діпак Агарвал

Я дійсно думаю, що відповідь повинна вказувати і на відмінності, і на схожість, щоб накреслити більшу картину, заявивши, що "ці три моделі насправді взагалі нічого спільного не мають", це просто неправильно. Дерево рішень та нейронні мережі застосовують той самий дискримінаційний підхід, що і порівняно з генеративним підходом BN. У той час як Інші два представляють функції, Бейсіанські мережі представляють узагальнені функції (розподіли), ...
Lejafar

1
Дескримінативна та генеративна відмінність, яку ви робите тут, неправильна. Нейронні мережі можуть бути використані для побудови генеративних моделей. Розглянемо, наприклад, GAN. Моєї відповіді достатньо, тому що питання зводиться до "ці моделі представлені візуально подібним чином, чи це означає, що вони структурно схожі?" і я пояснив, як ці графічні зображення кодують дуже різну інформацію.
Девід Маркс

1
Не соромтеся додати власну відповідь.
Девід Маркс

2
@Lejafar, не використовуйте правки для зміни змісту чужої відповіді. Якщо ви не згодні з відповіддю, залиште коментар, голосування або опублікуйте власну відповідь.
gung - Відновіть Моніку

5

Неважко показати (див. Курс Дафни Коллер ), що логістична регресія є обмеженою версією Умовних випадкових полів, які є непрямими графічними моделями, в той час як Байєсові мережі - це графічні моделі. Тоді Логістична регресія також може розглядатися як одношаровий перцептрон. Це єдиний зв’язок (який дуже вільний), який, на мою думку, може бути прокладений між Байєсівськими і Нейронними мережами.

Я ще не можу знайти зв’язок між іншими поняттями, про які ви запитали.


2
Ласкаво просимо на сайт, і дякую за цей внесок. Чи можете ви детальніше розповісти, як легко це побачити? В даний час це лише твердження, яке може не бути очевидним для людей. Інформація може бути за посиланням, але ми хочемо, щоб ця нитка залишалася інформативною навіть після відключення посилання.
gung - Відновіть Моніку

Привіт & спасибі! Я не впевнений, якою має бути точна деталізація пояснення (для підготовки доказу Дафні потрібно щонайменше півгодини), і в голові це не особливо свіже, але загальна думка полягає в тому, що логістична модель - це спрощена версія розподіл Гіббса, який, в свою чергу, є основою CRF.
Октавія-Марія Șulea

1
Що означає crf? Чи CRF = умовні випадкові поля?
Тед Тейлор життя

2

Відмінна відповідь @David Marx. Мені було цікаво, у чому різниця між класифікаційним / регресійним деревом та байєсівською мережею. Один будує ентропію для класифікації результатів у класи на основі різних прогнозів, а інший будує графічну мережу з використанням умовної незалежності та ймовірнісних оцінок параметрів.

Я вважаю, що методологія побудови байєсівської мережі відрізняється порівняно з деревом регресії / рішення. Алгоритм структурного навчання, цілі використання моделей, а також інфекційна здатність моделей різні.

Підхід на основі балів та обмежений підхід може бути зрозумілий за допомогою деяких паралелей, проведених із критеріями отримання інформації в сімействі дерев рішень.


1

Спочатку ми намагаємось констатувати природу проблеми, яку намагалися вирішити цими методами. Якщо проблема є простою, поліноміальною або NP завершеною, ми готові підключити алгоритми, які могли б дати детерміновану відповідь, шляхом простої рекомбінації аксіом за логічними правилами. Однак, якщо це не так, нам доведеться покладатися на метод міркування, в якому ми намагаємось трактувати проблему як неоднорідну та підключаємо її до мережі, причому вузли є оцінкою, а краї є шляхами між компонентами. .

У будь-якому виді мережевих міркувань ми не міркуємо дедуктивно, використовуючи абстрактні узагальнення та комбінації, відповідно до логічних правил у лінійному потоці, а працюємо над проблемою, заснованою на поширенні міркувань у різних напрямках, таким чином, що ми вирішуємо проблема один за одним вузлом, відкритий для вдосконалень щодо виявлення нових фактів, що стосуються будь-якого вузла в майбутньому. Тепер давайте подивимось, як кожна з цих методик підходить до цього способу вирішення проблем по-своєму.

Нейронна мережа: Нейронна мережа - це чорна скринька, де вважають (ніколи не можна було перевірити ззовні системи), що з'єднання між вузлами простоти утворюються та підкреслюються повторними зовнішніми підкріпленнями. Він підходить до проблеми в парадигмі Connectionsitic . Проблема, ймовірно, вирішена, але пояснень мало. Нейронна сітка зараз широко використовується через її здатність давати швидкі результати, якщо проблему з поясненням не помітити.

Байєсська мережа: Байєсівська мережа - це спрямований ациклічний графік, який більше нагадує блок-схему, лише те, що схема діаграми може мати циклічні петлі. Байєсівська мережа на відміну від блок-схеми може мати декілька початкових точок. Це, в основному, простежує поширення подій в декількох неоднозначних точках, де подія ймовірно розходиться між шляхами. Очевидно, що в будь-якій точці мережі вірогідність відвідування цього вузла залежить від спільної ймовірності попередніх вузлів. Байєсівська мережа відрізняється від Нейронної мережі тим, що вона є чіткими міркуваннями, хоча ймовірнісна і, отже, може мати декілька стабільних станів на основі кожного кроку, що переглядається та змінюється в межах юридичних значень, як і алгоритм. Це надійний спосіб міркувати ймовірнісно, ​​але він включає кодування ймовірностей,

Дерева рішень: Дерево рішень - це знову мережа, яка більше нагадує блок-схему, яка ближче до байєсівської мережі, ніж нейронної мережі. Кожен вузол має більше інтелекту, ніж нейронна сітка, і розгалуження може вирішуватися математичними або ймовірнісними оцінками. Рішення є простими оцінками, заснованими на частотному розподілі ймовірних подій, де рішення є ймовірним. Однак у байєсівських мережах рішення базується на розподілі "доказів", що вказує на подію, що сталася, а не на безпосередньому спостереженні за самою подією.

Приклад Наприклад, якби ми передбачили переміщення тигрового тигра через деякі гімалайські села, які, можливо, знаходяться на краю якогось тигрового заповідника, ми могли б моделювати його за будь-яким підходом так:

У дереві рішень ми б покладалися на експертні оцінки, чи дасть тигр вибір між відкритими полями чи річками. У байєсівській мережі ми відстежуємо тигра за допомогою мопсів, але обґрунтовуємо таким чином, щоб визнати, що ці мопси могли бути такими, як тигр іншого подібного розміру, який регулярно патрулює його територію. Якщо ми хочемо використовувати нейронну мережу, нам доведеться неодноразово навчати модель, використовуючи різні поведінкові особливості тигра в цілому, такі як його перевага плавати, перевага критих ділянок над відкритими територіями, уникання людських житлових цілей, щоб дозвольте мережі взагалі міркувати про те, як може пройти тигр.


0

Що стосується графічних моделей, Петрі Нет формалізує поведінку системи; тим, що вона різко відрізняється від решти згаданих моделей, всі вони стосуються того, як формується судження.

Варто зазначити, що більшість цитованих імен позначають досить обширні поняття AI, які часто поєднуються: наприклад, ви можете використовувати Нейронну мережу для побудови дерева рішень, тоді як сама Нейронна мережа, як обговорювалося раніше, може залежати від Байесяна умовивод.


-3

Це гарне запитання, і я задавав собі те саме. Існує більше двох видів нейронної мережі, і, схоже, попередня відповідь стосувалася конкурентного типу, тоді як мережа Байєсів, схоже, має схожість з типом передачі, зворотного поширення (FFBP), а не конкурентоспроможним. Насправді, я б сказав, байєсівська мережа - це узагальнення FFBP. Таким чином, FFBP є типом байєсівської мережі і працює аналогічно.

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.