Яке відношення між ієрархічними моделями, нейронними мережами, графічними моделями, байєсовими мережами?

34

Вони, схоже, представляють випадкові змінні вузлами та (в) залежності через (можливо, спрямовані) ребра. Мене особливо цікавить байєсівська точка зору.

— цеспіноза
джерело

30

Байєсівська мережа - це тип графічної моделі. Іншим "великим" типом графічної моделі є Маркове випадкове поле (MRF). Графічні моделі використовуються для висновку, оцінки та загалом для моделювання світу.

Термін ієрархічна модель використовується для позначення багатьох речей у різних областях.

У той час як нейронні мережі мають "графіки", вони, як правило, не кодують інформацію про залежність, а вузли не представляють випадкових змінних. НН відрізняються тим, що є дискримінаційними. Популярні нейронні мережі використовуються для класифікації та регресії.

Кевін Мерфі має чудове ознайомлення з цими темами, доступними тут .

— carlosdc
джерело

приємне посилання. thx

— suncoolsu

1

Дякую за відповідь. Як і оригінальний запитувач, мені також цікаво, де багаторівневі / ієрархічні регресійні моделі вписуються в цю картину. (Ієрархічна така, як визначено тут: en.wikipedia.org/wiki/Hierarchical_linear_modeling )

— Ян

але існують також генеративні нейромережеві моделі. RNN, GAN та ін.

— Олександр Решитко

9

Як сказав @carlosdc, байєсова мережа - це тип графічної моделі (тобто спрямований ациклічний графік (DAG), структура якого визначає набір властивостей умовної незалежності). Ієрархічні моделі Баєса також можуть бути представлені як DAG; Ієрархічні класифікатори наївних Баєсів для невизначених даних , Беллацці та ін., Дають хороший вступ до класифікації таких моделей. Щодо ієрархічних моделей, я думаю, що багато статей можна отримати за допомогою googling з відповідними ключовими словами; наприклад, я знайшов це:

CH Джексон, Н. Г. Бест і С. Річардсон. Графічні моделі Байєса для регресії на кількох наборах даних з різними змінними . Біостатистика (2008) 10 (2): 335-351.

Майкл І. Джордан має чудовий підручник з графічних моделей , з різними додатками, заснованими на факторіальній моделі Прихованого Маркова в біоінформатиці або природній обробці мови. Його книгу " Навчання в графічних моделях" (MIT Press, 1998) також варто прочитати (є застосування ГМ для структурного моделювання з кодом BUGS , стор. 575-598)

— хл
джерело

0

Нейронні мережі не вимагають пріорів, але кожен прихований вузол (нейрони) нейронної мережі може розглядатися як CPD - Шумний АБО / І CPD для лінійного вузла - Sigmoid CPD для логістичного вузла

Отже, нейронні мережі можна розглядати як кілька шарів прихованих вузлів, кожен з яких має лінійні / сигмоїдальні CPD

Клас Коллера з курсу Coursera АБО її підручник повинен бути хорошим орієнтиром для типів CPD.

— Раху
джерело

Що означає CPD?

— gwr