Де теорія графів у графічних моделях?

29

Вступ до графічних моделей характеризує їх як "... шлюб між теорією графа та теорією ймовірностей".

Я отримую частину теорії ймовірностей, але у мене виникають проблеми з розумінням того, куди саме підходить теорія графів. Які розуміння теорії графів допомогли поглибити наше розуміння розподілу ймовірностей та прийняття рішень у невизначеності?

Я шукаю конкретні приклади, поза очевидним використанням теоретичної термінології графіків у PGM, таких як класифікація PGM як "дерево" або "двостороннє" або "непряме" тощо.

graphical-model graph-theory distributions

— Vimal
джерело

33

В імовірнісних графічних моделях дуже мало правдивої теорії математичних графів, де під істинною теорією математичних граф я маю на увазі докази про кліки, вершинні порядки, теореми про мінімізацію максимального потоку тощо. Навіть щось настільки фундаментальне, як теорема Ейлера і лемма рукостискання, не використовуються, хоча, гадаю, можна звернутися до них, щоб перевірити деяку властивість комп'ютерного коду, що використовується для оновлення ймовірнісних оцінок. Більше того, імовірнісні графічні моделі рідко використовують більше, ніж підмножину класів графіків, наприклад, багатографні. Теореми про потоки в графах не використовуються в імовірнісних графічних моделях.

Якби студент A був експертом у ймовірності, але нічого не знав про теорію графів, а студент B був знавцем теорії графів, але нічого не знав про ймовірність, тоді A, безумовно, навчився б і зрозумів імовірнісні графічні моделі швидше, ніж Б.

— Девід Г. Лелека
джерело

8

У строгому сенсі теорія графіків здається слабко пов'язаною з PGM. Однак алгоритми графіків стають у нагоді. PGM розпочалися з висновку про передачу повідомлень, який є підмножиною загального класу алгоритмів передачі повідомлень на графіках (можливо, саме тому в них є слово "графічний"). Алгоритми вирізання графіків широко застосовуються для Марковського випадкового поля в комп'ютерному зорі; вони ґрунтуються на результатах, подібних теоремі Форда – Фулкерсона (максимальний потік дорівнює мінімуму скорочення); найпопулярніші алгоритми - це, ймовірно, Бойков – Колмогоров та IBFS.

Список літератури. [Murphy, 2012 , §22.6.3] охоплює використання скорочень графіків для висновку MAP. Див. Також [Kolmogorom and Zabih, 2004 ; Бойков та ін., PAMI 2001] , які охоплюють оптимізацію, а не моделювання.

— Роман Шаповалов
джерело

Цікаво зазначити, що алгоритми вирізання графіків використовуються в MRF. Не могли б ви вказати на посилання? Виходячи з відповіді Девіда Сторка вище, схоже, що ці алгоритми виникають через те, що теорія графів була корисним інструментом моделювання, а не якимось фундаментальним зв’язком між теорією графів та PGM.

— Vimal

Я додав посилання, як ви запитували. Що стосується вашого останнього твердження, як ми можемо відокремити причини, тобто сказати, є вони принциповими чи ні?

— Роман Шаповалов

@overrider Ви могли б надати повні довідки, щоб документи могли легко шукати ..? Гуглінг може призвести людей до посилань, але може також втратити час на неактуальні результати. Тому заголовки, видавці, назви журналів, посилання тощо - це добре додати.

— Тім

2

Алгоритми вирізання графіків корисні для комп’ютерного зору, але не є імовірнісними графічними моделями. Однією із проблем стерео зору є відповідність: пошук, які точки на зображенні відповідають точкам на зображенні B. Можна встановити графік, де вершини відповідають характеристичним точкам на двох зображеннях, а графік представляє всі можливі відповідники. Тоді проблема пошуку «належних» відповідностей може бути подана як проблема вирізання графіків. У загальних графічних моделях такого використання немає, хоча, мабуть, можна спробувати перенести цю проблему комп'ютерного зору на графічні моделі.

— Девід Г. Лелека

2

@ DavidG.Stork Є й інші проблеми із комп’ютерним зором, які застосовують скорочення графіків аналогічно: сегментація зображень, створення колажів тощо, тому підхід є досить загальним. Ці проблеми можна, природно, виразити у вигляді непрямої графічної моделі (хоча документи це не завжди роблять). Це дозволяє використовувати різні алгоритми виведення MRF, а також підгонку моделі. З іншого боку, скорочення графіків може оптимізувати досить велику підмножину MRF, тому може бути застосоване поза баченням, наприклад, для аналізу соціальних мереж (хоча конкретних робіт я зараз не можу згадати).

— Роман Шаповалов

4

Була проведена робота, що досліджує зв'язок між простотою розшифровки кодів перевірки парності низької щільності (яка отримує відмінні результати, якщо ви вважаєте це імовірнісним графіком та застосовуєте Loopy Belief Propagation), та обхватом графіка, утвореного матрицею перевірки парності. . Ця посилання на обхват йде прямо до того часу, коли були винайдені ЛДПК [1], але в останніх десятиліттях було продовжено роботу [2] [3] після того, як Маккей та ін. [4] були окремо відкриті окремо [4], і їх властивості помітили .

Я часто бачу коментар Перламу щодо часу конвергенції поширення віри залежно від діаметра цитованого графіка. Але я не знаю жодної роботи, яка розглядає діаметри графіків на недеревних графіках і який ефект має це.

Р.Г. Галлагер. Коди перевірки парності низької щільності. MIT Press, 1963 рік
І. Е. Бочарова, Ф. Хуг, Р. Йоганнесон, Б. Д. Кудряшов, Р. В. Сатюков. Нові коди перевірки на паритет низької щільності з великим обхватом на основі гіперграфів. Інформаційні теорії (ISIT), 2010 IEEE Міжнародний симпозіум, на сторінках 819–823, 2010.
СК Татіконда. Збіжність алгоритму суми-добутку. В практикумі інформаційної теорії, 2003. Праці. 2003 IEEE, стор. 222 - 225, 2003
Девід Дж. К. Маккей та Р. М. Ніл. Поблизу Шеннона обмежують продуктивність контрольних кодів низької щільності на четність. Електроніка, 33 (6): 457–458, 1997.

— Пат
джерело

3

Одне успішне застосування алгоритмів графіків до імовірнісних графічних моделей - алгоритм Чоу-Лю . Він вирішує проблему пошуку оптимальної (графічної) структури графіка та базується на алгоритмі максимального розміщення дерев (MST).

p (х | Т) = \prod_{т \in V} p (х_{т}) \prod_{(с, т) \in Е} \frac{p (х_{с}, х_{т})}{p (х_{с}) p (х_{т})}

$\begin{equation} p(x|T) = \prod_{t\in V} p(x_t) \prod_{(s,t) \in E} \frac{p(x_s, x_t)}{p(x_s)p(x_t)} \end{equation}$

\frac{1}{N} журнал П (D | θ, Т) = \sum_{т \in V} \sum_{к} p_{М L} (х_{т} = к) журнал p_{М L} (х_{т} = к) + \sum_{(с, т) \in Е} Я (х_{с}; х_{т} | θ_{с т})

$\begin{equation} \frac{1}{N}\log P(D|\theta, T) = \sum_{t\in V}\sum_k p_{ML}(x_t=k) \log p_{ML}(x_t=k) + \sum_{(s,t)\in E} I(x_s; x_t|\theta_{st}) \end{equation}$

I (x_{s}; x_{t} | θ_{s t})

$I(x_s;x_t|\theta_{st})$

x_{s}

$x_s$

x_{t}

$x_t$

x

$x$

k

$k$

T

$T$

$I(x_s;x_t|\theta_{st})$ . The maximum weight spanning tree can be found using Prim's algorithm and Kruskal's algorithm.

— Vadim Smolyakov
джерело

Hi Vadim. Thanks for your response. As a formulation in graph theoretic terms, it makes sense. But one could see it as an optimisation problem as well. The spirit of the question was to enquire a more fundamental connection. For instance, one can formulate the sorting problem as a topological sort on a graph, where the nodes are numbers, and arrows denote <= relationship. But that doesn't make a fundamental connection between sorting and graph algorithms, right?

— Vimal