Чим відрізняється випадкове поле Маркова від умовного випадкового поля?

Якщо я фіксую значення спостережуваних вузлів MRF, чи стає це CRF?

Гаразд, я сама знайшла відповідь:

Умовні випадкові поля (CRF) є особливим випадком випадкових полів Маркова (MRFs).

1.5.4 Умовне випадкове поле

Умовне випадкове поле (CRF) - це форма MRF, яка визначає задню для змінних x заданих даних z, як і прихований MRF вище. Однак, на відміну від прихованого МРП, факторизація розподілу даних P (x | z) та попереднього P (x) не робиться явною [288]. Це дозволяє записувати складні залежності x на z безпосередньо в задньому розподілі, не роблячи явного пояснення. (Враховуючи P (x | z), такі факторизації завжди існують, однак - насправді їх нескінченно багато - тому немає припущення, що КРФ є загальнішим, ніж прихований ДПС, тільки щоб з ним було зручніше поводитися .)

Джерело: Блейк, Колі та Ротер: Маркові випадкові поля для зору та обробки зображень. 2011 рік.

Умовне випадкове поле або CRF (Lafferty et al. 2001), іноді дискримінаційне випадкове поле (Kumar and Hebert 2003), є лише версією MRF, де всі потенціали кліку обумовлені особливостями введення: [...]

Перевага CRF над MRF є аналогічною перевазі дискримінаційного класифікатора перед генеративним класифікатором (див. Розділ 8.6), а саме нам не потрібно «витрачати ресурси», моделюючи речі, які ми завжди спостерігаємо. [...]

Недоліком КРС в порівнянні з ДПС є те, що вони вимагають мічених даних про навчання, і вони повільніше навчаються [...]

Джерело: Кевін П. Мерфі: Машинне навчання: ймовірнісна перспектива

Відповідаючи на моє запитання:

Якщо я фіксую значення спостережуваних вузлів MRF, чи стає це CRF?

Так. Закріплення значень те саме, що обумовлюється на них. Однак слід зазначити, що в тренуванні є і відмінності.

Перегляд багатьох лекцій про PGM (імовірнісні графічні моделі) на курсах мені дуже допоміг.

Мережі ДПС проти Байєса : недоброзичливо (але зазвичай) , існує два типи графічних моделей: непрямі графічні моделі та спрямовані графічні моделі (ще один тип, наприклад, граф Таннера). Перший також відомий як Марківські випадкові поля / Марківська мережа та пізніші мережі Байєса / Баєсова. (Іноді припущення про незалежність в обох можуть бути представлені хордальними графіками)

Марков має на увазі те, як він факторизує і означає випадкове поле певний розподіл між тими, що визначені непрямою моделлю.

CRF $\in$ MRF : Коли спостерігаються деякі змінні, ми можемо використовувати те саме непряме представлення графіків (як і непряме графіки) та параметризацію для кодування умовного розподілу $P(Y|X)$ де$Y$ - набір цільових змінних, а$X$ - a (неперервно) ) набір спостережуваних змінних.

І єдина відмінність полягає в тому, що для стандартної мережі Маркова термін нормалізації становить сумму над X і Y, а для CRF термін становить лише Y.

Довідка:

1. Ненаправлені графічні моделі (випадкові поля Маркова)
2. Принципи та методи ймовірнісних графічних моделей (2009, The MIT Press)
3. Маркові випадкові поля

Давайте порівняємо умовні умовиводи в MRF з моделюванням за допомогою CRF, зупинившись на визначеннях по дорозі, а потім вирішимо вихідне питання.

ДПС

Маркове випадкове поле (MRF) щодо графа $G$ є

1. набір випадкових змінних (або випадкових "елементів", якщо вам подобається), що відповідають вузлам у $G$ (таким чином, "випадкове поле")
2. із спільним розподілом, який є Марковим щодо $G$ ; тобто спільний розподіл ймовірностей, пов'язаний з цією ПНР, підпадає під обмеження Маркова, задане G: для будь-яких двох змінних $V_i$ і $V_j$ значення $V_i$ умовно не залежить від $V_j$ урахуванням його сусідів $\mathcal{B}_i$ . У цьому випадку говорять, що спільний розподіл ймовірностей $P(\{V_i\})$ факторизується відповідно до $G$ .

Умовні умовиводи в рамках ДПС

Оскільки ПДР являє собою спільний розподіл по багатьох змінних, що підкоряються обмеженням Маркова, то ми можемо обчислити умовні розподіли ймовірності за даними спостережуваних значень деяких змінних.

Наприклад, якщо у мене спільний розподіл на чотири випадкові змінні: IsRaining, SprinklerOn, SidewalkWet і GrassWet, то в понеділок я можу захотіти зробити спільний розподіл ймовірностей щодо IsRaining та SprinklerOn, враховуючи, що я спостерігав SidewalkWet = False і GrassWet = Правда. У вівторок я, можливо, захотів би зробити спільний розподіл ймовірностей щодо IsRaining та SprinklerOn, враховуючи, що я спостерігав SidewalkWet = True та GrassWet = True.

Іншими словами, ми можемо використовувати ту саму модель ДПС, щоб робити висновки в цих двох різних ситуаціях, але ми б не говорили, що ми змінили модель. Насправді, хоча ми спостерігали SidewalkWet і GrassWet в обох описаних тут випадках, сам MRF не має "спостережуваних змінних" - самі по собі всі змінні мають однаковий статус в очах ДПС, тому MRF також моделює, наприклад, спільний розподіл SidewalkWet та GrassWet.

CRF

На відміну від цього, ми можемо визначити умовне [Маркове] випадкове поле (CRF) щодо графа $G$ як

1. $G$$\{X_i\}_{i=1}^n$$\{Y_i\}_{i=1}^m$
2. $P(\{Y_i\}_{i=1}^m|\{X_i\}_{i=1}^n)$$G$

Різниця

$G$

1. позначає підмножину змінних як "спостережувані"

2. визначає лише умовне розподіл на неспостережувані задані спостерігаються змінні; він не моделює ймовірність спостережуваних змінних (якщо розподіли виражаються через параметри, це часто сприймається як користь, оскільки параметри не витрачаються на роз'яснення ймовірності речей, які завжди будуть відомі)

3. $G$

$\{X_i\}$$G$$G'$$\{Y_i\}$$\{Y_i\}$$\{X_i\}$$\{Y_i\}$$\{X_i\}$

Приклад

$Y_i$$X_1, X_2, ... X_{n-1}$$X_n$

$G$$\{X_i\}$$\{Y_i\}$$\{X_i\}$

Висновок

$G$$G$$G$$G$$G$$G$

Окрім потенційної економії параметрів моделі, збільшення виразності умовної моделі та збереження ефективності виведення, остаточним важливим моментом щодо рецепту CRF є те, що для дискретних моделей (і великого підмножини недискретних моделей), незважаючи на Виразність сімейства CRF, імовірність журналу може бути виражена опуклою функцією параметрів функції, що дозволяє здійснювати глобальну оптимізацію з градієнтом.

Дивіться також: оригінальний crf-папір та цей підручник