Чим відрізняються ланцюги Маркова від процесів Маркова?

16

Я читаю суперечливу інформацію: іноді визначення базується на тому, чи є простір станів дискретним чи безперервним, а іноді воно базується на тому, чи час дискретний безперервним.

Слайд 20 цього документа :

Процес Маркова називається ланцюгом Маркова, якщо простір стану дискретний, тобто кінцевий чи обчислюваний простір дискретний, тобто є кінцевим чи підрахунковим.

http://www.win.tue.nl/~iadan/que/h3.pdf :

Марківський процес - це безперервна версія ланцюга Маркова.

Або можна використовувати ланцюг Маркова та процес Маркова синонімічно, точно визначаючи, чи є параметр часу безперервним чи дискретним, а також, чи є простір стану безперервним чи дискретним.

Оновлення 2017-03-04: те саме питання було задано на https://www.quora.com/Can-I-use-the-words-Markov-process-and-Markov-chain-interchangeably

terminology stochastic-processes markov-process

— Франк Дернонкур
джерело

1

На мій досвід, перше визначення неправильне. Маркові ланцюги часто використовуються в контексті відбору проб із заднього розподілу (MCMC). Ці задні можуть бути визначені на просторі фінінте або суцільного стану; тому перше визначення, ймовірно, неправильне. Другий має більше сенсу. Однак я не думаю, що між цим є велика різниця, оскільки я часто бачив фразу, яку Марков постійно ланцюгує.

— Грінпаркер

1

Я пам'ятаю, що я дізнався з підручника - це Марків, процес є найбільш загальним терміном, а ланцюг Маркова - це дискретний час, а державний дискретний особливий випадок.

— Хайтао Ду

8

З передмови до першого видання «Мережі Маркова та стохастична стабільність» Мейна та Твіді:

Ми маємо справу тут із Марківськими ланцюгами. Незважаючи на початкові спроби Доуба і Чунга [99,71] зарезервувати цей термін для систем, що розвиваються на обчислювальних просторах як з дискретними, так і безперервними часовими параметрами, використання, здається, зменшилось (див., Наприклад, Ревуз [326]), що ланцюги Маркова рухаються в дискретний час, на будь-якому просторі; і такі системи ми описуємо тут.

Редагувати: посилання, цитовані моєю довідкою, є відповідно:

99: JL Doob. Стохастичні процеси . John Wiley & Sons, Нью-Йорк, 1953

71: К. Л. Чунг. Марковські ланцюги зі стаціонарними ймовірностями переходу . Спрингер-Верлаг, Берлін, друге видання, 1967 рік.

326: Д. Ревуз. Марківські ланцюги . Північна Голландія, Амстердам, друге видання, 1984 р.

— Тейлор
джерело

6

Один метод класифікації стохастичних процесів заснований на природі time parameter( дискретних або безперервних ) і state space( дискретних) або безперервних ). Це призводить до чотирьох категорій стохастичних процесів.

Якщо state spaceстохастичного процесу є дискретним , є чи time parameterце дискретної або безперервної , процес зазвичай називають ланцюгом .

Якщо стохастичний процес має властивість Маркова , незалежно від характеру параметра часу (дискретний або безперервний) та простору стану (дискретний або безперервний) , то його називають a процесом Маркова . Отже, у нас буде чотири категорії процесів Маркова.

А continuous time parameter, discrete state spaceстохастичний процес, що володіє властивістю Маркова, називається ланцюгом Маркова безперервного параметра (CTMC) .

А discrete time parameter, discrete state spaceстохастичний процес, що володіє властивістю Маркова, називається a дискретним параметром ланцюга Маркова (DTMC) .

Так само ми можемо мати і інші два процеси Маркова.

Оновлення 2017-03-09:

Every independent increment process is a Markov process.

Poisson process мати властивість самостійного приросту є a Markov process параметром часу безперервним і дискретним простором стану.

Brownian motion processволодіння властивістю незалежного прирощення є Markov processбезперервним параметром часу та процесом безперервного простору стану.

— LVRao
джерело