Запитання з тегом «markov-process»

У мене є повний набір послідовностей (якщо бути точними 432 спостереження) 4 станів : напрA−DA−DA-D Y=⎛⎝⎜⎜⎜⎜AB⋮BCA⋮CDA⋮ADC⋮DBA⋮AA−⋮BC−⋮A⎞⎠⎟⎟⎟⎟Y=(ACDDBACBAACA−−⋮⋮⋮⋮⋮⋮⋮BCADABA)Y=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&- &-\\ \vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\ B& C& A&D & A & B & A\\ \end{array}\right) EDIT : Послідовності …

16 r  matlab  markov-process 

Чим відрізняються ланцюги Маркова від процесів Маркова? Я читаю суперечливу інформацію: іноді визначення базується на тому, чи є простір станів дискретним чи безперервним, а іноді воно базується на тому, чи час дискретний безперервним. Слайд 20 цього документа : Процес Маркова називається ланцюгом Маркова, якщо простір стану дискретний, тобто кінцевий чи …

16 terminology  stochastic-processes  markov-process 

Моє основне питання: як би ви взяли вибірку з неправильного розподілу? Чи є навіть сенс вибірки з неправильного розподілу? Коментар Сіань тут вирішує питання, але я шукав ще деякі деталі щодо цього. Більш конкретно для MCMC: Розповідаючи про MCMC та читаючи статті, автори наголошують на тому, що вони отримали належні …

15 distributions  bayesian  mcmc  markov-process  improper-prior 

Я намагаюся зрозуміти ланцюги Маркова за допомогою SAS. Я розумію, що процес Маркова - це той, де майбутній стан залежить лише від поточного стану, а не від минулого стану, і є матриця переходу, яка фіксує ймовірність переходу з одного стану в інший. Але потім я натрапив на цей термін: Марківський …

15 probability  simulation  mcmc  monte-carlo  markov-process 

Навчання зміцненню: вступ. Друге видання, у стадії розробки , Річард С. Саттон та Ендрю Г. Барто (с) 2012, стор 67-68. Розв’язання навчального завдання з підкріпленням означає, приблизно, пошук політики, яка досягає великої винагороди за довгостроковий період. Для кінцевих MDP ми можемо точно визначити оптимальну політику наступним чином. Функції значення визначають …

15 markov-process  reinforcement-learning 

Я переглядав деякі лекції, пов'язані з MCMC. Однак я не знаходжу хорошого прикладу того, як це використовується. Хтось може дати мені конкретний приклад. Я бачу лише те, що вони керують ланцюгом Маркова і кажуть, що його стаціонарний розподіл - це бажаний розподіл. Я хочу хороший приклад, коли бажаного розподілу важко …

14 probability  bayesian  mcmc  markov-process 

Я шукаю загальний, чистий і швидкий (тобто, використовуючи підпрограми C ++) R для імітації шляхів з неоднорідної нелінійної дифузії типу (1) за допомогою схеми Ейлера-Маруями, схеми Мільштейна (або будь-якої іншої). Це призначено для вбудовування в більшу оціночну версію і тому заслуговує на оптимізацію. гХт= f( θ , t , Xт)гt …

13 r  simulation  stochastic-processes  markov-process 

Який би був загальний спосіб оцінки матриці переходу MC за даними часових серій? Чи існує функція R для цього?

12 markov-process 

Я думаю, що я розумію рівняння детальної умови балансу, де зазначено, що для ймовірності переходу та стаціонарного розподілу ланцюг Маркова задовольняє детальний баланс, якщоqqqππ\piq(x|y)π(y)=q(y|x)π(x),q(x|y)π(y)=q(y|x)π(x),q(x|y)\pi(y)=q(y|x)\pi(x), це має більше сенсу для мене, якщо я перезавантажую його як: q(x|y)q(y|x)=π(x)π(y).q(x|y)q(y|x)=π(x)π(y).\frac{q(x|y)}{q(y|x)}= \frac{\pi(x)}{\pi(y)}. В основному, ймовірність переходу зі стану у стан повинна бути пропорційною відношенню їх …

12 probability  mcmc  markov-process 

Я намагаюся зробити математичний зв’язок між нейронною мережею та графічною моделлю. У графічних моделях ідея проста: розподіл ймовірностей розподіляється відповідно до кліків на графіку, при цьому потенціали, як правило, належать до експоненціальної родини. Чи існує рівнозначне міркування для нейронної мережі? Чи можна виразити розподіл ймовірності над одиницями (змінними) в машині …

12 neural-networks  markov-process  graphical-model  deep-learning  deep-belief-networks 

У мене є проблеми з розумінням властивості ланцюга Маркова, невідмінною . Неприпустимість, як кажуть, означає, що стохастичний процес може "перейти з будь-якої держави в будь-яку державу". Але що визначає, чи може він перейти від держави iii у стан jjjчи не можеш піти? Сторінка вікіпедії дає формалізацію: Держава jjjє доступним (написаноi …

12 stochastic-processes  markov-process 

У мене є стохастична модель, яка використовується для імітації часових рядів певного процесу. Мене цікавить ефект зміни одного параметра на конкретне значення і хочу показати різницю між тимчасовим рядом (скажімо, модель A і модель B) і якимось довірчим інтервалом на основі моделювання. Я просто запускав купу моделей з моделі A …

11 time-series  predictive-models  markov-process 

Я хотів би вирішити Project Euler 213, але не знаю, з чого почати, тому що я лайпер в галузі статистики, зауважте, що потрібна точна відповідь, щоб метод Монте-Карло не працював. Чи можете ви порекомендувати деякі теми статистики для мене для читання? Будь ласка, не публікуйте рішення тут. Цифровий цирк Сітка …

11 self-study  monte-carlo  markov-process 

Враховуючи (спостерігається) часовий ряд з , чи існує статистичний тест для тестування нульової гіпотези, що (тобто властивість markov)?ХтХтX_tХт∈ { 1 , . . . , n }Хт∈{1,...,н}X_t\in\{1,...,n\}П( Xт| Хt - 1, Xt - 2, . . . , X1) = Р( Xт| Хt - 1)П(Хт|Хт-1,Хт-2,...,Х1)=P(Xt|Xt−1)P(X_t|X_{t-1},X_{t-2},...,X_1)=P(X_t|X_{t-1})

11 time-series  hypothesis-testing  markov-process 

В даний час я роблю аналіз на веб-сайті, який вимагає створити схему дерева рішень, яка показує ймовірний маршрут, який люди проходять, коли вони приходять на веб-сайт. Я маю справу з тим, data.frameякий показує шляхи всіх клієнтів до сайту, починаючи з домашньої сторінки. Наприклад, клієнт може піти таким шляхом: Homepage - …

10 r  probability  data-visualization  markov-process