Черв'як та яблуко Очікувана цінність

8

Яблуко знаходиться в вершині п'ятикутника , і черв'як знаходиться дві вершини вдалині, на . Щодня черв’як повзає з однаковою ймовірністю до однієї з двох сусідніх вершин. Таким чином, через добу черв'як знаходиться у вершині або , кожна з вірогідністю . Через два дні черв'як може знову опинитися у , оскільки він не пам'ятає попередніх позицій. Коли вона досягне вершини , вона перестає повечеряти. $A$ $ABCDE$ $C$ $B$ $D$ $1/2$ $C$ $A$

(а) Яке середнє число днів до обіду?

(b) Нехай р - ймовірність того, що кількість днів становить і більше. Що говорить про нерівність Маркова про ? $100$ $p$

Для (а) нехай - випадкова величина, визначена кількістю днів до обіду. Отже $X$

P (X = 0) = 0 P (X = 1) = 0 P (X = 2) = \frac{1}{(\binom{5}{2})} ⋮

$P(X = 0) = 0 \\ P(X=1) = 0 \\ P(X=2) = \frac{1}{\binom{5}{2}} \\ \vdots$

Яким був би загальний розподіл?

Для (b), якщо ми знаємо (a), то знаємо, що

P (X \geq 100) \leq \frac{E (X)}{100}

$P(X \geq 100) \leq \frac{E(X)}{100}$

probability markov-process

— probguy3434
джерело

2

Чи можете ви пояснити свій перший набір рівнянь? Вони, здається, не враховують можливості руху черв'яка, а також не здаються правильними. Зрештою, набагато менше, ніж шанс шляху який має ймовірність Зауважте, що суть цього питання полягає в тому, що отримати повне розподіл може бути складніше, ніж обчислити його очікування; і нерівність Маркова все-таки дозволяє вам виводити корисну інформацію лише з очікувань.

1 / (\binom{5}{2}) = 1 / 10

$1/\binom{5}{2}=1/10$

A \to B \to C

$A\to B\to C$

(1 / 2) (1 / 2) = 1 / 4.

$(1/2)(1/2)=1/4.$

— whuber

6

У чудовій відповіді Glen_b він показує, що можна обчислити очікуване значення аналітичним шляхом, використовуючи просту систему лінійних рівнянь. Слідом за цим аналітичним методом можна визначити, що очікувана кількість рухів до яблука - шість. Ще одна відмінна відповідь Уаубера показує, як отримати функцію маси ймовірності для процесу після будь-якої заданої кількості рухів, і цей метод також може бути використаний для отримання аналітичного рішення для очікуваного значення. Якщо ви хочете ознайомитись із подальшим розумінням цієї проблеми, вам слід прочитати деякі статті про кругові випадкові прогулянки (див., Наприклад, Stephens 1963 )

Щоб дати альтернативне уявлення про проблему, я покажу вам, як ви можете отримати той же результат, використовуючи метод грубої сили просто обчислення ланцюга Маркова за допомогою статистичних обчислень. Цей метод багато в чому поступається аналітичному дослідженню, але має таку перевагу, що він дозволяє вам впоратися з проблемою, не вимагаючи жодного великого математичного огляду.

Обчислювальний метод грубої сили: станів у порядку , ваші ланцюгові переходи Маркова відповідно до наступної матриці переходу: $A,B,C,D,E$

P = [\begin{matrix} 1 & 0 & 0 & 0 & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} & 0 & 0 \\ 0 & \frac{1}{2} & 0 & \frac{1}{2} & 0 \\ 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ \frac{1}{2} & 0 & 0 & \frac{1}{2} & 0 \end{matrix}]

$\mathbf{P} = \begin{bmatrix} 1 & 0 & 0 & 0 & 0 \\[6pt] \tfrac{1}{2} & 0 & \tfrac{1}{2} & 0 & 0 \\[6pt] 0 & \tfrac{1}{2} & 0 & \tfrac{1}{2} & 0 \\[6pt] 0 & 0 & \tfrac{1}{2} & 0 & \tfrac{1}{2} \\[6pt] \tfrac{1}{2} & 0 & 0 & \tfrac{1}{2} & 0 \\[6pt] \end{bmatrix}$

Перший стан - це поглинаючий стан де черв’як знаходиться у яблуні. Нехай буде кількість ходів , поки черв'як не влучає у яблуко зі стану . Тоді для всіх ймовірність того, що черв'як знаходиться у яблуні після цієї кількості рухів, є і тому очікувана кількість рухів, щоб дістатися до яблука з цього стану: $A$ $T_C$ $C$ $n \in \mathbb{N}$ $\mathbb{P}(T_C \leqslant n) = \{ \mathbf{P}^n \}_{C,A}$

E (T_{C}) = \sum_{n = 0}^{\infty} P (T_{C} > n) = \sum_{n = 0}^{\infty} (1 - {P^{n}}_{C, A}) .

$\mathbb{E}(T_C) = \sum_{n=0}^\infty \mathbb{P}(T_C > n) = \sum_{n=0}^\infty (1-\{ \mathbf{P}^n \}_{C,A}).$

Терміни в сумі зменшуються експоненціально для великого тому ми можемо обчислити очікуване значення до будь-якого бажаного рівня точності, обрізаючи суму на кінцевій кількості доданків. (Експоненціальний розпад термінів гарантує, що ми можемо обмежити розмір видалених термінів нижче бажаного рівня.) На практиці легко прийняти велику кількість термінів, поки розмір решти термінів не буде надзвичайно малим. $n$

Програмування цього на R: Ви можете запрограмувати це як функцію, Rвикористовуючи наведений нижче код. Цей код векторизований для створення масиву потужностей перехідної матриці для кінцевої послідовності рухів. Ми також генеруємо графік ймовірності того, що яблуко не було досягнуто, показуючи, що це зменшується в експоненціальному масштабі.

#Create function to give n-step transition matrix for n = 1,...,N
#N is the last value of n
PROB <- function(N) { P <- matrix(c(1, 0, 0, 0, 0, 
                                    1/2, 0, 1/2, 0, 0, 
                                    0, 1/2, 0, 1/2, 0,
                                    0, 0, 1/2, 0, 1/2,
                                    1/2, 0, 0, 1/2, 0),
                                  nrow = 5, ncol = 5, 
                                  byrow = TRUE);
                      PPP <- array(0, dim = c(5,5,N));
                      PPP[,,1] <- P;
                      for (n in 2:N) { PPP[,,n] <- PPP[,,n-1] %*% P; } 
                      PPP }

#Calculate probabilities of reaching apple for n = 1,...,100
N  <- 100;
DF <- data.frame(Probability = PROB(N)[3,1,], Moves = 1:N);

#Plot probability of not having reached apple
library(ggplot2);
FIGURE <- ggplot(DF, aes(x = Moves, y = 1-Probability)) +
          geom_point() +
          scale_y_log10(breaks = scales::trans_breaks("log10", function(x) 10^x),
                        labels = scales::trans_format("log10", 
                                 scales::math_format(10^.x))) +
          ggtitle('Probability that worm has not reached apple') +
          xlab('Number of Moves') + ylab('Probability');
FIGURE;

#Calculate expected number of moves to get to apple
#Calculation truncates the infinite sum at N = 100
#We add one to represent the term for n = 0
EXP <- 1 + sum(1-DF$Probability);
EXP;

[1] 6

Як видно з цього розрахунку, очікувана кількість рухів, щоб дістатися до яблука, - шість. Цей розрахунок був надзвичайно швидким, використовуючи вищезазначений векторизований код для ланцюга Маркова.

— Бен - Відновлення Моніки
джерело

5

Просто хочу проілюструвати простий спосіб подивитися на частину (а), не проходячи всю процедуру ланцюга Маркова. Про це слід потурбуватись два класи станів: бути в одному кроці і бути в двох кроках (C і D однакові за очікуваними кроками до досягнення А, а B і E - тотожні). Нехай " " представляє кількість кроків, які він виконує з вершини тощо. $S_B$ $B$

$E(S_C) = 1+\frac12[E(S_B)+E(S_D)] = 1+ \frac12[E(S_B)+E(S_C)]$

Аналогічно напишіть рівняння для очікування для . $E(S_B)$

Замініть другий на перший (і для зручності напишіть для ), і ви отримаєте рішення для в пару рядків. $c$ $E(S_C)$ $c$

— Glen_b -Встановити Моніку
джерело

3

+1. Мені також подобається, що замінивши очікування функціями, що генерують ймовірність, ви отримаєте подібне рівняння, так само легко розв’язується, показуючи, що pgf для початкового стану дорівнює і це призводить до простої формули для будь-якої з ймовірностей. Краще: нехай - кількість кроків, починаючи зВизначте іВідносини іПідставлення останнього до колишнього дає для Таким чином, є

t^{2} / (4 - 2 t - t^{2}),

$t^2/(4-2t-t^2),$

X_{y}

$X_y$

y \in {A, B} .

$y\in\{A,B\}.$

f_{n} = 2^{n} Pr (X_{A} = n)

$f_n=2^n\Pr(X_A=n)$

g_{n} = 2^{n} Pr (X_{B} = n) .

$g_n=2^n\Pr(X_B=n).$

f_{n} = f_{n - 1} + g_{n - 1}

$f_n=f_{n-1}+g_{n-1}$

g_{n - 1} = f_{n - 2} .

$g_{n-1}=f_{n-2}.$

f_{n} = f_{n - 1} + f_{n - 2}

$f_n=f_{n-1}+f_{n-2}$

n \geq 3.

$n\ge 3.$

f_{n}

$f_n$

n - 2^{nd}

$n-2^\text{nd}$ Число Фібоначчі.

— whuber

@whuber: Ви повинні перетворити свій коментар на повну відповідь - це дійсно добре.

— Бен - Відновити Моніку

1

Я згоден, варто опублікувати як відповідь, навіть у цій короткій формі.

— Glen_b -Встановити Моніку

3

Проблема

Цей ланцюг Маркова має три стани, які відрізняються тим, чи знаходиться черв'як або проміжки від Нехай - випадкова величина, яка дає скільки кроків черв'як зробить, щоб досягти зі стану Їх функції генерування ймовірностей є зручним алгебраїчним способом кодування ймовірностей цих змінних. Непотрібно турбуватися про аналітичні питаннях , як сходження: просто розглядати їх як формальні степеневі ряди в символі , заданих $0,$ $1,$ $2$ $C.$ $X_i$ $C$ $i\in\{0,1,2\}.$ $t$

f_{i} (т) = Пр (Х_{i} = 0) + Пр (Х_{i} = 1) т^{1} + Пр (Х_{i} = 2) т^{2} + \dots + Пр (Х_{i} = н) т^{н} + \dots

$f_i(t) = \Pr(X_i=0) + \Pr(X_i=1)t^1 + \Pr(X_i=2)t^2 + \cdots + \Pr(X_i=n)t^n + \cdots$

Оскільки то тривіально Нам потрібно знайти $\Pr(X_0=0)=1,$ $f_0(t)=1.$ $f_2.$

Аналіз та рішення

Зі стану черв'як має рівні шанси переміщення назад в стан або досягнення . Облік виконання цього одного кроку додає до всіх повноважень , що дорівнює множенню pgf на , даючи $1,$ $1/2$ $2$ $C$ $1$ $t$ $t$

f_{1} = \frac{1}{2} т (f_{2} + f_{0}) .

$f_1 = \frac{1}{2}t\left(f_2 + f_0\right).$

Так само із стану черв'як має рівні шанси залишитися у стані або досягти стану звідки $2$ $2$ $1,$

f_{2} = \frac{1}{2} т (f_{2} + f_{1}) .

$f_2 = \frac{1}{2}t\left(f_2 + f_1\right).$

Поява говорить про те, що наша робота буде полегшена введенням змінної даючи $t/2$ $x=t/2,$

f_{1} (х) = х (f_{2} (х) + f_{0} (х)); f_{2} (х) = х (f_{2} (х) + f_{1} (х)) .

$f_1(x) = x(f_2(x) + f_0(x));\quad f_2(x) = x(f_2(x) + f_1(x)).$

Підставлення першого в друге і дає $f_0=1$

$\begin{matrix} (*) & f_{2} (х) = х (f_{2} (х) + х (f_{2} (х) + 1)) \end{matrix}$ $f_2(x) = x(f_2(x) + x(f_2(x) + 1))\tag{*}$

унікальне рішення якого

\begin{matrix} (**) & f_{2} (х) = \frac{х^{2}}{1 - х - х^{2}} . \end{matrix}

$f_2(x) = \frac{x^2}{1 - x - x^2}.\tag{**}$

Я підкреслив рівняння щоб підкреслити його основну простоту та його формальну схожість з рівнянням, яке ми отримали б, аналізуючи лише очікувані значення насправді, для тієї ж кількості роботи, щоб знайти це одне число, ми отримуємо весь розподіл. $(*)$ $E[X_i]:$

Наслідки та спрощення

Еквівалентно, коли виписується строково за строком і повноваження узгоджуються, це стверджує, що для $(*)$ $t$ $n\ge 4,$

2^{н} Пр (Х_{2} = н) = 2^{н - 1} Пр (Х_{2} = н - 1) + 2^{н - 2} Пр (Х_{2} = н - 2) .

$2^n\Pr(X_2=n) = 2^{n-1}\Pr(X_2=n-1) + 2^{n-2}\Pr(X_2=n-2).$

Це повторення відомої послідовності чисел Фібоначчі

(Ж_{н}) = (1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144, \dots)

$(F_n) = (1,1,2,3,5,8,13,21,34,55,89,144,\ldots)$

(індексується від ). Відповідність рішення - ця послідовність зміщена на два місця (тому що немає ймовірності, що або і легко перевірити, що ). $n=0$ $(**)$ $X_2=0$ $X_2=1$ $2^2\Pr(X_2=2)=1=2^3\Pr(X_2=3)$

Отже

$Пр (Х_{2} = н) = 2^{- н - 2} Ж_{н - 2} .$ $\Pr(X_2 = n) = 2^{-n-2}F_{n-2}.$

Більш конкретно,

\begin{aligned} f_{2} (т) & = 2^{- 2} Ж_{0} т^{2} + 2^{- 3} Ж_{1} т^{3} + 2^{- 4} Ж_{2} т^{4} + \dots \\ = \frac{1}{4} т^{2} + \frac{1}{8} т^{3} + \frac{2}{16} т^{4} + \frac{3}{32} т^{5} + \frac{5}{64} т^{6} + \frac{8}{128} т^{7} + \frac{13}{256} т^{8} + \dots . \end{aligned}

$\eqalign{ f_2(t) &= 2^{-2}F_0t^2 + 2^{-3}F_1 t^3 + 2^{-4} F_2 t^4 + \cdots \\ &= \frac{1}{4}t^2 + \frac{1}{8}t^3 + \frac{2}{16}t^4 + \frac{3}{32}t^5 + \frac{5}{64}t^6 + \frac{8}{128}t^7 +\frac{13}{256}t^8 + \cdots. }$

Очікування легко знаходити, оцінюючи похідну і замінюючи оскільки (диференціюючи сили члена на термін) це дає формулу $X_2$ $f^\prime$ $t=1,$ $t$

f^{'} (1) = Пр (Х_{2} = 0) (0) + Пр (Х_{2} = 1) (1) 1^{0} + \dots + Пр (Х_{2} = н) (н) 1^{н - 1} + \dots

$f^\prime(1) = \Pr(X_2=0)(0) + \Pr(X_2=1)(1)1^0 + \cdots + \Pr(X_2=n)(n)1^{n-1} + \cdots$

який, як сума ймовірностей раз значення саме визначення з Беручи похідну з використанням випускається проста формула очікування. $X_2,$ $E[X_2].$ $(**)$

Деякі короткі коментарі

Розширюючи як часткові дроби, можна записати як суму двох геометричних рядів. Це відразу показує, що ймовірності будуть зменшуватися в експоненціальному вимірі. Він також дає закриту форму для хвостових ймовірностей Використовуючи це, ми можемо швидко обчислити, що трохи менше $(**)$ $f_2$ $\Pr(X_2=n)$ $\Pr(X_2 \gt n).$ $\Pr(X_2 \ge 100)$ $10^{-9}.$

Нарешті, ці формули включають Золоте співвідношення Це число - це довжина хорди звичайного п’ятикутника (одиничної сторони), що дає разючий зв'язок між чисто комбінаторним ланцюгом Маркова на п’ятикутнику (який «нічого не знає про геометрію Евкліда) та геометрією правильного п’ятикутника у Евклідова площина. $\phi = (1 + \sqrt{5})/2.$

— дзижчати
джерело

1

Середня кількість днів до обіду, умова щодо кроку, зробленого в перший день. Нехай - кількість днів, поки черв’як не отримає яблуко. Нехай - перший крок. $X$ $F$

Тоді маємо

Е [Х] = Е [Х | Ж = Б] [П (Ж = Б)] + Е [Х | Ж = D] П [Ж = D]

$E[X]=E[X|F=B] \ [P(F=B)]+E[X|F=D] \ P[F=D]$

Якщо перший крок до то або черв'як отримує яблуко на 2 день з ймовірністю половину, або він повертається до вершини з вірогідністю половина, і він починається знов. Ми можемо записати це як $B,$ $C$

Е [Х | Ж = Б] = 2 (\frac{1}{2}) + (2 + Е [Х]) (\frac{1}{2}) = 2 + \frac{Е [Х]}{2}

$E[X|F=B]=2 \left( \frac{1}{2} \right) + \left(2+E[X] \right) \left( \frac{1}{2} \right)=2+\frac{E[X]}{2}$

Якщо перший крок до то за симетрією це те саме, що у вершині за винятком того, що черв'як зробив один крок, $D,$ $C$

Е [Х | Ж = D] = 1 + Е [Х]

$E[X|F=D]=1+E[X]$

Збираючи все це разом, ми отримуємо

Е [Х] = (2 + \frac{Е [Х]}{2}) (\frac{1}{2}) + (1 + Е [Х]) (\frac{1}{2})

$E[X] = \left( 2+\frac{E[X]}{2} \right)\left( \frac{1}{2} \right) + \left( 1 + E[X] \right)\left( \frac{1}{2} \right)$

Вирішення виходу $E[X]$

Е [Х] = 6

$E[X] = 6$

— соклей
джерело

1

Це, схоже, повторно описує відповідь @ Glen_b.

— whuber