Отримання рівняння Беллмана в навчанні зміцнення

Наступне рівняння я бачу у " In Arforforment Learning. Introduction ", але не дуже слідую кроку, який я виділив синім кольором нижче. Як саме походить цей крок?

Це відповідь для всіх, хто замислюється про чисту структуровану математику за нею (тобто якщо ви належите до тієї групи людей, яка знає, що таке випадкова величина, і ви повинні показати або припустити, що випадкова величина має щільність, то це відповідь за вас ;-)):

Перш за все, нам потрібно мати те, що процес прийняття рішення Маркова має лише кінцеве число -звернень, тобто нам потрібно, щоб існував скінченний набір щільності, кожна з яких належить змінним , тобто для всіх та карта така, що (тобто в автоматах, що стоять за MDP, може бути нескінченно багато станів, але є лише кінцево багато розподілів приєднаних до можливо нескінченних переходів між станами)$L^1$$E$$L^1$$\int_{\mathbb{R}}x \cdot e(x) dx < \infty$$e \in E$$F : A \times S \to E$

$$p(r_t|a_t, s_t) = F(a_t, s_t)(r_t)$$ $L^1$

Теорема 1 : Нехай (тобто інтегральна реальна випадкова величина), а - інша випадкова величина, така, що мають загальну щільність, тоді $X \in L^1(\Omega)$$Y$$X,Y$

$$E[X|Y=y] = \int_\mathbb{R} x p(x|y) dx$$

Доказ : По суті, це підтвердив тут Стефан Хансен.

Теорема 2 : Нехай і нехай - додаткові випадкові величини, такі, що мають спільну щільність, то , де є діапазон .$X \in L^1(\Omega)$$Y,Z$$X,Y,Z$

$$E[X|Y=y] = \int_{\mathcal{Z}} p(z|y) E[X|Y=y,Z=z] dz$$ $\mathcal{Z}$$Z$

Доведення :

$$\begin{align*} E[X|Y=y] &= \int_{\mathbb{R}} x p(x|y) dx \\ &~~~~\text{(by Thm. 1)}\\ &= \int_{\mathbb{R}} x \frac{p(x,y)}{p(y)} dx \\ &= \int_{\mathbb{R}} x \frac{\int_{\mathcal{Z}} p(x,y,z) dz}{p(y)} dx \\ &= \int_{\mathcal{Z}} \int_{\mathbb{R}} x \frac{ p(x,y,z) }{p(y)} dx dz \\ &= \int_{\mathcal{Z}} \int_{\mathbb{R}} x p(x|y,z)p(z|y) dx dz \\ &= \int_{\mathcal{Z}} p(z|y) \int_{\mathbb{R}} x p(x|y,z) dx dz \\ &= \int_{\mathcal{Z}} p(z|y) E[X|Y=y,Z=z] dz \\ &~~~~\text{(by Thm. 1)} \end{align*}$$

Покладіть і покладіть тоді можна показати (використовуючи той факт, що у MDP є лише кінцево багато нагород), що сходиться і що оскільки функціявсе ще в (тобто інтегрується) можна також показати (використовуючи звичайну комбінацію теорем монотонної конвергенції, а потім домінує конвергенцію на визначальних рівняннях для [факторизації] умовного очікування), що Зараз це показує $G_t = \sum_{k=0}^\infty \gamma^k R_{t+k}$$G_t^{(K)} = \sum_{k=0}^K \gamma^k R_{t+k}$$L^1$$G_t^{(K)}$$\sum_{k=0}^\infty \gamma^k |R_{t+k}|$$L^1(\Omega)$

$$\lim_{K \to \infty} E[G_t^{(K)} | S_t=s_t] = E[G_t | S_t=s_t]$$ $$E[G_t^{(K)} | S_t=s_t] = E[R_{t} | S_t=s_t] + \gamma \int_S p(s_{t+1}|s_t) E[G_{t+1}^{(K-1)} | S_{t+1}=s_{t+1}] ds_{t+1}$$ G ( K ) t =Rt+γG ( K - 1 ) t + 1 E[G ( K - 1 ) t + 1 | St+1=s′,S використовуючи , Thm. 2 вище, ніж Thm. 1 на а потім за допомогою прямої війни за маргіналізацію видно, що для всіх . Тепер нам потрібно застосувати межу до обох сторін рівняння. Для того, щоб вивести межу в інтеграл над простором стану нам потрібно зробити кілька додаткових припущень:$G_t^{(K)} = R_t + \gamma G_{t+1}^{(K-1)}$$E[G_{t+1}^{(K-1)}|S_{t+1}=s', S_t=s_t]$$p(r_q|s_{t+1}, s_t) = p(r_q|s_{t+1})$$q \geq t+1$$K \to \infty$$S$

Або простір стану кінцевий (тоді і сума кінцева), або всі винагороди є позитивними (тоді ми використовуємо монотонну конвергенцію), або всі нагороди негативні (тоді ми ставимо знак мінус перед рівняння і знову використовуємо монотонну конвергенцію) або всі нагороди обмежені (тоді ми використовуємо домінуючу конвергенцію). Тоді (застосовуючи до обох сторін часткового / кінцевого рівняння Беллмана вище), отримуємо$\int_S = \sum_S$$\lim_{K \to \infty}$

$$E[G_t | S_t=s_t] = E[G_t^{(K)} | S_t=s_t] = E[R_{t} | S_t=s_t] + \gamma \int_S p(s_{t+1}|s_t) E[G_{t+1} | S_{t+1}=s_{t+1}] ds_{t+1}$$

і тоді інше - це звичайна маніпуляція з щільністю.

ЗАБЕЗПЕЧЕННЯ: Навіть у дуже простих завданнях простір станів може бути нескінченним! Одним із прикладів може бути завдання «врівноваження полюса». Стан - це по суті кут полюса (значення в , незліченна безмежна множина!)$[0, 2\pi)$

ЗАБЕЗПЕЧЕННЯ: Люди можуть коментувати тісто, цей доказ можна скоротити набагато більше, якщо просто використовувати щільність безпосередньо і показати, що '... АЛЕ мої запитання:$G_t$$p(g_{t+1}|s_{t+1}, s_t) = p(g_{t+1}|s_{t+1})$

1. Звідки ви навіть знаєте, що має щільність?$G_{t+1}$
2. Звідки ви навіть знаєте, що має спільну щільність разом із ?$G_{t+1}$$S_{t+1}, S_t$
3. Як можна зробити висновок, що ? Це не тільки властивість Маркова: властивість Маркова лише щось розповідає про граничні розподіли, але вони не обов'язково визначають весь розподіл, див., Наприклад, багатоваріантність гауссів!$p(g_{t+1}|s_{t+1}, s_t) = p(g_{t+1}|s_{t+1})$

Нехай загальна сума дисконтованих винагород за часом буде: $t$
$G_t = R_{t+1}+\gamma R_{t+2}+\gamma^2 R_{t+3}+...$

Значення корисності старту в стані, в момент часу, еквівалентно очікуваній сумі дисконтованих винагород виконуючої політики починаючи з стану далі. За визначенням За законом лінійності Законом від$s$$t$
$R$$\pi$$s$
$U_\pi(S_t=s) = E_\pi[G_t|S_t = s]$
$\\ = E_\pi[(R_{t+1}+\gamma R_{t+2}+\gamma^2 R_{t+3}+...)|S_t = s]$$G_t$
$= E_\pi[(R_{t+1}+\gamma (R_{t+2}+\gamma R_{t+3}+...))|S_t = s]$
$= E_\pi[(R_{t+1}+\gamma (G_{t+1}))|S_t = s]$
$= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[ G_{t+1}|S_t = s]$
= E π [ R t + 1 | S t = s ] + γ E π [ E π ( G t + 1 | S t + 1 = s ′ ) | S t = s ] = E π [ R t + 1 | S t = s ] + γ E π [ $= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[E_\pi(G_{t+1}|S_{t+1} = s')|S_t = s]$Загальний очікування За визначенням За законом лінійності
π ( S t + 1 = s ′ ) | S t = s ] U π = E π [ R t + 1 + γ U π ( S t + 1 = s ′ ) | S t = s $= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[U_\pi(S_{t+1}= s')|S_t = s]$$U_\pi$
$= E_\pi[R_{t+1} + \gamma U_\pi(S_{t+1}= s')|S_t = s]$

Якщо припустити, що процес задовольняє властивість Маркова:
ймовірність, що закінчується в стані , починаючи зі стану і вживаючи дії , і винагорода закінчується в стані , починаючи зі стану і вживаючи дії , $Pr$$s'$$s$$a$
$Pr(s'|s,a) = Pr(S_{t+1} = s', S_t=s,A_t = a)$
$R$$s'$$s$$a$
$R(s,a,s') = [R_{t+1}|S_t = s, A_t = a, S_{t+1}= s']$

Тому ми можемо переписати вище рівняння утиліти як,
$= \sum_a \pi(a|s) \sum_{s'} Pr(s'|s,a)[R(s,a,s')+ \gamma U_\pi(S_{t+1}=s')]$

Де; : ймовірність вжити заходів коли в штаті для стохастичної політики. Для детермінованої політикиπ ( a | s ) a s ∑ a π ( a | s ) = $\pi(a|s)$$a$$s$$\sum_a \pi(a|s)= 1$

Ось мій доказ. Він заснований на маніпулюванні умовними розподілами, що полегшує їх дотримання. Сподіваюся, що цей вам допоможе.

$$\begin{align} v_{\pi}(s)&=E{\left[G_t|S_t=s\right]} \nonumber \\ &=E{\left[R_{t+1}+\gamma G_{t+1}|S_t=s\right]} \nonumber \\ &= \sum_{s'}\sum_{r}\sum_{g_{t+1}}\sum_{a}p(s',r,g_{t+1}, a|s)(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}\sum_{g_{t+1}}p(s',r,g_{t+1} |a, s)(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}\sum_{g_{t+1}}p(s',r|a, s)p(g_{t+1}|s', r, a, s)(r+\gamma g_{t+1}) \nonumber \\ &\text{Note that $p(g_{t+1}|s', r, a, s)=p(g_{t+1}|s')$ by assumption of MDP} \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)\sum_{g_{t+1}}p(g_{t+1}|s')(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)(r+\gamma\sum_{g_{t+1}}p(g_{t+1}|s')g_{t+1}) \nonumber \\ &=\sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)\left(r+\gamma v_{\pi}(s')\right) \label{eq2} \end{align}$$ Це відоме рівняння Беллмана.

Що з наступним підходом?

$$\begin{align} v_\pi(s) & = \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_t = s\right] \\ & = \sum_a \pi(a \mid s) \sum_{s'} \sum_r p(s', r \mid s, a) \cdot \,\\ & \qquad \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_{t} = s, A_{t+1} = a, S_{t+1} = s', R_{t+1} = r\right] \\ & = \sum_a \pi(a \mid s) \sum_{s', r} p(s', r \mid s, a) \left[r + \gamma v_\pi(s')\right]. \end{align}$$

Суми вводяться для отримання , та з . Адже можливі дії та можливі наступні стани можуть бути. За таких додаткових умов лінійність очікування веде до результату майже безпосередньо.a s ′ r $a$$s'$$r$$s$

Я не впевнений, наскільки суворий мій аргумент математично. Я відкритий для вдосконалень.

Це лише коментар / доповнення до прийнятої відповіді.

Мене збентежило те, що застосовується закон загального очікування. Я не думаю, що тут може допомогти основна форма закону загальних очікувань. Тут насправді потрібен варіант цього.

Якщо є випадковими змінними і припускаючи, що всі очікування існують, то має місце така ідентичність:$X,Y,Z$

$E[X|Y] = E[E[X|Y,Z]|Y]$

У цьому випадку , і . Потім$X= G_{t+1}$$Y = S_t$$Z = S_{t+1}$

$E[G_{t+1}|S_t=s] = E[E[G_{t+1}|S_t=s, S_{t+1}=s'|S_t=s]$ , який за властивістю Маркова еквівалентно$E[E[G_{t+1}|S_{t+1}=s']|S_t=s]$

Звідти можна було прослідкувати решту доказів з відповіді.

E π (⋅)ππ(a | s)a$\mathbb{E}_\pi(\cdot)$ зазвичай позначає очікування, припускаючи, що агент дотримується політики . У цьому випадку видається недетермінованим, тобто повертає ймовірність того, що агент вчинить дії коли знаходиться в стані .$\pi$$\pi(a|s)$$a$$s$

Схоже, , нижній регістр, замінює , випадкову змінну. Друге очікування замінює нескінченну суму, щоб відобразити припущення, що ми продовжуємо слідувати для всіх майбутніх . - це очікувана негайна винагорода на наступному етапі часу; Друге очікування-який стає це очікуване значення наступного стану, зважених за ймовірністю намотування в стан , взявши з .r $r$ t + 1 πt ∑ s ′ , r r⋅p(s ′ ,r | s,a) v π s ′ a$R_{t+1}$$\pi$$t$$\sum_{s',r} r \cdot p(s′,r|s,a)$$v_\pi$$s'$$a$$s$

Таким чином, очікування враховує ймовірність політики, а також функції переходу та винагороди, виражені разом як .$p(s', r|s,a)$

незважаючи на те, що правильна відповідь вже надіслана і пройшов деякий час, я вважав, що наступний покроковий посібник може бути корисним:
За лінійністю очікуваного значення ми можемо розділити в і . Я накресліть кроки лише для першої частини, оскільки друга частина слідує тими ж кроками, що поєднуються із Законом про сукупні очікування.$E[R_{t+1} + \gamma E[G_{t+1}|S_{t}=s]]$$E[R_{t+1}|S_t=s]$$\gamma E[G_{t+1}|S_{t}=s]$

$$\begin{align} E[R_{t+1}|S_t=s]&=\sum_r{ r P[R_{t+1}=r|S_t =s]} \\ &= \sum_a{ \sum_r{ r P[R_{t+1}=r, A_t=a|S_t=s]}} \qquad \text{(III)} \\ &=\sum_a{ \sum_r{ r P[R_{t+1}=r| A_t=a, S_t=s] P[A_t=a|S_t=s]}} \\ &= \sum_{s^{'}}{ \sum_a{ \sum_r{ r P[S_{t+1}=s^{'}, R_{t+1}=r| A_t=a, S_t=s] P[A_t=a|S_t=s] }}} \\ &=\sum_a{ \pi(a|s) \sum_{s^{'},r}{p(s^{'},r|s,a)} } r \end{align}$$

Тоді як (III) має форму:

$$\begin{align} P[A,B|C]&=\frac{P[A,B,C]}{P[C]} \\ &= \frac{P[A,B,C]}{P[C]} \frac{P[B,C]}{P[B,C]}\\ &= \frac{P[A,B,C]}{P[B,C]} \frac{P[B,C]}{P[C]}\\ &= P[A|B,C] P[B|C] \end{align}$$

Я знаю, що вже є прийнята відповідь, але я хочу надати більш конкретний вихід. Я також хотів би зазначити, що хоча трюк @ Jie Shi дещо має сенс, але мені це стає дуже незручно :(. Нам потрібно врахувати часовий вимір, щоб зробити цю роботу. І важливо зазначити, що очікування насправді є взято на весь нескінченний горизонт, а не просто над і . Припустимо, ми починаємо з (насправді, деривація однакова незалежно від часу початку; я не хочу забруднювати рівняння з іншим підписним ) $s$$s'$$t=0$$k$

$$\begin{align} v_{\pi}(s_0)&=\mathbb{E}_{\pi}[G_{0}|s_0]\\ G_0&=\sum_{t=0}^{T-1}\gamma^tR_{t+1}\\ \mathbb{E}_{\pi}[G_{0}|s_0]&=\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\\ &\times\Big(\sum_{t=0}^{T-1}\gamma^tr_{t+1}\Big)\bigg)\\ &=\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\\ &\times\Big(r_1+\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\Big)\bigg) \end{align}$$ T→∞∑a∑b∑cabc≡∑aa∑bb∑cc ВІДПОВІДАЛИ, ЩО ВІДПОВІДНІ РІВНЯННІ , ФАКТУВАННЯ БУДЕ ПРАВИЛЬНО ДО КІНЦЯ УНІВЕРСІЮ (можливо, трохи перебільшеним :))$T\rightarrow\infty$
На цьому етапі, я вважаю, більшість із нас уже повинні мати на увазі, як вищезазначене призводить до остаточного вираження - нам просто потрібно застосовувати правило суми-продукту ( ) кропітко . Застосуємо закон лінійності очікування до кожного терміна всередині$\sum_a\sum_b\sum_cabc\equiv\sum_aa\sum_bb\sum_cc$$\Big(r_{1}+\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\Big)$

Частина 1

$$\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\times r_1\bigg)$$

Ну це досить тривіально, всі ймовірності зникають (насправді сума до 1), крім тих, що стосуються . Тому маємо $r_1$

$$\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times r_1$$

Частина 2
Здогадайтеся, ця частина є ще більш тривіальною - вона передбачає лише перестановку послідовності підсумовування.

$$\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\bigg)\\=\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\bigg(\sum_{a_1}\pi(a_1|s_1)\sum_{a_{2},...a_{T}}\sum_{s_{2},...s_{T}}\sum_{r_{2},...r_{T}}\bigg(\prod_{t=0}^{T-2}\pi(a_{t+2}|s_{t+2})p(s_{t+2},r_{t+2}|s_{t+1},a_{t+1})\bigg)\bigg)$$

І Еврика !! ми відновимо рекурсивну схему в бік великих дужок. Об’єднаємо його з , і отримаємо і частина 2 стає $\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}$$v_{\pi}(s_1)=\mathbb{E}_{\pi}[G_1|s_1]$

$$\gamma\mathbb{E}_{\pi}[G_1|s_1]=\sum_{a_1}\pi(a_1|s_1)\sum_{a_{2},...a_{T}}\sum_{s_{2},...s_{T}}\sum_{r_{2},...r_{T}}\bigg(\prod_{t=0}^{T-2}\pi(a_{t+2}|s_{t+2})p(s_{t+2},r_{t+2}|s_{t+1},a_{t+1})\bigg)\bigg(\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\bigg)$$
$$\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times \gamma v_{\pi}(s_1)$$

Частина 1 + Частина 2

$$v_{\pi}(s_0) =\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times \Big(r_1+\gamma v_{\pi}(s_1)\Big)$$

А тепер, якщо ми можемо підтягнути часовий вимір та відновити загальні рекурсивні формули

$$v_{\pi}(s) =\sum_a \pi(a|s)\sum_{s',r} p(s',r|s,a)\times \Big(r+\gamma v_{\pi}(s')\Big)$$

Підсумкове зізнання, я сміявся, коли побачив, як люди вище згадують про використання закону загального сподівання. Так ось я

На це питання вже існує дуже багато відповідей, але більшість стосується кількох слів, що описують, що відбувається в маніпуляціях. Я думаю, що я відповім на це набагато більше слів. Починати,

$$G_{t} \doteq \sum_{k=t+1}^{T} \gamma^{k-t-1} R_{k}$$

визначається в рівнянні 3.11 Саттона і Барто, з постійним коефіцієнтом дисконтування і ми можемо мати або , але не обидва. Оскільки винагорода, , є випадковими змінними, так і оскільки це лише лінійна комбінація випадкових змінних.$0 \leq \gamma \leq 1$$T = \infty$$\gamma = 1$$R_{k}$$G_{t}$

$$\begin{align} v_\pi(s) & \doteq \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_t = s\right] \\ & = \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] + \gamma \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] \end{align}$$

Цей останній рядок випливає з лінійності значень очікування. - це винагорода, яку отримує агент після вступу в дію на етапі часу . Для простоти я припускаю, що він може приймати кінцеву кількість значень . $R_{t+1}$$t$$r \in \mathcal{R}$

Робота над першим терміном. Словом, мені потрібно обчислити значення очікування враховуючи, що ми знаємо, що поточний стан є . Формула для цього є$R_{t+1}$$s$

$$\begin{align} \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] = \sum_{r \in \mathcal{R}} r p(r|s). \end{align}$$

Іншими словами, ймовірність появи винагороди залежить від стану ; різні держави можуть мати різну винагороду. Цей розподіл є граничним розподілом розподілу, який також містив змінні і , дію, зроблену в момент і стан в момент після дії відповідно:$r$$s$$p(r|s)$$a$$s'$$t$$t+1$

$$\begin{align} p(r|s) = \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(s',a,r|s) = \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} \pi(a|s) p(s',r | a,s). \end{align}$$

Де я використав , дотримуючись конвенції книги. Якщо ця остання рівність є заплутаною, забудьте про суми, придушіть (ймовірність тепер виглядає як спільна ймовірність), використовуйте закон множення і, нарешті, введіть умову на у всіх нових умовах. Зараз легко зрозуміти, що перший термін є$\pi(a|s) \doteq p(a|s)$$s$$s$

$$\begin{align} \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} r \pi(a|s) p(s',r | a,s), \end{align}$$

по мірі необхідності. Про другий член, де я припускаю, що - випадкова величина, яка приймає кінцеву кількість значень . Як і перший термін:$G_{t+1}$$g \in \Gamma$

$$\begin{align} \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] = \sum_{g \in \Gamma} g p(g|s). \qquad\qquad\qquad\qquad (*) \end{align}$$

Ще раз я "не маргіналізую" розподіл ймовірностей шляхом написання (знову закон множення)

$$\begin{align} p(g|s) & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(s',r,a,g|s) = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r, a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r | a, s) \pi(a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r | a, s) \pi(a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s') p(s', r | a, s) \pi(a | s) \qquad\qquad\qquad\qquad (**) \end{align}$$

Останній рядок там випливає із власності Марковія. Пам'ятайте, що - це сума всіх майбутніх (дисконтованих) нагород, які отримує агент після стану . Властивість Марковія полягає в тому, що процес не має пам'яті стосовно попередніх станів, дій та винагород. Майбутні дії (і винагороди, які вони отримують) залежать лише від стану, в якому вживаються дії, тому , за припущенням. Добре, тож другий термін у доказі зараз$G_{t+1}$ s ′ p ( g | s ′ , r ,$s'$$p(g | s', r, a, s) = p(g | s')$

$$\begin{align} \gamma \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] & = \gamma \sum_{g \in \Gamma} \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} g p(g | s') p(s', r | a, s) \pi(a | s) \\ & = \gamma \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} \mathbb{E}_{\pi}\left[ G_{t+1} | S_{t+1} = s' \right] p(s', r | a, s) \pi(a | s) \\ & = \gamma \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} v_{\pi}(s') p(s', r | a, s) \pi(a | s) \end{align}$$

як потрібно, ще раз. Поєднання двох термінів завершує доказ

$$\begin{align} v_\pi(s) & \doteq \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \sum_{a \in \mathcal{A}} \pi(a | s) \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} p(s', r | a, s) \left[ r + \gamma v_{\pi}(s') \right]. \end{align}$$

ОНОВЛЕННЯ

Я хочу розглянути питання про те, що може бути схожим на хитрості рук у походженні другого терміна. У рівнянні, позначеному символом , я використовую термін а потім пізніше в рівнянні, позначеному я стверджую, що не залежить від , аргументуючи властивість Маркова. Отже, ви можете сказати, що якщо це так, то . Але це неправда. Я можу взяти тому що ймовірність зліва від цього твердження говорить про те, що це ймовірність обумовлена , , , і$(*)$$p(g|s)$$(**)$$g$$s$$p(g|s) = p(g)$$p(g | s', r, a, s) \rightarrow p(g | s')$$g$$s'$$a$$r$$s$. Тому що ми знаємо , або приймаємо на себе держава , жоден з інших умовних не мають значення, так як Марківське властивість. Якщо ви не знаєте , чи припустити , що стан , то майбутні нагороди (значення ) будуть залежати від стану ви починаєте з, тому що це буде визначати (на основі політики) , які держава ви починаєте при обчисленні .$s'$$s'$$g$$s'$$g$

Якщо цей аргумент не переконує вас, спробуйте обчислити, що таке :$p(g)$

$$\begin{align} p(g) & = \sum_{s' \in \mathcal{S}} p(g, s') = \sum_{s' \in \mathcal{S}} p(g | s') p(s') \\ & = \sum_{s' \in \mathcal{S}} p(g | s') \sum_{s,a,r} p(s', a, r, s) \\ & = \sum_{s' \in \mathcal{S}} p(g | s') \sum_{s,a,r} p(s', r | a, s) p(a, s) \\ & = \sum_{s \in \mathcal{S}} p(s) \sum_{s' \in \mathcal{S}} p(g | s') \sum_{a,r} p(s', r | a, s) \pi(a | s) \\ & \doteq \sum_{s \in \mathcal{S}} p(s) p(g|s) = \sum_{s \in \mathcal{S}} p(g,s) = p(g). \end{align}$$

Як видно в останньому рядку, не вірно, що . Очікуване значення залежить від того, у якому стані ви починаєте (тобто ідентифікація ), якщо ви не знаєте чи не припускаєте стан .$p(g|s) = p(g)$$g$$s$$s'$