Чому завжди існує принаймні одна політика, яка краща або рівна всім іншим політикам?

Навчання зміцненню: вступ. Друге видання, у стадії розробки , Річард С. Саттон та Ендрю Г. Барто (с) 2012, стор 67-68.

Розв’язання навчального завдання з підкріпленням означає, приблизно, пошук політики, яка досягає великої винагороди за довгостроковий період. Для кінцевих MDP ми можемо точно визначити оптимальну політику наступним чином. Функції значення визначають часткове впорядкування по політиках. Політика визначається як краща або дорівнює політиці якщо її очікувана віддача більша або дорівнює для всіх держав. Іншими словами, тоді і лише тоді, коли , для всіх . Завжди існує принаймні одна політика, яка краща або рівна всім іншим правилам. Це оптимальна політика. $\pi$ $\pi'$ $\pi'$ $\pi \geq \pi'$ $v_\pi(s) \geq v_{\pi'}(s)$ $s \in \mathcal{S}$

markov-process reinforcement-learning

— sh1ng
джерело

Дуже детальний доказ (що використовує теорему фіксованої точки Банаха) міститься в главі 6.2 «Процесів рішення Маркова» Путермана.

— Тогс

Відповіді:

Тільки повз цитовану частину той самий абзац насправді говорить вам, що це за політика: саме та сама вживає найкращих дій у кожній державі. У МДП дії, які ми вживаємо в одній державі, не впливають на винагороду за дії, вжиті в інших, тому ми можемо просто максимізувати політику в різних країнах.

— Дон Реба
джерело

Хіба ця відповідь не зовсім помилкова? Як можна сказати, що оптимізація стану політики за державою призводить до оптимальної політики. Якщо я оптимізую за стан

і це потребує мене

а потім оптимізація при

призводить до оптимального значення значення

але існує інша політика, в якій

веде субоптимально до

і оптимальної значення значення

вище, ніж

. Як можна виключати це шляхом такого короткого аналізу?

S_{t}

$S_t$

S_{t + 1}

$S_{t+1}$

S_{t + 1}

$S_{t+1}$

V_{t + 1}

$V_{t+1}$

S_{t}

$S_t$

S_{l}

$S_l$

S_{l}

$S_l$

V_{t + 1}

$V_{t+1}$

— MiloMinderbinder

@MiloMinderbinder Якщо оптимальною політикою в

є вибір

, то значення

вище, ніж значення

S_{t}

$S_t$

S_{t + 1}

$S_{t+1}$

S_{t + 1}

$S_{t+1}$

S_{l}

$S_l$

— Дон Реба

Моє ліжко. Друкар виправив: "Чи не ця відповідь є абсолютно неправильною? Як ви можете сказати, що оптимізація політики за державою призводить до оптимальної політики? Якщо я оптимізувати над державної

, і він приймає мене до

, а потім оптимізацію при

призводить до значення оптимальна функція

, але є інша політика , в якій

, хоча призводить недооптимально до

і, отже, значення функції

S_{t}

$S_t$

S_{t + 1}

$S_{t+1}$

S_{t + 1}

$S_{t+1}$

V_{t + 2}

$V_{t+2}$

S_{t + 2}

$S_{t+2}$

S_{t}

$S_t$

S_{l + 1}

$S_{l+1}$

S_{t + 1}

$S_{t+1}$ вище, ніж

але функція значення

вище за цією політикою, ніж за політикою, знайденою шляхом оптимізації стану за станом. Як це ви скасуєте?

V_{l + 1}

$V_{l+1}$

S_{t + 2}

$S_{t+2}$

— MiloMinderbinder

Я думаю, що визначення

перешкоджатиме цьому в першу чергу, оскільки воно має враховувати й майбутні прибутки.

V

$V$

— Flying_Banana

Тоді виникає питання: чому існує

? Ви не можете обійти теорему фіксованої точки Банаха :-)

q_{*}

$q_*$

— Фабіан Вернер

Існування оптимальної політики не очевидно. Щоб зрозуміти чому, зауважте, що функція значення забезпечує лише часткове впорядкування по простору політик. Це означає:

π^{'} \geq π ⟺ v_{π^{'}} (s) \geq v_{π} (s), \forall s \in S

$\pi' \geq \pi \iff v_{\pi'}(s) \geq v_{\pi}(s), \forall s \in S$

Оскільки це лише часткове впорядкування, може статися випадок, коли дві політики, і , не порівнянні. Іншими словами, існують підмножини простору стану, і такі: $\pi_1$ $\pi_2$ $S_1$ $S_2$

v_{π^{'}} (s) \geq v_{π} (s), \forall s \in S_{1}

$v_{\pi'}(s) \geq v_{\pi}(s), \forall s \in S_1$

v_{π} (s) \geq v_{π^{'}} (s), \forall s \in S_{2}

$v_{\pi}(s) \geq v_{\pi'}(s),\forall s \in S_2$

У цьому випадку ми не можемо сказати, що одна політика краща за іншу. Але якщо ми маємо справу з кінцевими МДП з обмеженими значеннями функцій, то такий сценарій ніколи не виникає. Існує саме одна функція оптимального значення, хоча може бути кілька оптимальних політик.

Для підтвердження цього вам потрібно зрозуміти теорему фіксованої точки Банаха. Детальний аналіз див .

— Картік Тіагараджан
джерело

$\newcommand{\mc}{\mathcal} \newcommand{\mb}{\mathbb}$

Налаштування

Ми розглядаємо в налаштуваннях:

Дискретні дії
Дискретні стани
Обмежені винагороди
Стаціонарна політика
Нескінченний обрій

\begin{matrix} (1) & π^{*} \in \arg max_{π} V^{π} (s), \forall s \in S \end{matrix}

$\pi^\ast \in \arg \max_\pi V^\pi(s), \forall s \in \mc{S} \tag{1}$

\begin{matrix} (2) & V^{*} = max_{π} V^{π} (s), \forall s \in S \end{matrix}

$V^\ast = \max_\pi V^\pi (s), \forall s \in \mc S \tag{2}$

\begin{matrix} (3) & V^{*} = V^{π^{*}} \end{matrix}

$V^\ast = V^{\pi^\ast} \tag{3}$

Питання

Як довести, що існує принаймні одна яка задовольняє (1) одночасно для всіх ? $\pi^\ast$ $s \in \mc{S}$

Структура доказу

Побудуйте оптимальне рівняння, яке буде використано як тимчасове сурогатне визначення функції оптимального значення, яке ми докажемо на кроці 2, що воно еквівалентне визначенню за допомогою рівняння (2).
$\begin{matrix} (4) & V^{*} (s) = max_{a \in A} [R (s, a) + γ \sum_{s^{'} \in S} T (s, a, s^{'}) V^{*} (s^{'})] \end{matrix}$ $V^\ast(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V^\ast(s^\prime)] \tag{4}$
Отримати еквівалентність визначення функції оптимального значення за допомогою рівняння (4) та через рівняння (2).

(Зазначимо, насправді нам потрібен лише напрямок необхідності у доказуванні, оскільки достатня кількість очевидна, оскільки ми побудували рівняння (4) з рівняння (2).)
Доведіть, що існує унікальне рішення рівняння (4).
На етапі 2 ми знаємо, що розчин, отриманий на етапі 3, також є рішенням рівняння (2), тому це оптимальна величина функції.
З функції оптимального значення ми можемо відновити оптимальну політику, вибравши дію максимізатора у рівнянні (4) для кожного стану.

Деталі кроків

Оскільки , у нас . І якщо є будь-який такий, що , ми можемо виберіть кращу політику шляхом максимізації над . $V^\ast(s) = V^{\pi^\ast}(s) = \mb E_a [Q^{\pi^\ast}(s, a)]$ $V^{\pi^\ast}(s) \le \max_{a \in \mc A} Q^{\pi^\ast} (s, a)$ $\tilde{s}$ $V^{\pi^\ast} \neq \max_{a \in \mc A} Q^{\pi^\ast} (s, a)$ $Q^{\ast} (s, a) = Q^{\pi^\ast} (s, a)$ $a$

(=>)

Виконує етап 1.

(<=)

тобто якщо задовольняє , тоді . $\tilde V$ $\tilde V(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) \tilde V(s^\prime)]$ $\tilde V(s) = V^\ast(s) = \max_\pi V^\pi(s), \forall s \in \mc S$

Визначте оптимального оператора Беллмана як Отже, наша мета - довести, що якщо , то . Ми показуємо це, комбінуючи два результати, слідуючи за Путерманом [1]:

\begin{matrix} (5) & T V (s) = max_{a \in A} [R (s, a) + γ \sum_{s^{'} \in S} T (s, a, s^{'}) V (s^{'})] \end{matrix}

$\mc T V(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V(s^\prime)] \tag{5}$

\tilde{V} = T \tilde{V}

$\tilde V = \mc T \tilde V$

\tilde{V} = V^{*}

$\tilde V = V^\ast$

а) Якщо , то . $\tilde V \ge \mc T \tilde V$ $\tilde V \ge V^\ast$

б) Якщо , то . $\tilde V \le \mc T \tilde V$ $\tilde V \le V^\ast$

Доказ:

а)

Для будь-якого , Тут - правило рішення (профіль дії в певний час), - векторне представлення негайної винагороди індукований від і - матриця переходу, індукована з . $\pi = (d_1, d_2, ...)$

\begin{aligned} \tilde{V} & \geq T \tilde{V} = max_{d} [R_{d} + γ P_{d} \tilde{V}] \\ \geq R_{d_{1}} + γ P_{d_{1}} \tilde{V} \end{aligned}

$\begin{align} \tilde V &\ge \mc T \tilde V = \max_{d} [ R_d + \gamma \, P_d \tilde V] \\ &\ge R_{d_1} + \gamma \, P_{d_1} \tilde V \\ \end{align}$

d

$d$

R_{d}

$R_d$

d

$d$

P_{d}

$P_d$

d

$d$

За індукції, для будь-якого , де являє собою -ступеневу матрицю переходу під . $n$

\tilde{V} \geq R_{d_{1}} + \sum_{i = 1}^{n - 1} γ^{i} P_{π}^{i} R_{d_{i + 1}} + γ^{n} P_{π}^{n} \tilde{V}

$\tilde V \ge R_{d_1} + \sum_{i=1}^{n-1} \gamma^i P_\pi^i R_{d_{i+1}} + \gamma^n P_\pi^n \tilde V$

P_{π}^{j}

$P_\pi^j$

j

$j$

π

$\pi$

Оскільки ми маємо Отже, у нас є . І оскільки це справедливо для будь-якого , ми робимо висновок, що b)

V^{π} = R_{d_{1}} + \sum_{i = 1}^{\infty} γ^{i} P_{π}^{i} R_{d_{i + 1}}

$V^\pi = R_{d_1} + \sum_{i=1}^{\infty}\gamma^i P_\pi^i R_{d_{i+1}}$

\tilde{V} - V^{π} \geq \underset{\to 0 as n \to \infty}{\underset{⏟}{γ^{n} P_{π}^{n} \tilde{V} - \sum_{i = n}^{\infty} γ^{i} P_{π}^{i} R_{d_{i + 1}}}}

$\tilde V - V^\pi \ge \underbrace{\gamma^n P_\pi^n \tilde V -\sum_{i=n}^{\infty}\gamma^i P_\pi^i R_{d_{i+1}}}_{\rightarrow 0 \ \text{as}\ n\rightarrow \infty}$

\tilde{V} \geq V^{π}

$\tilde V \ge V^\pi$

π

$\pi$

\tilde{V} \geq max_{π} V^{π} = V^{*}

$\tilde V \ge \max_\pi V^\pi = V^\ast$

Випливає з кроку 1.

Оптимальний оператор Беллмана - це скорочення в нормі , пор. [2]. $L_\infty$

Доказ: Для будь-яких , where in (*) ми використали той факт, що $s$

\begin{aligned} | T V_{1} (s) - T V_{2} (s) | & = | max_{a \in A} [R (s, a) + γ \sum_{s^{'} \in S} T (s, a, s^{'}) V_{1} (s^{'})] - max_{a^{'} \in A} [R (s, a^{'}) + γ \sum_{s^{'} \in S} T (s, a^{'}, s^{'}) V (s^{'})] | \\ \overset{(*)}{\leq} | max_{a \in A} [γ \sum_{s^{'} \in S} T (s, a, s^{'}) (V_{1} (s^{'}) - V_{2} (s^{'}))] | \\ \leq γ ‖ V_{1} - V_{2} ‖_{\infty} \end{aligned}

$\begin{align} \left\vert \mc T V_1(s) - \mc TV_2(s) \right\vert &= \left\vert \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V_1(s^\prime)] -\max_{a^\prime \in \mc A} [ R(s, a^\prime) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a^\prime, s^\prime) V(s^\prime)]\right\vert \\ &\overset{(*)}{\le} \left\vert \max_{a \in \mc A} [\gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) (V_1(s^\prime) - V_2(s^\prime))] \right\vert \\ &\le \gamma \Vert V_1 - V_2 \Vert_\infty \end{align}$

max_{a} f (a) - max_{a^{'}} g (a^{'}) \leq max_{a} [f (a) - g (a)]

$\max_a f(a) - \max_{a^\prime} g(a^\prime) \le \max_a [f(a) - g(a)]$

Таким чином, з теорема фіксованої точки Банаха випливає, що має унікальну фіксовану точку. $\mc T$

Список літератури

[1] Путерман, Мартін Л. "Процеси прийняття рішень Маркова: Дискретне стохастичне динамічне програмування". (2016).

[2] А. Лазарик. http://researchers.lille.inria.fr/~lazaric/Webpage/MVA-RL_Course14_files/slides-lecture-02-handout.pdf

— LoveIris
джерело