Чому алгоритм ітерації політики переходить до оптимальної функції політики та значення?

Я читав конспекти лекцій Ендрю Нґ про навчання підкріплення, і я намагався зрозуміти, чому ітерація політики перейшла до функції оптимального значення$V^*$та оптимальна політика .$\pi^*$

Нагадаємо, ітерація політики:

$\text{Initialize $\pi$ randomly} \\ \text{Repeat}\{\\ \quad Let \ V := V^{\pi} \text{ \\for the current policy, solve bellman's eqn's and set that to the current V}\\ \quad Let \ \pi(s) := argmax_{a \in A} \sum_{s'}P_{sa}(s') V(s')\\ \}$

Чому жадібний алгоритм призводить до оптимальної політики та функції оптимального значення? (Я знаю, що жадібні алгоритми не завжди гарантують це або можуть застрягти в локальних оптимах, тому я просто хотів побачити доказ його оптимальності алгоритму).

Крім того, мені здається, що ітерація політики є чимось аналогічним кластеризації чи градієнту. До кластеризації, оскільки з поточним налаштуванням параметрів ми оптимізуємо. Схожий на спуск градієнта, оскільки він просто вибирає якесь значення, яке, здається, збільшує деяку функцію. Ці два методи не завжди сходяться до оптимальних максимумів, і я намагався зрозуміти, чим цей алгоритм відрізняється від попереднього, про який я згадував.

---

Це мої думки поки що:

Скажімо, що ми починаємо з певної політики , після першого кроку для цієї фіксованої політики ми маємо таке:$\pi_1$

$V^{\pi_1}(s) = R(s) + \gamma \sum_{s'}P_{s\pi_1(s)}(s')V^{\pi_1}(s')$

$V^{(1)} := V^{\pi_1}(s)$

Де V ^ {(1)} функція значення для першої ітерації. Потім після другого кроку ми вибираємо нову політику для збільшення значення . Тепер, з новою політикою , якщо ми робимо другий крок алгоритму, виконується така нерівність:$\pi_2$$V^{\pi_1}(s)$$\pi_2$

$R(s) + \gamma \sum_{s'}P_{s\pi_1(s)}(s')V^{\pi_1}(s') \leq R(s) + \gamma \sum_{s'}P_{s\pi_2(s)}(s')V^{\pi_1}(s')$

Тому що ми вибираємо на другому кроці для збільшення функції значення на попередньому кроці (тобто для поліпшення . Поки зрозуміло, що вибір може збільшити лише V ^ {(1)}, бо то , як ми вибираємо . Тим НЕ менше, моя плутанина відбувається на етапі повторення , тому що , як тільки ми повторимо і повернутися до кроку 1, ми на самому ділі змінити становище речей повністю , тому що ми перерахувати для нової політики . Що дає:$\pi_2$$V^{(1)}$$\pi_2$$\pi_2$$V^{2}$$\pi_2$

$V^{\pi_2}(s) = R(s) + \gamma \sum_{s'}P_{s\pi_2(s)}(s')V^{\pi_2}(s')$

але це НЕ:

$V^{\pi_1}(s) = R(s) + \gamma \sum_{s'}P_{s\pi_2(s)}(s')V^{\pi_1}(s')$

Це, здається, є проблемою, оскільки для покращення було обрано , а не цей новий . В основному проблема полягає в тому, що гарантує поліпшення , роблячи замість з коли функцією значення є . Але на етапі повтору ми змінюємо на , але я не бачу, як це гарантує, що функція значення монотонно покращується при кожному повторенні, оскільки розраховувались для поліпшення функції значення, коли функції значення залишаються у$\pi_2$$V^{(1)}$$V^{\pi_2}$$pi_2$$R(s) + \gamma \sum_{s'}P_{s\pi_1(s)}(s')V^{\pi_1}(s')$$\pi_2$$pi_1$$V^{\pi_1}$$V^{\pi_1}$$V^{\pi_2}$$\pi_2$$V^{\pi_1}$, але крок 1 змінює на (що погано, оскільки я лише покращив попередню функцію значення, яку ми мали).$V^{\pi_1}$$V^{\pi_2}$$\pi_2$

Я думаю, що тобі не вистачає тієї частини $V^{\pi_2} \ge V^{\pi_1}$ гарантується з тієї ж причини, яку ми можемо замовити $\pi_2 \ge \pi_1$. Це, по суті, визначення того, що одна політика краща за іншу - щоб її ціннісна функція була більшою або рівною у всіх штатах. Ви гарантували це, вибравши максимізуючі дії - жодне значення стану не може бути гіршим, ніж було раніше, і якщо лише один вибір дій змінився, щоб вибрати кращу максимальну дію, то ви вже знаєте (але, можливо, не підрахували), що$V^{\pi_2}(s)$ бо ця держава буде вищою, ніж була $V^{\pi_1}(s)$.

Коли ми вирішимо максимізувати результати для отримання $\pi_2$, ми не знаємо, що нового $V^{\pi_2}(s)$ буде для будь-якої держави, але ми це знаємо $\forall s: V^{\pi_2}(s) \ge V^{\pi_1}(s)$.

Тому повернення через цикл і обчислення $V^{\pi_2}$ для нової політики гарантується, що вона матиме ті ж самі або більші значення, що й раніше, і коли мова заходить про оновлення політики знову, $\pi_3 \ge \pi_2 \ge \pi_1$.

Спочатку розберемося, чому працює алгоритм ітерації політики. Він має два кроки.

Крок оцінки політики:

$v_n = r_{d_n} + \gamma P_{d_n}v_n$ є загальною векторіальною формою системи лінійних рівнянь.

Ось умови $r_{d_n}, P_{d_n}$ є негайними нагородами та відповідними рядками перехідної матриці.

Ці умови залежать від політики $\Pi_n$

Розв’язуючи вищевказану систему рівнянь, ми можемо знайти значення $v_n$

Крок вдосконалення політики:

Припустимо, що нам вдалося знайти нову політику $\Pi_{n+1}$ такий як

$$\begin{align} r_{d_n+1} + \gamma P_{d_n+1}v_n & \ge r_{d_n} + \gamma P_{d_n}v_n \\ \implies r_{d_n+1} & \ge [I - \gamma P_{d_n+1}]v_n \quad \text{say this is eqn. 1}\\ \end{align}$$

Тепер, виходячи з нової політики $\Pi_{n+1}$, ми можемо знайти $v_{n+1} = r_{d_{n+1}} + \gamma P_{d_{n+1}}v_{n+1}$, скажімо, це рівняння 2.

Ми це покажемо $v_{n+1} \ge v_n$ ;

тобто по суті для всіх держав, новообрана політика $\Pi_{n+1}$ дає кращу цінність порівняно з попередньою політикою $\Pi_{n}$

Доказ:

З рівняння 2 маємо,

$[I - \gamma P_{d_{n+1}}]v_{n+1} = r_{d_n+1}$

З, $1 \&2$, ми маємо

$v_{n+1} \ge v_{n}$

По суті, значення монотонно зростають з кожною ітерацією.

Це важливо, щоб зрозуміти, чому інтенсивність політики не буде затримуватися на локальному максимумі.

Політика - це не що інше, як простір дій держави.

На кожному кроці ітерації політики ми намагаємось знайти хоча б одну дію, яка відрізняється між собою $\Pi_{n+1}$ і $\Pi_{n}$ і подивіться, чи $\quad r_{d_n+1} + \gamma P_{d_n+1}v_n \ge r_{d_n} + \gamma P_{d_n}v_n$. Тільки за умови виконання умови ми обчислимо рішення нової системи лінійних рівнянь.

Припустимо $\Pi^*$ і $\Pi^\#$ - глобальний та локальний оптимум відповідно.

Наслідки, $v_* \ge v_\#$

Припустимо, що алгоритм дотримується локального оптимуму.

Якщо це так, то крок вдосконалення політики не зупиниться на місцевому оптимальному просторі дії держави $\Pi^\#$, оскільки існує хоча б одна державна дія в Росії $\Pi^*$ що відрізняється від $\Pi^\#$ і дає більш високе значення $v_{*}$ у порівнянні з $v_{\#}$

або, іншими словами,

$[I-\gamma P_{d_*}]v_* \ge [I-\gamma P_{d_*}]v_{\#}$

$\implies r_{d_*} \ge [I-\gamma P_{d_*}]v_{\#}$

$\implies r_{d_*} + \gamma P_{d_*}v_{\#} \ge v_{\#}$

$\implies r_{d_*} + \gamma P_{d_*}v_{\#} \ge r_{d_\#} + \gamma P_{d_\#}v_\#$

Отже, ітерація політики не припиняється на локальному оптимальному рівні