Що таке функція Q та яка функція V у навчанні посилення?

30

Мені здається, що функцію можна легко виразити функцією і тому функція видається мені зайвою. Однак я новачок у навчанні підкріплення, тож я здогадуюсь, що щось не так. $V$ $Q$ $V$

Визначення

Q-і V-навчання в контексті процесів рішення Маркова . MDP представляє собою 5-кортеж $(S, A, P, R, \gamma)$ з

$S$ - це набір станів (як правило, кінцевих)
$A$ - це сукупність дій (зазвичай кінцевих)
$P(s, s', a) = P(s_{t+1} = s' | s_t = s, a_t = a)$ - це ймовірність переходу зі стану $s$ в стан $s'$ з дією $a$ .
$R(s, s', a) \in \mathbb{R}$ - це негайна винагорода після переходу від стану до стану за дії . (Мені здається, це, як правило, має значення лише ). $s$ $s'$ $a$ $s'$
$\gamma \in [0, 1]$ називається коефіцієнтом дисконтування і визначає, чи орієнтується на негайну винагороду ( ), загальну винагороду ( ) або якусь компромісну діяльність. $\gamma = 0$ $\gamma = 1$

Політика $\pi$ , в відповідно до підкріпленням: Введення Саттон і Барто функція (це може бути імовірнісним). $\pi: S \rightarrow A$

За словами Маріо Martins слайдами , то $V$ функція є

V^{π} (s) = E_{π} {R_{t} | s_{t} = s} = E_{π} {\sum_{k = 0}^{\infty} γ^{k} r_{t + k + 1} | s_{t} = s}

$V^\pi(s) = E_\pi \{R_t | s_t = s\} = E_\pi \{\sum_{k=0}^\infty \gamma^k r_{t+k+1} | s_t = s\}$ і функцією Q є

Q^{π} (s, a) = E_{π} {R_{t} | s_{t} = s, a_{t} = a} = E_{π} {\sum_{k = 0}^{\infty} γ^{k} r_{t + k + 1} | s_{t} = s, a_{t} = a}

$Q^\pi(s, a) = E_\pi \{R_t | s_t = s, a_t = a\} = E_\pi \{\sum_{k=0}^\infty \gamma^k r_{t+k+1} | s_t = s, a_t=a\}$

Мої думки

Функція $V$ визначає очікуване загальне значення (не винагорода!) Стану $s$ відповідно до політики $\pi$ .

Функція $Q$ визначає значення стану $s$ та дії $a$ відповідно до політики $\pi$ .

Це означає, що

Q^{π} (s, π (s)) = V^{π} (s)

$Q^\pi(s, \pi(s)) = V^\pi(s)$

Правильно? То чому ми взагалі функцію значення? (Я думаю, я щось переплутав)

machine-learning reinforcement-learning

— Мартін Тома
джерело

15

Q-значення - це чудовий спосіб зробити дії явними, тому ви можете вирішувати проблеми, коли функція переходу недоступна (відсутня модель). Однак, коли ваш простір дій великий, речі не такі приємні, а значення Q не такі зручні. Подумайте про величезну кількість дій чи навіть безперервних просторів дій.

З точки зору вибірки, розмірність вища, ніж тому може отримати важче отримати достатню кількість зразків порівняно з . Якщо у вас є доступ до функції переходу, іноді - це добре. $Q(s, a)$ $V(s)$ $(s, a)$ $(s)$ $V$

Є й інші напрямки, коли обидва поєднуються. Наприклад, функція переваги, де . Якщо вас цікавить, ви можете знайти останній приклад, використовуючи переважні функції тут: $A(s, a) = Q(s, a) - V(s)$

Дуельні мережеві архітектури для вивчення глибокого підкріплення

Ziyu Wang, Tom Schaul, Matteo Hessel, Hado van Hasselt, Marc Lanctot та Nando de Freitas.

— Хуан Лені
джерело

19

$V^\pi(s)$ - це значення значення стану MDP (процес рішення Маркова). Це очікувана прибутковістьпочинаючи з держави $s$ наступної політики $\pi$ .

У виразі

V^{π} (s) = E_{π} {G_{t} | s_{t} = s}

$V^\pi(s) = E_\pi \{G_t | s_t = s\}$

$G_t$ - загальна ВІДКОМЛЕНА винагорода за крок часу $t$ , на відміну від $R_t$ що є негайним поверненням. Тут ви приймаєте очікування ВСІХ дій відповідно до політики $\pi$ .

$Q^\pi(s, a)$ - функція значення значення. Це очікуване повернення, починаючи від стану $s$ , слідкуючи за політикою $\pi$ , здійснюючи дії $a$ . Зосереджено увагу на конкретних діях у конкретній державі.

Q^{π} (s, a) = E_{π} {G_{t} | s_{t} = s, a_{t} = a}

$Q^\pi(s, a) = E_\pi \{G_t | s_t = s, a_t = a\}$

Співвідношення між $Q^\pi$ і $V^\pi$ (значення перебування в такому стані) є

V^{π} (s) = \sum_{a \in A} π (a | s) * Q^{π} (a, s)

$V^\pi(s) = \sum_{a ∈ A} \pi (a|s) * Q^\pi(a,s)$

Ви підсумовуєте кожне значення дії, помножене на ймовірність вчинити цю дію (політика $\pi(a|s)$ ).

Якщо ви вважаєте приклад світу сітки, ви помножуєте ймовірність (вгору / вниз / вправо / вліво) на один крок вперед на значення стану (вгору / вниз / вправо / вліво).

— Аарон
джерело

5

Це найкоротша відповідь.

— Бретт

У мене є джерело, яке стверджує, що

. Як ви співвідносите це рівняння з тим, яке ви надаєте у своїй відповіді,

? У своєму рівнянні ви визначаєте

за зваженою сумою

V^{π} (s) = max_{a \in A} Q^{π} (s, a)

$V^\pi(s) = \max_{a \in A} Q^\pi(s, a)$

V^{π} (s) = \sum_{a \in A} π (a ∣ s) * Q^{π} (a, s)

$V^\pi(s) = \sum_{a \in A} \pi (a \mid s) * Q^\pi(a, s)$

V

$V$

Q

$Q$ значення. Це відрізняється від визначення у мене є, який визначає

як найвищий

.

V

$V$

Q

$Q$

— nbro

@nbro Я вважаю, що це залежить від того, яку політику ви виконуєте. У чистої жадібній політиці ви праві. Але якби це була більш дослідницька політика, яка була побудована для стохастичного вирішення дії, то вищезазначене було б правильним

— deltaskelta

7

Ви маєте право, функція $V$ надає значення стану, а $Q$ дає значення дії в стані (дотримуючись заданої політики $\pi$ ). Я знайшов найбільш чітке пояснення Q-навчання та як воно працює в книзі Тома Мітчелла «Машинне навчання» (1997), гл. 13, який можна завантажити. $V$ визначається як сума нескінченного ряду, але його тут не важливо. Важливо, що функція $Q$ визначається як

Q (s, a) = r (s, a) + γ V^{*} (δ (s, a))

$Q(s,a ) = r(s,a ) + \gamma V^{*}(\delta(s,a))$ де V * - найкраще значення стану, якщо ви могли б дотримуватися оптимальної політики, якої ви не знаєте. Однак він має хорошу характеристику з точки зору

Q

$Q$

V^{*} (s) = max_{a^{'}} Q (s, a^{'})

$V^{*}(s)= \max_{a'} Q(s,a')$ Обчислення

Q

$Q$ робиться шляхом заміни

V^{*}

$V^*$ у першому рівнянні дати

Q (s, a) = r (s, a) + γ max_{a^{'}} Q (δ (s, a), a^{'})

$Q(s, a) = r(s, a) + \gamma \max_{a'} Q(\delta(s, a), a')$

Спочатку це може здатися дивною рекурсією, оскільки це виражає значення Q дії в поточному стані з точки зору найкращого значення Q стану- наступника , але це має сенс, коли ви дивитесь, як використовує процес резервного копіювання: Розвідка процес зупиняється, коли він досягає стану мети і збирає винагороду, яка стає кінцевим значенням Q остаточного переходу. Тепер у наступному навчальному епізоді, коли процес дослідження досягне цього попереднього стану, процес резервного копіювання використовує вищевказану рівність для оновлення поточного значення Q попереднього стану. Наступного разу йогоПопередник відвідав, що значення Q держави оновлюється, і так далі відновлюється (книга Мітчелла описує більш ефективний спосіб зробити це шляхом зберігання всіх обчислень і повторного їх повторного відтворення). За умови, що кожну державу відвідують нескінченно часто, цей процес врешті-решт обчислює оптимальний Q

Іноді ви побачите швидкість навчання $\alpha$ застосовану для контролю того, наскільки насправді Q оновлюється:

Q (s, a) = (1 - α) Q (s, a) + α (r (s, a) + γ max_{a^{'}} Q (s^{'}, a^{'}))

$Q(s, a) = (1-\alpha)Q(s, a) + \alpha(r(s, a) + \gamma \max_{a'} Q(s',a'))$

= Q (s, a) + α (r (s, a) + γ max_{a^{'}} Q (s^{'}, a^{'}) - Q (s, a))

$= Q(s, a) + \alpha(r(s, a) + \gamma \max_{a'} Q(s',a') - Q(s,a))$ А тепер зверніть увагущо оновлення до величини Qмаєзалежності від поточного значення Q. Книга Мітчелла також пояснює, чому це так і навіщо вам потрібно

α

$\alpha$ : його для стохастичних MDP. Без

α

$\alpha$ , кожного разу при спробі пари, дії дій було б різне винагороду, тому функція Q ^ відскакує всюди і не зближується.

α

$\alpha$ чи так, що нові знання приймаються лише частково. Спочатку

α

$\alpha$ встановлюється високо, так що струми (переважно випадкові значення) Q є менш впливовими.

α

$\alpha$ зменшується в міру прогресування навчання, так що нові оновлення мають менший і менший вплив, і тепер навчання Q сходиться

— СН
джерело

0

Ось більш детальне пояснення взаємозв'язку між значенням стану і значенням дії у відповіді Аарона. Давайте спочатку розглянемо визначення функції значення та функції значення дії в політиці $\pi$ :

\begin{aligned} v_{π} (s) = E [G_{t} | S_{t} = s] \\ q_{π} (s, a) = E [G_{t} | S_{t} = s, A_{t} = a] \end{aligned}

$\begin{align} &v_{\pi}(s)=E{\left[G_t|S_t=s\right]} \\ &q_{\pi}(s,a)=E{\left[G_t|S_t=s, A_t=a\right]} \end{align}$ де

G_{t} = \sum_{k = 0}^{\infty} γ^{k} R_{t + k + 1}

$G_t=\sum_{k=0}^{\infty}\gamma^kR_{t+k+1}$ - повернення в момент

t

$t$ . Зв'язок між цими двома значущими функціями може бути отриманий як

\begin{aligned} v_{π} (s) & = E [G_{t} | S_{t} = s] \\ = \sum_{g_{t}} p (g_{t} | S_{t} = s) g_{t} \\ = \sum_{g_{t}} \sum_{a} p (g_{t}, a | S_{t} = s) g_{t} \\ = \sum_{a} p (a | S_{t} = s) \sum_{g_{t}} p (g_{t} | S_{t} = s, A_{t} = a) g_{t} \\ = \sum_{a} p (a | S_{t} = s) E [G_{t} | S_{t} = s, A_{t} = a] \\ = \sum_{a} p (a | S_{t} = s) q_{π} (s, a) \end{aligned}

$\begin{align} v_{\pi}(s)&=E{\left[G_t|S_t=s\right]} \nonumber \\ &=\sum_{g_t} p(g_t|S_t=s)g_t \nonumber \\ &= \sum_{g_t}\sum_{a}p(g_t, a|S_t=s)g_t \nonumber \\ &= \sum_{a}p(a|S_t=s)\sum_{g_t}p(g_t|S_t=s, A_t=a)g_t \nonumber \\ &= \sum_{a}p(a|S_t=s)E{\left[G_t|S_t=s, A_t=a\right]} \nonumber \\ &= \sum_{a}p(a|S_t=s)q_{\pi}(s,a) \end{align}$ Наведене вище рівняння є важливим. Він описує взаємозв'язок між двома основними ціннісними функціями в підкріпленні навчання. Це дійсно для будь-якої політики. Більше того, якщо ми маємодетерміновануполітику, то

v_{π} (s) = q_{π} (s, π (s))

$v_{\pi}(s)=q_{\pi}(s,\pi(s))$ . Сподіваюсь, це вам корисно. (щоб дізнатися більше про рівняння оптимальності Беллманаhttps://stats.stackexchange.com/questions/347268/proof-of-bellman-optimality-equation/370198#370198)

— Jie Shi
джерело

0

The value function is an abstract formulation of utility. And the Q-function is used for the Q-learning algorithm.

— emmanuel
джерело

For the context of this question, the

V

$V$ and

Q

$Q$ are different.

— Siong Thye Goh