Яка різниця між позаполітичним та політичним навчанням?

Веб-сайт із штучним інтелектом визначає позаполітичне та політичне навчання наступним чином:

"Учасник, який перебуває поза політикою, дізнається значення оптимальної політики незалежно від дій агента. Q-навчання - це вчитель, який не відповідає політиці. Учень, який проводить політику, дізнається значення політики, яку проводить агент, включаючи етапи дослідження. . "

Я хотів би попросити ваших роз’яснень щодо цього, оскільки вони, схоже, не мають для мене ніякого значення. Обидва визначення здаються, що вони однакові. Те, що я насправді зрозумів, - це безмодельне та модельне навчання, і я не знаю, чи мають вони щось спільне з тими, про які йдеться.

Як можливо, що оптимальна політика засвоюється незалежно від дій агента? Чи не вивчена політика, коли агент виконує дії?

Перш за все, немає причин, щоб агент мав робити жадібні дії ; Агенти можуть досліджувати або вони можуть слідувати варіантам . Це не те, що відокремлює політику від позаполітичного навчання.

Причиною того, що Q-навчання є позаполітичним, є те, що він оновлює свої Q-значення, використовуючи значення Q наступного стану $s'$ та жадібну дію $a'$ . Іншими словами, він оцінює повернення (загальна знижена майбутня винагорода) для пар державних дій, які припускають, що жадна політика дотримувалася, незважаючи на те, що вона не дотримується жадної політики.

Причина того, що SARSA відповідає політиці, полягає в тому, що вона оновлює свої Q-значення, використовуючи значення Q для наступного стану $s'$ та поточну дію політики $a''$ . Він оцінює прибуток для пар державних дій, припускаючи, що поточна політика продовжує дотримуватися.

Відмінність зникає, якщо нинішня політика є жадібною політикою. Однак такий агент не був би гарним, оскільки він ніколи не досліджує.

Ви подивилися книгу, доступну безкоштовно в Інтернеті? Річард С. Саттон та Ендрю Г. Барто. Підсилення навчання: вступ. Друге видання, MIT Press, Кембридж, MA, 2018.

Політичні методи оцінюють цінність політики під час використання її для контролю.

У позаполітичних методах політика, що використовується для генерування поведінки, яка називається політикою поведінки , може бути не пов'язана з політикою, яка оцінюється та вдосконалюється, і називається політикою оцінювання .

Перевагою цього відокремлення є те, що політика оцінки може бути детермінованою (наприклад, жадібною), тоді як політика поведінки може продовжувати вибірку всіх можливих дій.

Докладніші відомості див. У розділах 5.4 та 5.6 книги « Підсилення навчання: вступ Барто та Саттона», перше видання.

Різниця між методами Off-Policy і On-policy полягає в тому, що, спочатку вам не потрібно дотримуватися жодної конкретної політики, ваш агент може навіть поводитися випадковим чином і, незважаючи на це, позаполітичні методи все ще можуть знайти оптимальну політику. З іншого боку, політичні методи залежать від використовуваної політики. У випадку Q-навчання, яке є позаполітичним, воно знайде оптимальну політику, незалежну від політики, яка використовується під час дослідження, однак це справедливо лише тоді, коли ви відвідуєте різні штати достатньо разів. Ви можете знайти в оригінальному документі від Уоткінса фактичний доказ, який показує це дуже приємне властивість Q-Learning. Однак існує компроміс, і це методи поза політикою, як правило, повільніше, ніж методи, що застосовуються в політиці. Ось посилання з іншими цікавими резюме властивостей обох типів методів

$\pi$
$a$$s$$\pi$$a$$s$

$Q(s,a)$$a$$s$
$\pi$$\pi(a|s)$

$Q(s,a)$

$Q(s,a)$$\pi$
$Q(s,a)$

$Q(s,a) \leftarrow Q(s,a)+\alpha(r+\gamma Q(s',a')-Q(s,a))$$a'$$\pi$

$Q(s,a) \leftarrow Q(s,a)+\alpha(r+\gamma \max_{a'}Q(s',a')-Q(s,a))$$a'$$s'$

З книги Саттона: "Політичний підхід у попередньому розділі насправді є компромісом. Він дізнається значення дій не для оптимальної політики, а для майже оптимальної політики, яка все ще досліджується. Більш прямим підходом є використання двох політик. , той, про який пізнають і який стає оптимальною політикою, і той, що є більш дослідним і використовується для формування поведінки. У цьому випадку ми кажемо, що навчання - це цільова політика за даними „o↵”, а загальний процес називається „o-policy learning”.