Чому базовий рівень залежить від стану в певний час непідвладного?

У робототехніці для пошуку схеми управління роботом використовується техніка навчання підкріплення. На жаль, більшість методів градієнта політики є статистично упередженими, що може привести робота в небезпечну ситуацію, див. Сторінку 2 у « Ян Петерс та Стефан Шаль»: Підсилення навчання моторних навичок градієнтами політики, 2008

Завдяки руховому примітивному навчанню можна подолати проблему, оскільки оптимізація параметрів градієнта політики спрямовує кроки навчання до мети.

цитата: "Якщо оцінка градієнта є неупередженою, а темпи навчання відповідають сумі (a) = 0, процес навчання гарантовано збільшиться принаймні до локального мінімуму [...] Тому нам потрібно оцінювати градієнт політики лише за отриманими даними під час виконання завдання. ”(Сторінка 4 того ж паперу)

У домашньому завданні для класу Berkeley RL клас 1 Проблема 1 просить показати, що градієнт політики все ще є неупередженим, якщо віднімання базової лінії є функцією держави в кроці часу t.

Я борюся за те, яким може бути перший крок такого доказу. Чи може хтось вказати мені в правильному напрямку? Моя початкова думка полягала в тому, щоб якось використати закон повного очікування, щоб умовити очікування b (st) на T, але я не впевнений. Спасибі заздалегідь :)

_{посилання на оригінал png рівняння}

Використовуючи закон повторених очікувань, слід:

$\triangledown _\theta \sum_{t=1}^T \mathbb{E}_{(s_t,a_t) \sim p(s_t,a_t)} [b(s_t)] = \nabla_\theta \sum_{t=1}^T \mathbb{E}_{s_t \sim p(s_t)} \left[ \mathbb{E}_{a_t \sim \pi_\theta(a_t | s_t)} \left[ b(s_t) \right]\right] =$

написаний інтегралами і переміщення градієнта всередині (лінійність), яке ви отримуєте

$= \sum_{t=1}^T \int_{s_t} p(s_t) \left(\int_{a_t} \nabla_\theta b(s_t) \pi_\theta(a_t | s_t) da_t \right)ds_t =$

тепер можна рухатися $\nabla_\theta$ (завдяки лінійності) та $b(s_t)$ (не залежить від $a_t$) утворюють внутрішній інтеграл із зовнішнім:

$= \sum_{t=1}^T \int_{s_t} p(s_t) b(s_t) \nabla_\theta \left(\int_{a_t} \pi_\theta(a_t | s_t) da_t \right)ds_t=$

$\pi_\theta(a_t | s_t)$ є функцією (умовної) щільності ймовірності, тому інтегрується над усіма $a_t$ для заданого стаціонарного стану $s_t$ дорівнює $1$:

$= \sum_{t=1}^T \int_{s_t} p(s_t) b(s_t) \nabla_\theta 1 ds_t =$

Тепер $\nabla_\theta1 = 0$, що завершує доказ.

Виявляється , що домашнє завдання з -за два дні до написання цієї відповіді, але в разі , якщо вона по - , як і раніше актуальна в деякому роді, відповідні примітки класу (які були б корисно , якщо це передбачено в питанні разом з домашнім завданням) тут .

Перший екземпляр очікування, зроблений на учня, є: "Будь ласка, покажіть рівняння 12, використовуючи закон повторених очікувань, порушуючи $\mathbb{E}_{\tau \sim p \theta(\tau)}$ шляхом від'єднання граничного стану дії від решти траєкторії. "Рівняння 12 це.

$\sum_{t = 1}^{T} E_{\tau \sim p \theta(\tau)} [\nabla_\theta \log \pi_\theta(a_t|s_t)(b(s_t))] = 0$

Нотатки класу ідентифікують $\pi_\theta(a_t|s_t)$як гранична держава-дія. Це не шуканий доказ, а послідовність алгебраїчних кроків, щоб здійснити розв'язку та показати ступінь досягнення незалежності граничного стану дії.

Ця вправа є підготовкою до наступного кроку домашнього завдання і спирається лише на огляд CS189, курсу «Введення Берклі в машинне навчання», який не містить Закон про загальне очікування у своєму навчальному програмі чи конспектах класу.

Вся відповідна інформація знаходиться у вищенаведеному посиланні для приміток до класу та вимагає лише проміжної алгебри.