Значення коефіцієнта дисконтування на підкріплення

Прочитавши досягнення глибокого розуму google в іграх Atari , я намагаюся зрозуміти q-learning та q-мережі, але мене трохи збентежило. Плутанина виникає в понятті коефіцієнта дисконтування. Короткий підсумок того, що я розумію. Для оцінки значення оптимального очікуваного значення дії використовується глибока згорткова нейронна мережа. Мережа повинна мінімізувати функцію втрат де E s ′ [ y | s , a ] є E [ r + γ m a x a ′ Q ( s ′ , a ′ ; θ - i ) | s,a] деQ- сумарне значення балу, аr- значення балу для вибору дії. s,aі

$$L_i=\mathbb{E}_{s,a,r}\left[(\mathbb{E}_{s'}\left[y|s,a\right]-Q(s,a;\theta_i))^2\right]$$ $\mathbb{E}_{s'}\left[y|s,a\right]$ $$\mathbb{E}\left[r+\gamma max_{a'} Q(s',a';\theta^-_i)\right|s,a]$$ $Q$$r$$s,a$ це відповідно стан і дія, що вибирається в момент t, а стан і дія в момент t ' . Θ - я суть ваги мережі на попередній ітерації. Γ є коефіцієнтом дисконтуванняякий враховує тимчасову різницю значеньпоказників. Я нижній індекс є тимчасовим кроком. Тут проблема полягає в тому, щоб зрозуміти, чому γ не залежить від θ .$s',a'$$t$$t'$$\theta^-_i$$\gamma$$i$$\gamma$$\theta$

З математичної точки зору є коефіцієнтом дисконтування і являє собою ймовірність досягти стану s ' зі стану s .$\gamma$$s'$$s$

$Q$$\gamma$$\gamma=1$

$s′$$s$$p(s'|s,a)$$γ$$y$$s$$s$$γ < 1$

Я пропоную вам прочитати книгу « Саттон і Барто» перед тим, як спробувати Deep-Q, щоб навчитися чистому навчанню зміцненню поза контекстом нейронних мереж, що може вас бентежити.