Q1: Чи існують загальноприйняті або прийняті методи поводження з нестаціонарним середовищем у навчанні підкріплення взагалі?
Більшість основних агентів RL - це онлайн, і онлайн-навчання зазвичай може вирішувати нестаціонарні проблеми. Крім того, правила оновлення оцінювальних значень стану та дій у проблемах управління зазвичай записуються для нестаціонарних цілей, оскільки цілі вже змінюються в міру вдосконалення політики. Це нічого складного, просто використання коефіцієнта навчання в оновленнях при оцінці значень, фактично котяче геометричне середнє значення, а не усереднення за всю історію не зваженим способом.α
Однак це стосується довготривалої нестаціонарності, наприклад, проблеми, що змінюються між епізодами, або протягом ще більш тривалого часового масштабу. Ваш опис виглядає більше так, як ви хочете змінити структуру винагород на основі дій, які вчинив агент, за короткий термін. Таке динамічне реагування на дії краще охарактеризувати як інший більш складний MDP, а не як "нестаціонарність" у межах більш простого MDP.
Агент не може дізнатися зміни в середовищі, яких він ще не відібрав, тому зміна структури винагород не завадить агенту повернутися до раніше відвіданих станів. Якщо ви не використовуєте в агенті щось на зразок RNN, агент не матиме «пам'яті» того, що відбулося раніше в епізоді, крім того, що представлено в поточному стані (можливо, використовуючи RNN, робить прихований шар частини RNN держави). У кількох епізодах, якщо ви використовуєте табличний агент Q-навчання, він просто дізнається, що певні стани мають низьке значення, він не зможе дізнатися, що друге або третє відвідування держави викликає цей ефект, оскільки він не має спосіб представити ці знання. Він не зможе адаптуватися до змін досить швидко, щоб дізнатися в Інтернеті та середині серіалу.
Q2: У моєму сітковому світі я міняю функцію винагороди, коли змінюється стан. Все, що я хочу, щоб мій агент дізнався, це "Не повертайтеся, якщо вам це не потрібно", однак це робить середовище нестаціонарним.
Якщо це все, що потрібно агенту, щоб навчитися, можливо, це може бути заохочено відповідною структурою винагород. Перш ніж ви зможете це зробити, вам потрібно зрозуміти, що означає "насправді потрібно" та наскільки чітко це має бути логічно. Ви можете бути в порядку, хоча просто призначивши певний штраф за відвідування будь-якого місця, яке агент вже відвідував або недавно відвідав.
Чи може / має бути це дуже просте правило включене в модель MDP, і як?
Так, ви повинні додати інформацію про відвідувані місця у штаті. Це негайно зробить вашу модель стану більш складною, ніж простий світ сітки, збільшивши розмірність проблеми, але це неминуче. Більшість проблем у реальному світі дуже швидко переростають приклади іграшок, надані для навчання поняттям РЛ.
Однією з альтернатив є розгляд проблеми як частково спостережуваного процесу рішення Маркова (POMDP) . У такому випадку "справжній" стан все-таки включатиме всю необхідну історію для обчислення винагород (а оскільки це проблема з іграшками на комп'ютері, ви все одно повинні якось представляти її), але агент може намагатися вчитися з обмеженими можливостями знання про державу, все, що ви дозволяєте їй спостерігати. Загалом це набагато складніший підхід, ніж розширення представництва держави, і я б його тут не рекомендував. Однак, якщо вам ідея цікава, ви можете використати свою проблему для дослідження POMDP. Ось нещодавній документ (від команди Deep Mind від Google, 2015), який розглядає два алгоритми RL, поєднані з RNN, щоб вирішити POMDP.
Q3: Я розглядав Q-навчання з переглядом досвіду як рішення для роботи з нестаціонарними середовищами, оскільки воно декоррегулює послідовні оновлення. Це правильне використання методу чи більше стосується того, щоб зробити навчання більш ефективним?
Перегляд досвіду не допоможе у нестаціонарних умовах. Насправді це може погіршити продуктивність в них. Однак, як уже зазначалося, ваша проблема полягає не в нестаціонарному середовищі, а в обробці більш складної динаміки стану.
Що вам може знадобитися зробити, це вивчити наближення функції, якщо кількість станів зросте до достатньо великої кількості. Наприклад, якщо ви хочете обробити будь - яке зворотне відстеження та маєте складне правило для зміни винагороди, яке відстежує кожне відвідуване місце, то ваш стан може змінитися з одного номера місцеположення на карту, де відображаються відвідувані місця. Так, наприклад, вона може перейти з станів для світу сітки до стану стану із відображенням відвідуваних квадратів. Це занадто високо, щоб відстежувати в таблиці значень, тому для оцінки значень стану замість цього ви зазвичай використовуєте нейронну мережу (або згорткову нейронну мережу).648 × 8264
Завдяки оцінювачу функцій перегляд досвіду дуже корисний, оскільки без нього процес навчання, ймовірно, буде нестабільним. Нещодавній підхід DQN для гри в ігри Atari з цієї причини використовує перегляд досвіду.