Як поводитися з недійсними рухами в навчанні підкріплення?

Я хочу створити AI, який може грати з п’яти в ряд / гомоку. Як я вже згадував у назві, я хочу використовувати для цього підкріплення.

Я використовую метод градієнта політики , а саме REINFORCE з базовою лінією. Для наближення значення та політики я використовую нейронну мережу . Він має згорнуті і повністю пов'язані шари. Усі шари, крім виведення, є спільними. Вихідний рівень політики містить $8 \times 8=64$ (розмір плати) вихідний блок і softmax на них. Так це стохастично. Але що робити, якщо мережа створює дуже високу ймовірність недійсного ходу? Недійсний хід - це коли агент хоче перевірити квадрат, у якому є одне "X" або "O". Я думаю, що це може застрягти в такому ігровому стані.

Чи можете ви порадити якесь рішення цієї проблеми?

Моя здогадка - використовувати метод актора-критика . За недійсний хід нам слід дати негативну винагороду і передати черга супернику.

Просто ігноруйте недійсні ходи.

Для дослідження, ймовірно, ви не просто виконаєте рух з найбільшою ймовірністю, а натомість будете вибирати ходи випадковим чином на основі виведеної ймовірності. Якщо ви лише покараєте незаконні ходи, вони все одно зберігають певну ймовірність (хоч і невелику), і тому будуть періодично виконуватись (проте рідко). Таким чином, ви завжди будете утримувати агента, який час від часу робить незаконні дії.

Для мене має сенс просто встановити ймовірність усіх незаконних переходів до нуля і перенормірувати вектор виводу, перш ніж вибирати свій хід.

Зазвичай методи softmax в методах градієнта політики, що використовують лінійне наближення функції, використовують наступну формулу для обчислення ймовірності вибору дії $a$ . Тут вага $\theta$ , і функція $\phi$ є функцією поточного стану $s$ і дією з безлічі дій $A$ .

$Legal(A)$

In pseudocode the formula may look like this:

action_probs = Agent.getActionProbs(state)
legal_actions = filterLegalActions(state, action_probs)
best_legal_action = softmax(legal_actions)

Whether using linear or non-linear function approximation (your neural network), the idea is to only use the legal moves when computing your softmax. This method means that only valid moves will be given by the agent, which is good if you wanted to change your game later on, and that the difference in value between the limited choice in actions will be easier to discriminate by the agent. It will also be faster as the number of possible actions decreases.

IMHO the idea of invalid moves is itself invalid. Imagine placing an "X" at coordinates (9, 9). You could consider it to be an invalid move and give it a negative reward. Absurd? Sure!

But in fact your invalid moves are just a relic of the representation (which itself is straightforward and fine). The best treatment of them is to exclude them completely from any computation.

This gets more apparent in chess:

• In a positional representation, you might consider the move a1-a8, which only belongs in the game if there's a Rook or a Queen at a1 (and some other conditions hold).

• In a different representation, you might consider the move Qb2. Again, this may or may not belong to the game. When the current player has no Queen, then it surely does not.

As the invalid moves are related to the representation rather than to the game, they should not be considered at all.

Нещодавно я зіткнувся з подібною проблемою з Міночистачем.

Я вирішив це шляхом ігнорування незаконних / недійсних кроків цілком.

1. Використовуйте мережу Q для прогнозування Q-значень для всіх ваших дій (дійсних та недійсних)
2. Попередньо обробіть значення Q, встановивши всі недійсні ходи до Q-значення нульового / від’ємного числа (залежить від вашого сценарію)
3. Використовуйте політику на ваш вибір, щоб вибрати дію з уточнених Q-значень (наприклад, жадібний або Больцман)
4. Виконайте вибрану дію та відновіть свою логіку DQN

Сподіваюсь, це допомагає.