Призначення шуму Діріхле в роботі AlphaZero

У документах AlphaGo Zero та AlphaZero DeepMind вони описують додавання шуму Діріхле до попередніх імовірностей дій з кореневого вузла (стан плати) в дереві Монте-Карло:

Додаткова розвідка досягається додаванням шуму Діріхле до попередніх ймовірностей у кореневому вузлі $s_0$конкретно $P(s, a) = (1−\varepsilon)p_a+ \varepsilon \eta_a$, де $\eta \sim \text{Dir}(0.03)$ і $\varepsilon = 0.25$; цей шум забезпечує тестування всіх рухів, але пошук все одно може перекрити погані кроки.

(AlphaGo Zero)

І:

Шум Діріхле $\text{Dir}(\alpha)$додано до попередніх ймовірностей у кореневому вузлі; це масштабувались у зворотному співвідношенні до приблизної кількості юридичних кроків у типовій позиції, до значення$\alpha = \{0.3, \; 0.15, \; 0.03\}$ для шахів, шоги та Go відповідно.

(AlphaZero)

Дві речі, яких я не розумію:

1. P(s, a) є $n$-вимірний вектор. Є$\text{Dir}(\alpha)$ стенограма для розповсюдження Діріхле с $n$ параметри, кожен зі значенням $\alpha$?

2. Я зустрічався лише з Діріхле як кон'югат перед багаточленним розподілом. Чому його тут вибрали?

Для контексту - P(s, a)це лише один компонент розрахунку PUCT (поліноміальне верхнє дерево довіри, варіант у верхніх межах довіри) для заданого стану / дії. Він масштабується постійною та метрикою для того, скільки разів було вибрано дану дію серед своїх побратимів під час MCTS, і додається до оціночного значення дії Q(s, a):

• PUCT(s, a) = Q(s, a) + U(s, a).
• $U(s,a) = c_{\text{puct}} P(s,a) \frac{\sqrt{\sum_b N(s,b)}}{1 + N(s,a)}$.

Питання 1 тут прямо $\alpha$є вектором повторень заданого значення. (Відповів Макс С.)

Питання 2 цікавіше: Розподіл Діріхле має таку інтерпретацію, що стосується цього контексту: Коли $\alpha$ є спостережуваним вектором підрахунку результатів, отриманим з деякого (невідомого) категоричного розподілу з вірогідністю результатів $\pi$, тоді $Dir(\alpha)(\pi)$ є ймовірність того, що $Cat(\pi)$ - фактичний базовий розподіл, який ви спостерігали $\alpha$як рахується. (Це в основному визначення подвійного розподілу.)

Тепер P(s,a)оцінює ймовірність того, що хороший гравець буде грати aв s, тобто параметри його категоричного розподілу, AlphaZero хоче дізнатися. Тому$Dir(\alpha)$ буде вибіркою обґрунтованих оцінок для $pi=$P(s,a) якщо ми спостерігали гарних рухів гравця $\alpha$-рази. Але якщо якісь$\alpha_i=0$, то все $\pi\sim Dir(\alpha)$ мати $\pi_i=0$, запобігаючи розвідці. Додаючи шум, вони припускають, що вони спостерігали кожен відтворений хід невелику кількість разів$\alpha$ (тут обрано 0,3, 0,15, 0,03).

Щодо того, як вони отримали константи, я гадаю, що вони припускають, що спостерігали ~ 10 випадкових ігор у кожній грі: У шахи, $Dir(0.3)$припускає, що ви бачили кожен відтворений хід 0,3 рази. Зважаючи на те, що згідно з Аллісом доступно ~ 35 ходів , автори припускають, що ви бачили ~ 10 випадкових рухів у кожному вузлі. Якщо ми припустимо, що в середньому ~ 270 легальних кроків (3/4 з 361 позицій дошки), ми бачимо еквівалент спостереження за ~ 8 випадковими рухами. (У мене немає даних для Shogi.)

На питання №1 відповідь "так", $\alpha$є вектором, але в цьому випадку всі значення однакові. Згідно з Вікіпедією, це називається симетричним розподілом Діріхле і використовується, коли "немає попередніх знань, які б сприяли одному компоненту над іншим". У цьому випадку це означає, що ви не хочете додавати більше шуму будь-якому конкретному компоненту.

Для питання 2, зразки, отримані з розподілу Диріхле, мають властивість, що елементи дорівнюватимуть 1. Я припускаю, що вони використовують це для того, щоб після додавання шуму, а елементи все-таки були рівні 1.