Чому в Q-навчанні було обрано букву Q?

Чому букву Q обрали від імені Q-навчання?

Більшість букв вибираються як абревіатура, наприклад, що відповідає політиці, і означає значення. Але я не думаю, що Q - це абревіатура жодного слова. $\pi$ $v$

— малювати
джерело

У моєму метафоричному розумінні, Q - це функція, яка пов'язує величину (називаючи це винагородою, вартістю чи іншим, що оптимізується) за дію в заданому стані.

— кнк

@sycorax оригінальне запитання, що поставлено під назвою, передбачало розуміння Q-навчання, і щоб запропонувати пояснення, це допоможе додати контекст. ОП втратить будь-яке пояснення без встановлення обґрунтування.

— кнк

Чи допомагає метафоричний Q = кількість? Я вважаю це як кількісну оцінку дій, що даються станами

— кнк

Відповіді:

Вибачте, що всіх розчарував, але Q нічого не означає :)

Q-навчання було запропоновано Уоткінсом у докторській дисертації у 1989 р., Див. Стор.96. Q у рівнянні на цій сторінці оновлюється певним чином на кожному кроці. Q - очікуване повернення від дії в заданому стані, див. Визначення Q на стор.46. Повернення в економічному або теоретичному розумінні ігор, тобто дисконтована нагорода, зважена на ймовірність, а не термін інформатики, як повернення від функції.

Зауважте, як він уже використовував P для ймовірності та R для винагороди, тому він схопив Q для повернення. Це воно. Немає глибшого значення для вибору букви Q.

— Аксакал
джерело

Немає більш глибокий сенс , але це сенс (що Q припадки з P і R в алфавіті) і означає що - то .

— Секст Емпірік

@MartijnWeterings Це зовсім не сенс. Це суто синтаксичний вибір листа, без жодних смислових міркувань.

— Девід Річербі

Звичайно, може бути мало семантичних міркувань (і це може бути дискусійним, оскільки відмінності між латинськими або грецькими літерами, літерами в різних положеннях алфавіту або великими літерами порівняно з малими літерами можуть утворювати сіру область між синтактикою та семантикою). Я вважаю вибір Q "значущим", оскільки форма букви (яка дещо довільна) дещо розширює значення змінної / параметра. Сенс стосується вибору букви. Не було б вдалого вибору, коли було б обрано u або v, або i, j, k або x, y, z або

α, β, γ

$\alpha, \beta, \gamma$

— Секст Емпірік

@MartijnWeterings, Q також звучить як черга , яка також містить дещо відповідні конотації

— Аксакал

@Aksakal, це могло б посилити використання Q. Але я не думаю, що це сильно. Я мало знаю про цю тему, але в короткому огляді цієї тези мені здається дуже правдоподібним, що літера

була використана для такої кількості, як

або

. Врешті-решт йому було дано «якесь ім’я» на зразок «дія-значення», але ті букви, які використовуються в цій тезі, схоже, значно більше прикріплюються до алфавіту. Наприклад,

для функцій

для змінних

для функції значення і це приблизне значення. тощо.

Q

$Q$

\sum_{i} R_{i} P_{i}

$\sum_i R_i P_i$

\sum_{i} V_{i} P_{i}

$\sum_i V_i P_i$

f

$f$

g

$g$

h

$h$

x

$x$

y

$y$

V

$V$

U

$U$

— Секст Емпірік

$Q(s_t,a_t)\gets Q(s_t,a_t)+\alpha(r_t+\gamma \times \max_{a} Q(s_{t+1},a)-Q(s_t,a_t))$

$Q$

— Амеет Дешпанде
джерело

Прочитайте цю тезу та скажіть, як "якість" має сенс у контексті очікуваного повернення

— Аксакал

Хоча я згоден з вами, теза була написана після того, як Уоткінс консультувався з Енді щодо низки речей. Енді, можливо, мав кращу ідею, ніж ти думаєш.

— Амеет Дешпанде

Якість навіть не існує як окрема концепція в навчанні. Ви можете використовувати слово в його звичайному розумінні з англійської, звичайно. З іншого боку, очікувана віддача дуже чітко визначена в теорії ігор, немає потреби розбавляти її, додаючи розпливчасті поняття, такі як якість. Ви не досягаєте максимальної якості, максимізуєте знижену винагороду під відповідний показник ймовірності. Якщо ви хочете бути трохи ширшими, то ви можете максимально використати корисність.

— Аксакал