Розгортання монети, процеси прийняття рішень та значення інформації

Уявіть наступне налаштування: у вас є 2 монети, монета A, яка гарантовано є справедливою, і монета B, яка може бути, а може і не бути справедливою. Вас просять зробити 100 монет, і ваша мета - збільшити кількість головок .

Ваша попередня інформація про монету B полягає в тому, що вона була перевернута 3 рази і отримала 1 головку. Якби ваше правило рішення було просто засноване на порівнянні очікуваної ймовірності головок 2-х монет, ви перевернете монету A в 100 разів і зробите це з нею. Це справедливо навіть при використанні розумних байєсівських оцінок (задніх засобів) ймовірностей, оскільки у вас немає підстав вважати, що монета B дає більше головок.

Однак що робити, якщо монета B насправді упереджена на користь голів? Безумовно, "потенційні голови", яких ви відмовитеся, кілька разів перевернувши монету B (і, отже, отримавши інформацію про її статистичні властивості), були б цінними в певному сенсі і, отже, врахували б ваше рішення. Як можна цю математичну характеристику описати "цінністю інформації"?

Питання: Як ви математично будуєте правило оптимального рішення в цьому сценарії?

Багаторукий бандит

Це окремий випадок багатогранної бандитської проблеми . Я кажу про окремий випадок, тому що, як правило, ми не знаємо жодної з вірогідностей голів (у цьому випадку ми знаємо, що одна з монет має ймовірність 0,5).

Питання, яке ви піднімаєте, відоме як дилема розвідки проти експлуатації : чи вивчаєте ви інші варіанти, чи дотримуєтесь того, що вважаєте найкращим. Існує негайне оптимальне рішення, припускаючи, що ви знали всі ймовірності : просто виберіть монету з найбільшою ймовірністю виграшу. Проблема, як ви нагадали, полягає в тому, що ми не впевнені в тому, що таке справжні ймовірності .

Існує багато літератури з цього приводу, і є багато детермінованих алгоритмів, але оскільки ви позначили цей байєсів, я хотів би розповісти вам про моє особисте улюблене рішення: Байєсівський бандит !

Байсійське бандитське рішення

Байєсівський підхід до цієї проблеми є дуже природним. Нам цікаво відповісти «Яка ймовірність того, що монета X краща з двох?».

Апріорі , припускаючи , що ми спостерігали НЕ монета не перевертає все ж, ми не маємо ні найменшого уявлення про те , що ймовірність глав нумізмата Б може бути, позначу цей невідомий . Отже, нам слід призначити попередній рівномірний розподіл до цієї невідомої ймовірності. Крім того, наша попередня (і задня) для монети А тривіально сконцентрована повністю на 1/2.$p_B$

Як ви вже сказали, ми спостерігаємо 2 хвости та 1 головку від монети B, нам потрібно оновити наш задній розподіл. Якщо припустити рівномірне попереднє, а оберти - це монети-перевороти Бернуллі, наша задня частина - . Порівнюючи задній розподіл або A і B зараз:$Beta( 1 + 1, 1 + 2)$

Пошук приблизно оптимальної стратегії

Тепер, коли у нас є афіші, що робити? Нам цікаво відповісти "Що таке імовірність монети B - тим краще для двох" (Пам'ятайте з нашої байєсівської точки зору, хоча є однозначна відповідь, яка з них краща, ми можемо говорити лише з імовірністю):

$w_B$$1 - w_B$$w_B$

1. Sample P_B from the posterior of coin B
2. If P_B > 0.5, choose coin B, else choose coin A.

Ця схема також самооновлюється. Коли ми спостерігаємо результат вибору монети B, ми оновлюємо нашу задню частину цією новою інформацією та вибираємо ще раз. Таким чином, якщо монета B дійсно погана, ми виберемо її менше, а монета В насправді хороша, ми виберемо її частіше. Звичайно, ми байєси, отже, ми ніколи не можемо бути абсолютно впевнені, що монета B краща. Вибір такої ймовірнісної форми є найбільш природним рішенням дилеми розвідувально-експлуатаційних робіт.

Це особливий приклад відбору проб Томпсона . Більш детальну інформацію, а також прохолодні додатки до інтернет - рекламі, можна знайти в науково - дослідній роботі компанії Google і науково - дослідній роботі Yahoo, . Я люблю цей матеріал!

Це простий випадок багатогранної бандитської проблеми. Як зазначаєте, ви хочете збалансувати зібрану інформацію, спробувавши невідому монету, якщо вам здається, що це недооптимально за короткий термін проти використання знань, які ви маєте.

$1/2$

Взагалі, я думаю, ви не можете піти від проблеми динамічного програмування, хоча можуть бути особливі випадки, коли оптимальну стратегію можна знайти і перевірити простіше.

З рівномірним попереднім, тут ви повинні зупинитися:

$(0 ~ \text{heads}, 3 ~\text{tails}), (1 ~\text{head}, 5 ~\text{tails}), (2 ~\text{heads}, 6 ~\text{tails}), (3,7), (4,8),...(31,35), (32,35), (33,36), (34,37), ... (41,44), (42,44), ... (46,48), (47,48), (48,49), (49,50)$

$61.3299$

Я використовував наступний код Mathematica для обчислення акцій:

Clear[Equity];
Equity[n_, heads_, tails_] := Equity[n, heads, tails] = 
    If[n == 0, heads, 
       Max[1/2 + Equity[n - 1, heads, tails], 
           (heads + 1)/(heads + tails + 2) Equity[n - 1, heads + 1, tails] + 
           (tails + 1)/(heads + tails + 2) Equity[n - 1, heads, tails + 1]
           ]
      ]

Для порівняння, евристичний відбір проб Томпсона (який, за твердженням Кем Девідсона Пілона, є оптимальним), дає в середньому 60,2907 голів, що нижче на 1,03915. Проба Томпсона має проблему в тому, що він іноді відбирає вибірки B, коли у вас є достатня інформація, щоб знати, що це не є гарною ставкою, і вона часто втрачає шанси на вибірку B на ранній стадії, коли інформація коштує найбільше. У цьому типі проблем вам майже ніколи не байдуже між своїми варіантами, і існує чисто оптимальна стратегія.

tp[heads_, tails_] := tp[heads, tails] = 
    Integrate[x^heads (1 - x)^tails / Beta[heads + 1, tails + 1], {x, 0, 1/2}]


Clear[Thompson];
Thompson[flipsLeft_, heads_, tails_] := Thompson[flipsLeft, heads, tails] = 
    If[flipsLeft == 0, heads, 
       Module[{p = tp[heads, tails]}, 
           p (1/2 + Thompson[flipsLeft-1,heads,tails]) + 
           (1-p)((heads+1)/(heads+tails+2)Thompson[flipsLeft-1,heads+1,tails] + 
           ((tails+1)/(heads+tails+2)) Thompson[flipsLeft-1,heads,tails+1])]]