Проблема Уоррена Баффетта

Ось абстракція проблеми навчання в Інтернеті через Інтернет, над якою я працював влітку. Я не бачив подібної проблеми раніше, і це виглядає досить цікаво. Якщо ви знаєте про будь-яку пов’язану роботу, я вдячний довідками.

Проблема Налаштування - це багатогранні бандити. У вас N зброї. Кожна рука i має невідомий, але фіксований розподіл ймовірності над нагородами, які можна заробити, граючи на ній. Для конкретності припустимо, що кожна рука я виплачує винагороду 10 доларів США з імовірністю p [i], а винагороду - 0 доларів. 1-р [і] .

У кожному раунді t вибираєте набір S [t] зброї для відтворення. За кожну руку, яку ви вибрали, ви сплачуєте плату в розмірі 1 долара вперед. Для кожної вибраної групи ви збираєте винагороду, яка береться з (невідомого) розподілу ймовірності нагороди цієї групи. Усі винагороди зараховуються на ваш банківський рахунок, а всі збори списуються з цього рахунку. Крім того, ви отримуєте кредит у розмірі 1 долара на початку кожної ітерації.

Проблема полягає у розробці політики щодо вибору підмножини зброї для кожної ітерації для максимального отримання прибутку (тобто винагороди за мінусом комісій за гру) протягом досить тривалого горизонту, за умови обмеження, що він повинен підтримувати негативний баланс рахунку на весь час.

Я не уточнював, чи розподіляються нагороди за руку, виходячи з попереднього розподілу чи обираються супротивником. Обидва варіанти мають сенс. Супротивник формулювання мені більше приваблює, але, напевно, важче прогресувати далі. Тут противник вибирає вектор (D1, D2, .., DN) розподілів. Враховуючи розподіл, оптимальною збалансованою бюджетною політикою є грати у всі руки, очікувана винагорода яких перевищує 1 долар. Нехай P - покроковий прибуток від цієї оптимальної всезнаючої політики. Я хочу, щоб моя політика в Інтернеті мінімізувала жаль (тобто втрата прибутку за часове вікно T).

Я думаю, що існує багато можливих підходів до цієї проблеми (багато з яких я впевнений, ви вважали) - ось кілька ідей / посилань.

• Ви можете грати в це як незалежних паралельних одногранних бандитських ігор, вирішуючи тягнути чи не тягнути кожну руку самостійно. Це має спрацювати особливо добре, якщо нагороди розподіляються незалежно.$N$
• Дозвольте кожному набору зброї бути новою рукою та запустити алгоритм типу Exp3. Це дає жаль - не така велика.$O(2^{N/2} T^{1/2})$
• У майбутньому документі NIPS 2010 Сатен Кейл, Роб Шапір, і я розглядаю випадок, коли один раз грає в шифер зброї. У нашій роботі, однак, фіксується розмір шиферу. Ця стаття також розглядає подібну проблему. Ще одна аналогічна робота з'явилася в ALT 2010. Можливо, деякі ідеї передаються.
• Якщо ви ставитесь до цього як до проблеми експертів (кожен експерт рекомендує інший з підмножин), слідуючи за одним експертом, ви можете оцінити ефективність інших експертів, які мають не порожні перехрестя у виборі зброї для витягування за допомогою важливість зважування . Аналіз типу Exp4 може отримати O ( N $2^N$шкодуйте, алеO(2NT)час роботи.$O(N\sqrt{T})$$O(2^N T)$

ЗРІДИТИ нижче:

Мені здається, що обмеження бюджету (не йде нижче ) робить проблему непереборною. Уявіть, у вас бюджет 1 . Противник може змусити одну з озброєнь завжди окупитися, а решта ніколи не розплачуватися. Тож wp ( n - 1 ) / n ви переживаєте в першому раунді, тоді як оптимальна стратегія отримує T доларів після T раундів. Тож очікуване вами жаль принаймні ( n - 1 ) T / n, і ви не можете сподіватися на обмежену велику вірогідність.$0$$1$$(n-1)/n$$T$$T$$(n-1)T/n$

Також здається, що це може працювати для будь-якого початкового бюджету. Скажіть, ви починаєте з доларів. Тоді противник може встановити всі , крім одного руки , щоб заплатити 0 і одну руку , щоб заплатити що - щось на зразок 2 B в.ч. 1 / B . Я думаю, якщо у вас є обмеження щодо можливої ​​суми виплат та достатньо високий початковий бюджет, то це може залишити місце для цікавої проблеми.$B$$0$$2B$$1/B$