Виявлення пріорів… з грошима!

Припустимо , у мене є «експертів», з яких я хотів би, щоб викликати попередній розподіл по деякої змінної . Я хотів би мотивувати їх реальними грошима . Ідея полягає у тому, щоб викликати пріори, спостерігати за реалізаціями випадкової величини , а потім розкривати деякий заздалегідь визначений "гаманець" серед експертів, виходячи з того, наскільки їхні пріори відповідають даним. Які запропоновані методи для цієї останньої частини, відображення пріорів та доказів на вектор виплат? $k$ $X$ $n$ $X$

bayesian prior

— шабчеф
джерело

Оскільки, мабуть, немає правильної відповіді, ми можемо захотіти CW це. Я залишаю це на розсуд модератора.

— shabbychef

На це питання може бути одна об'єктивно достовірна відповідь, тому я вагаюся перетворити її на CW.

— whuber

Це схоже на ідею прогнозування ринків . PredictionBook - гідне місце для пошуку.

— ely

Відповіді:

$A$ $\$$

Я думаю, що це чудово, ніж наявність фіксованого вектора виплат, наприклад, для турніру з гольфу. Причина полягає в тому, що в турнірі з гольфу важливо лише те, наскільки ви добре виходите проти конкурентів, а не ваш загальний бал. Коли ви хочете стимулювати найбільш точні попередні переконання, ви не хочете, щоб люди думали, що вони повинні лише перевершити один одного, щоб отримати приз ... ви хочете, щоб вони були готові вкласти свої власні гроші, щоб отримати виплати, оскільки тоді вони повинні самі повірити у свою попередню оцінку, а не тільки в тому, що попередня оцінка краща, ніж чужа.

— Елі
джерело

Варто також зазначити, що ефекти ринкових маніпуляцій були експериментально вивчені на ринках прогнозування (див. Тут і тут ), і хоча потрібно ще більше працювати, виявляється, що учасники можуть легко компенсувати шкідливі маніпулятори. Емпіричні результати свідчать про те, що було б надзвичайно важко «грі» в системі, як ви згадали в своєму іншому коментарі

— Ely

Ключове слово, яке потрібно шукати, - це оцінка балів : це функції оцінювання та винагородження ймовірнісних прогнозів, і над цією темою було проведено досить багато роботи, починаючи з 50-х років. Головне, що вам потрібно перевірити, - це правильно , тобто те, що експерт, від якого ви приїжджаєте, має стимул бути чесним.

Існує досить багато можливих правил належного балування: одне з найпростіших - це логарифмічне правило балів: ви нагороджуєте експерта (лінійною функцією) логотипної ймовірності, яку вони призначили події.

— Саймон Берн
джерело

Дякую! Я схилявся до чогось подібного. Зокрема, я хотів, щоб агентом було важко "грати" в систему без будь-якої інформації.

— shabbychef

Перевірте коментар, який я додав до своєї відповіді вище ( посилання ), тому що є кілька перспективних досліджень про те, наскільки ринки прогнозування є особливо надійними щодо маніпуляторів та інших, які намагаються «грати» в систему. Це справді перевершує прості правила підрахунку балів, які пропонують виплати лише для отримання кращої точності, ніж однолітки.

— ely

@EMS: Що робить ринки прогнозування вищими? Вся суть правила підрахунку балів полягає в тому, що оцінка є незалежною від конкурентів (хоча, правда, вони часто не реалізуються таким чином на практиці: тобто всі гроші даються людині з найвищою оцінкою)

— Саймон Бірн

Якщо справжній розподіл відомий тому, хто платить гроші, природною статистикою для вивчення є відносна ентропія даного попереднього та істинного розподілу. Тоді виплата може бути просто деякою монотонною функцією зменшення відносної ентропії.

$n$ $\text{score}(\text{prior } j) = \sum^n_{i=1}P_j(X = x_i)$

$X$ $n$

— Даніель Джонсон
джерело

Безумовно, однак, експерти брали б до уваги всі ці речі, перш ніж давати вам своє "попереднє".

— ely

n

$n$

n

$n$

$

$\$$

Акуратно те, що фізичні величини wrt, такі як оцінювання відстаней або кількості M&M в банці, люди є неупередженими оцінками: беруть в середньому велику кількість здогадок, і зазвичай це дуже близько. Але нефізичні величини, наприклад, яка ціна на газ буде наступного місяця, люди (навіть експерти) жахливі навіть у середньому. Література про планування помилок є страшною, особливо приклади професійних містобудівників, які стабільно погано оцінюють витрати муніципальних проектів, як і те, як статистичні студенти школярів погано справляються зі зміщенням помилкових помилок.

— ely

Основним, про який я знаю, це були речі, про які йшлося у старій книзі про бачення "Екологічний підхід до візуального сприйняття" Джеймса Гібсона. Він згадав деякі експерименти, коли люди оцінювали відстані на футбольному полі між двома людьми, що стояли далеко, та інші подібні речі. Я не можу пригадати, де я почув річ M&M, але спробую знайти деякі джерела.

— ely