Оцінка ймовірності успіху з урахуванням референтної сукупності


11

Припустимо, у вас така ситуація:

Ви спостерігали за часом 1000 гравців у боулінг, які кожен грав порівняно невелику кількість ігор (скажімо, від 1 до 20). Ви відзначили відсоток страйку для кожного з цих гравців за кількість ігор, які кожен з них грав.

Приходить новий гравець в боулінг, який грає 10 ігор і отримує 3 удари.

Розподіл кількості ударів для будь-якого гравця вважається двочленним.

Я хочу оцінити "справжню" ймовірність успіху для цього гравця.

Зверніть увагу на таке:

  1. Це не реальна ситуація чи шкільна проблема, просто проблема самодумки.
  2. Я студент з трохи більшою статистикою, ніж курс "Статистика 101". Я мало знаю про умовиводи, як оцінка максимальної ймовірності ... Тож сміливо повідомте мені області в статистиці, про які я повинен прочитати.
  3. Моїй проблемі може не вистачати інформації, або якщо було б корисно для, скажімо, розподілу ймовірності успіху приблизно нормальним, будь ласка, скажіть мені про це.

Велике спасибі


Як ви вважаєте, яка залежність між ймовірністю цього гравця та ймовірністю кожного з інших 1000 гравців? Іншими словами, чому ми б взагалі вважали інших 1000 під час оцінки цього гравця?
rolando2

1
Я припускаю, що справжній відсоток страйку гравця - це по суті реалізація такого ж розподілу відсотків ударів, що і 1000 інших гравців. Іншими словами, в цьому новому гравці немає нічого особливого, він просто інший випадковий гравець. Сподіваємось, це має сенс.
Уват

Відповіді:


10

Це чудовий приклад, щоб проілюструвати різницю між частотистським та байєсівським підходами до висновку.

Перша моя спрощена реакція на частість: Якщо ви вже вважали, що розподіл ударів є двочленним, вам не потрібно нічого знати про інші 1000 гравців (крім, можливо, ви могли б використовувати їх для перевірки свого двочленного припущення).

Після того, як ви зрозуміли біноміальне припущення, ваша оцінка буде дуже однозначною: 3/10. Варіантність цієї оцінки - звичайний p (1-p) / n = 0,021.

В основному, 1000 інших гравців не мають значення, якщо ви не думаєте, що в розподілі страйків є щось цікаве і не двомісне (наприклад, люди стають кращими, коли вони грають більше ігор).

Більш розглянутий байєсівський погляд на це: або , якщо ви зацікавлені в застосуванні попередніх знань, які ви маєте від інших гравців, і ви думаєте, що новий гравець є в основному новим зразком з тієї ж популяції, вам слід подумати про це в Bayesian умови .

Оцініть попередній розподіл гравців. Для цього вам потрібно переглянути свої 1000 точок даних - 1000 гравців, які вже спостерігалися, за кожним з яких у вас є оцінка їхньої ймовірності удару. Кожен з цих 1000 балів може приймати лише одне з 21 значення (від нуля до двадцяти ударів з двадцяти), і ви побачите розподіл по всьому полю. Якщо ви конвертуєте ці бали у пропорції (тобто між нулем і одиницею), цей розподіл, ймовірно, може бути досить наближеним шляхом розподілу ймовірності випадкової величини з бета-розподілом. Бета-розподіл повністю характеризується лише двома параметрами - скажімо, a і b - але тому, що ці параметри насправді не пов'язані з розподілом, про який ви просили нас (власна ймовірність конкретного гравця), але розподілом вищого рівня ми назвати їх гіперпараметрами. Ви можете розробити оцінки цих гіперпараметрів з ваших 1000 точок даних одним із ряду способів, які насправді не мають відношення до основної точки вашого питання.

Перш ніж ви взагалі отримаєте будь-яку інформацію про плеєр, найкраща здогадка щодо його / її частки забиття удару (давайте назвемо його p) буде просто найвірогіднішим значенням p із того бета-дистрибутива, який ми тільки що підходили.

Однак у нас є дані про власного гравця, а не лише про загальну сукупність! У Бога, якому ми довіряємо, всі інші повинні принести дані (я б приписував цю цитату, якби я міг згадати, де я її знайшов, вибачте). Кожен раз, коли ми спостерігаємо за тим, як наш гравець грає в гру чи отримує страйк чи ні, у нас з'являється нова інформація, щоб уточнити нашу оцінку його пропорції.

Однією з чітких речей щодо бета-розподілу як розподілу ймовірності на пропорцію є те, що, коли ми збираємо нову інформацію з даних і створюємо нову, вдосконалену оцінку пропорції, теорія ймовірностей може показати, що нова, вдосконалена оцінка також є бета-версією розповсюдження - просто більш концентрована версія. Це пояснюється тим, що бета-розподіл - це те, що попередньо називається кон'югатом при спробі скласти оцінки щодо біноміальної моделі.

Тобто, якщо ми спостерігаємо z з n успішних подій (ігри з ударами в цьому випадку); і попередній розподіл був бета (a, b); задній розподіл (є оцінкою розподілу ймовірності p, отриманого як вихідні 1000 точок даних, і це нове спостереження за десятьма іграми) - бета (a + z, b + nz) або (у нашому випадку) бета (a + 3, b + 7). Як бачимо, чим більше даних ви отримуєте, тим менш важливими є a і b. Математика цього досить проста і в багатьох текстах, але це не так цікаво (мені все одно).

Якщо у вас є R, ви можете побачити приклад, запустивши код нижче (а якщо у вас немає R, ви повинні його отримати - це безкоштовно, і це приголомшливо допомагати продумувати подібні проблеми). Це передбачає, що попередній розподіл гравців можна змоделювати за допомогою бета (2,5) - це я просто склав. Насправді, є способи оцінити цифри для a і b краще, ніж просто скласти 2 і 5, тому що я думаю, що крива виглядає нормально.

Як ви побачите, якщо ви запускаєте цей стилізований приклад, точкова оцінка ймовірності гравця забити удар, враховуючи попередній розподіл бета (2,5), становить 0,29, а не 0,30. Також ми можемо створити інтервал достовірності, який, відверто кажучи, більш інтуїтивно зрозумілий і простіший для пояснення, ніж інтервал довіри (див. Багато питань та дискусій в Інтернеті про різницю між цими двома, в тому числі на CrossValided).

plot(0:100/100,dbeta(0:100/100,2,5), type="l", ylim=c(0,4), bty="l")
lines(0:100/100,dbeta(0:100/100,2+3,5+7), type="l", lty=2)
legend(0.6,3.5,c("Posterior distribution", "Prior distribution"), 
    lty=2:1, bty="n")
qbeta(c(0.025, 0.975), 2, 5) # credibility interval prior to any new data
qbeta(c(0.025, 0.975), 2+3, 5+7) # credibility interval posterior to data
qbeta(0.5, 2+3, 5+7) # point estimate of p, posterior to data

Потім спостерігайте за своїм новим гравцем; і обчислити новий задній розподіл для нового гравця. Ефективно це говорить: "враховуючи те, що ми щойно спостерігали, де, по мірі розподілу гравців, на нашу думку, ця людина найімовірніше?"


2
Я не думаю, що це правильно. Припустимо, що переважна більшість (99%) серед 1000 людей страйкує відсотки від 5% до 15%, а жменька відсотків страйку перевищує 25%. Тоді я б заперечив, що більш імовірно, що новий гравець, якого ми спостерігали, має відсоток справжнього удару нижче 30%, а просто "пощастив".
Уват

добре, хороший момент - я додав редагування, щоб врахувати цю ситуацію. В основному у вас є гарна заява про байєсівську проблему з висновком.
Пітер Елліс

@Peter - все гарно сперечалося.
rolando2

Дякую за вашу відповідь. Однак я не зовсім зрозумів, що ви маєте на увазі під собою: "вам потрібен фактичний розподіл ставок страйку осіб, який, мабуть, буде бета-тестом". Спасибі
Uwat

Дякую, справді гарне запитання, я значно розширив свою відповідь у відповідь.
Пітер Елліс
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.