Поєднання ймовірностей / інформації з різних джерел

26

Скажімо, у мене є три незалежні джерела, і кожне з них зробить прогноз погоди завтра. Перший говорить, що ймовірність дощу завтра дорівнює 0, потім другий говорить, що ймовірність дорівнює 1, і нарешті останній говорить, що ймовірність становить 50%. Я хотів би знати загальну ймовірність, враховуючи цю інформацію.

Якщо застосувати теорему множення для незалежних подій, я отримаю 0, що не здається правильним. Чому неможливо помножити всі три, якщо всі джерела незалежні? Чи є якийсь баєсовський спосіб оновити попереднє, коли я отримую нову інформацію?

Примітка: це не домашнє завдання, це те, про що я думав.

— Біела Діела
джерело

1

Чи знаєте ви, наскільки надійні незалежні джерела

— Діліп Сарват

Ні, апріорі я б припустив, що всі джерела однаково достовірні.

— Бієла Дієла

3

Це хороше питання, над яким я і думаю. Я б додав друге запитання: Якби всі прогнози були 0,75, якою була б сукупна ймовірність? Вищий за 0,75? Якою була б формальна основа для аналізу такого роду питань?

— Карстен В.

2

Інформації насправді недостатньо; нам потрібна якась модель того, як очікується співвідношення прогнозів з реальністю.

— Glen_b -Встановіть Моніку

Я не зовсім впевнений, що мається на увазі під "всі джерела однаково надійні", коли джерела надають твердження щодо ймовірностей або рівнів довіри / довіри. Якщо ми говоримо про ймовірність, яка-то-певна-ймовірність-має-задане значення, яка, здається, викликає концептуальні проблеми. До речі, якщо джерела 1 і 2 однаково надійні, вони повинні бути правильними з вірогідністю 0,50 ... (а ймовірність дощу - 1/2).

— AG

32

Ви запитаєте про три речі: (а) як поєднати кілька прогнозів, щоб отримати єдиний прогноз, (б) чи може бути використаний байєсівський підхід, і (c) як боротися з нульовими ймовірностями.

Поєднання прогнозів - звичайна практика . Якщо у вас кілька прогнозів, ніж якщо ви приймаєте в середньому ці прогнози, то отриманий комбінований прогноз повинен бути кращим з точки зору точності, ніж будь-який з окремих прогнозів. Для їх середнього використання можна використовувати середньозважену кількість, коли ваги базуються на обернених помилках (тобто точності) або вмісті інформації . Якщо ви мали знання про надійність кожного джерела, ви могли б призначити ваги, пропорційні надійності кожного джерела, тому більш надійні джерела мають більший вплив на остаточний комбінований прогноз. У вашому випадку ви не маєте ніяких знань про їх надійність, тому кожен з прогнозів має однакову вагу, і тому ви можете використовувати просте середнє арифметичне з трьох прогнозів

0 % \times .33 + 50 % \times .33 + 100 % \times .33 = (0 % + 50 % + 100 %) / 3 = 50 %

$0\%\times.33+50\%\times.33+100\%\times.33 = (0\%+50\%+100\%)/3=50\%$

Як було запропоновано в коментарях @AndyW та @ArthurB. доступні інші методи, крім простого середнього зваженого значення. Багато таких методів описано в літературі про усереднення експертних прогнозів, з якими я раніше не був знайомий, тому дякую хлопці. У результаті усереднення експертних прогнозів іноді ми хочемо виправити той факт, що експерти прагнуть до регресу (Baron et al, 2013) або роблять прогнози більш екстремальними (Ariely et al, 2000; Erev et al, 1994). Для цього можна використати перетворення окремих прогнозів , наприклад, функція logit $p_i$

\begin{matrix} (1) & л о г i т (p_{i}) = журнал (\frac{p_{i}}{1 - p_{i}}) \end{matrix}

$\mathrm{logit}(p_i) = \log\left( \frac{p_i}{1-p_i} \right) \tag{1}$

коефіцієнти до ю потужність $a$

\begin{matrix} (2) & г (p_{i}) = {(\frac{p_{i}}{1 - p_{i}})}^{а} \end{matrix}

$g(p_i) = \left( \frac{p_i}{1-p_i} \right)^a \tag{2}$

де , або більш загальне перетворення форми $0 < a < 1$

\begin{matrix} (3) & т (p_{i}) = \frac{p_{i}^{а}}{p_{i}^{а} + (1 - p_{i})^{а}} \end{matrix}

$t(p_i) = \frac{p_i^a}{p_i^a + (1-p_i)^a} \tag{3}$

де якщо не застосовується перетворення, якщо окремі прогнози робляться більш крайніми, якщо прогнози роблять менш крайніми, що показано на малюнку нижче (див. Karmarkar, 1978; Baron et al, 2013 ). $a=1$ $a>1$ $0 < a<1$

Після такої трансформації прогнози усереднюються (використовуючи середнє арифметичне, середнє, середньозважене або інший метод). Якщо використовувались рівняння (1) або (2), результати потрібно перетворити назад, використовуючи зворотний логіт для (1) та оберненого коефіцієнта для (2). Альтернативно, можна використовувати середнє геометричне значення (див. Genest and Zidek, 1986; пор. Дітріх і Список, 2014)

\begin{matrix} (4) & \hat{p} = \frac{\prod_{i = 1}^{N} p_{i}^{ш_{i}}}{\prod_{i = 1}^{N} p_{i}^{ш_{i}} + \prod_{i = 1}^{N} (1 - p_{i})^{ш_{i}}} \end{matrix}

$\hat p = \frac{ \prod_{i=1}^N p_i^{w_i} }{ \prod_{i=1}^N p_i^{w_i} + \prod_{i=1}^N (1 - p_i)^{w_i} } \tag{4}$

або підхід, запропонований Satopää et al (2014)

\begin{matrix} (5) & \hat{p} = \frac{{[\prod_{i = 1}^{N} {(\frac{p_{i}}{1 - p_{i}})}^{ш_{i}}]}^{а}}{1 + {[\prod_{i = 1}^{N} {(\frac{p_{i}}{1 - p_{i}})}^{ш_{i}}]}^{а}} \end{matrix}

$\hat p = \frac{ \left[ \prod_{i=1}^N \left(\frac{p_i}{1-p_i} \right)^{w_i} \right]^a }{ 1 + \left[ \prod_{i=1}^N \left(\frac{p_i}{1-p_i} \right)^{w_i} \right]^a } \tag{5}$

де ваги. У більшості випадків використовуються рівні ваги , якщо неіснує апріорноїінформації, яка передбачає інший вибір. Такі методи використовуються для усереднення експертних прогнозів, щоб виправити недостатність або переконання. В інших випадках слід врахувати, чи виправдана трансформація прогнозів на більш, або менш крайні, оскільки це може призвести до того, що отримана сукупна оцінка випаде за межі, відмічені найнижчим та найбільшим індивідуальним прогнозом. $w_i$ $w_i = 1/N$

Якщо ви маєте апріорні знання про ймовірність дощу, ви можете застосувати теорему Байєса для оновлення прогнозів, надаючи апріорну ймовірність дощу аналогічним чином, як описано тут . Існує також простий підхід , який може бути застосований, наприклад , розрахувати середньозважений ваш прогнози (як описано вище) , де завжди апріорна ймовірність $p_i$ $\pi$ розглядаються в якості додаткової точки даних з деякою наперед заданої масою як в цьому IMDB прикладі (див також джерело або тут і тут для обговорення; пор. Genest and Schervish, 1985), тобто $w_{\pi}$

\begin{matrix} (6) & \hat{p} = \frac{(\sum_{i = 1}^{N} p_{i} ш_{i}) + π ш_{π}}{(\sum_{i = 1}^{N} ш_{i}) + ш_{π}} \end{matrix}

$\hat p = \frac{ \left(\sum_{i=1}^N p_i w_i \right) + \pi w_{\pi} }{ \left(\sum_{i=1}^N w_i \right) + w_{\pi} } \tag{6}$

З вашого запитання, однак, не випливає, що ви маєте апріорні знання про свою проблему, тому ви, ймовірно, використовували єдиний попередній варіант , тобто припускаєте апріорний шанс дощу, і це насправді не сильно зміниться у випадку, якщо ви подали приклад. $50\%$

Для боротьби з нулями можливе кілька різних підходів. Спочатку слід зауважити, що шанс дощу не є дійсно надійним значенням, оскільки це говорить про те, що неможливо, що випаде дощ. Подібні проблеми часто виникають при обробці природною мовою, коли у ваших даних ви не спостерігаєте якихось значень, які, можливо, можуть виникнути (наприклад, ви рахуєте частоту букв, а в ваших даних деяка незвичайна літера взагалі не зустрічається). У цьому випадку класичний оцінювач ймовірності, тобто $0\%$

p_{i} = \frac{н_{i}}{\sum_{i} н_{i}}

$p_i = \frac{n_i}{\sum_i n_i}$

де - кількість входжень го значення (з категорій), дає $n_i$ $i$ $d$ якщо . Це називаєтьсяпроблемою нульової частоти. Для таких значень визнаєте,що їх вірогідність не є нульовою (вони існують!), Тому ця оцінка, очевидно, неправильна. Існує також практичне занепокоєння: множення та ділення на нулі призводить до нулів або невизначених результатів, тому нулі проблематичні в роботі. $p_i = 0$ $n_i = 0$

Найпростіший і загальноприйнятий виправлення полягає в тому, щоб додати деяку константу до своїх рахунків, так що $\beta$

p_{i} = \frac{н_{i} + β}{(\sum_{i} н_{i}) + г β}

$p_i = \frac{n_i + \beta}{(\sum_i n_i) + d\beta}$

Загальний вибір для - , тобто застосування рівномірного попереднього, що ґрунтується на правилі правонаступництва Лапласа , $\beta$ $1$ для оцінки Кричевський-Трофимов, або для Шурманн-Грассбергера (1996) оцінки. Однак зауважте, що ви робите тут, ви застосовуєте в своїй моделі застарілу інформацію (попередню) інформацію, щоб вона набула суб'єктивного, байєсівського смаку. Використовуючи такий підхід, ви повинні пам'ятати про зроблені вами припущення та враховувати їх. Те, що у нас єапріорнісильні $1/2$ $1/d$ знання про те, що в наших даних не повинно бути нульових ймовірностей, прямо виправдовує тут баєсовський підхід. У вашому випадку у вас немає частот, а ймовірностей, тому ви додасте дуже маленьке значення, щоб виправити нулі. Однак зауважте, що в деяких випадках такий підхід може мати погані наслідки (наприклад, при роботі з колодами ), тому його слід застосовувати обережно.

Шурман, Т. та П. Грассбергер. (1996). Ентропійна оцінка послідовностей символів. Хаос, 6, 41-427.

Ariely, D., Tung Au, W., Bender, RH, Budescu, DV, Dietz, CB, Gu, H., Wallsten, TS і Zauberman, G. (2000). Ефекти усереднення суб'єктивних оцінок ймовірностей між суддями та всередині них. Журнал експериментальної психології: Прикладна, 6 (2), 130.

Baron, J., Mellers, BA, Tetlock, PE, Stone, E. and Ungar, LH (2014). Дві причини зробити сукупні прогнози ймовірностей більш екстремальними. Аналіз рішень, 11 (2), 133-145.

Ерев, І., Уолстен, Т. С. і Будеску, Д. В. (1994). Одночасне перевиконання та невпевненість у собі: роль помилок у процесах судження. Психологічний огляд, 101 (3), 519.

Кармакар, США (1978). Суб'єктивно зважена утиліта: описове розширення очікуваної корисної моделі. Організаційна поведінка та продуктивність людини, 21 (1), 61-72.

Тернер, Б.М., Стійверс, М., Меркле, Е.К., Будеску, Д.В. та Уолстен, ТС (2014). Агрегація прогнозу шляхом повторної калібрування. Машинне навчання, 95 (3), 261-289.

Genest, C. та Zidek, JV (1986). Поєднання розподілу ймовірностей: критика та анотована бібліографія. Статистична наука, 1 , 114–135.

Satopää, VA, Baron, J., Foster, DP, Mellers, BA, Tetlock, PE та Ungar, LH (2014). Поєднання декількох прогнозів ймовірностей за допомогою простої моделі logit. Міжнародний журнал прогнозування, 30 (2), 344-356.

Genest, C. and Schervish, MJ (1985). Моделювання експертних суджень для байєсівського оновлення. Аннали статистики , 1198–1212.

Дітріх, Ф. та Ліст, С. (2014). Імовірнісне базування думок. (Не опубліковано)

— Тім
джерело

2

Я хотів до цього додати, а не почати нову відповідь. Ще один добре відомий метод - поєднувати три (або N) ймовірності, беручи їхнє геометричне середнє (а не середнє арифметичне). Хінтон зазначає, що це дає моделі з дуже високою або низькою ймовірністю, "вето" сили серед інших, а не усереднення всього, що може часом спрацьовувати проти вас.

— Жубарб

Отже, якби всі три прогнози склали 75%, а інформації про їх достовірність немає, остаточний прогноз був би 75%?

— Карстен В.

@KarstenW. так, чому б ви очікували чогось іншого? Якщо у вас немає апріорної інформації, то це єдина інформація, яку ви маєте, тож у вас немає підстав вважати підсумковий результат іншим ...

— Тім

1

Я не читав жодної академічної праці Тетлока, але я би почав з цього. Наприклад, дві причини, щоб зробити агреговані прогнози ймовірностей більш екстремальними . Я перегляну точне формулювання Філа, можливо, я неправильно запам’ятав слово екстреміфікувати .

— Енді Ш

1

Я був поруч із екстремізованим , але не зовсім. Я повинен був використовувати екстремізований , дивіться тут . Крім барона та ін. Згаданий документ, я бачу, що Віль Сатопя має певну роботу над темою arxiv.org/abs/1506.06405 .

— Енді Ш

6

Існує два способи думати про проблему. Слід сказати, що джерела дотримуються галасливої версії прихованої змінної "буде дощ / не буде дощ".

$Beta(a+b,a)$ $Beta(a,a+b)$ якщо його не буде.

$a$ $x$ $y$ $z$

p = \frac{1}{1 + {(\frac{1}{х} - 1)}^{б} {(\frac{1}{у} - 1)}^{б} {(\frac{1}{z} - 1)}^{б}}

$p = \frac{1}{1+\left(\frac{1}{x}-1\right)^b\left(\frac{1}{y}-1\right)^b\left(\frac{1}{z}-1\right)^b}$

$b$ $b>1$ $b<1$ $b = 1$

\frac{p}{1 - p} = \frac{x}{1 - x} \frac{y}{1 - y} \frac{z}{1 - z}

$\frac{p}{1-p} = \frac{x}{1-x} \frac{y}{1-y} \frac{z}{1-z}$

$1$ $0$

Ця модель працює краще, якщо ви думаєте про те, як троє людей говорять вам, чи не вчора дощ чи ні. На практиці ми знаємо, що в погоді є невідворотна випадкова складова, і тому, можливо, буде краще припустити, що природа спочатку вибирає ймовірність дощу, що шумно спостерігається джерелами, а потім гортає упереджену монету, щоб вирішити, чи чи не буде дощ.

У цьому випадку комбінована оцінка буде набагато більше схожа на середнє значення між різними оцінками.

— Артур Б.
джерело

Що б x, y, z було б у цій моделі?

— Карстен В.

Це були б три різні прогнози.

— Артур Б.

x = y = z = \frac{3}{4}

$x = y = z = \frac{3}{4}$

p = \frac{27}{28}

$p = \frac{27}{28}$

\frac{3}{4}

$\frac{3}{4}$

\frac{27}{28}

$\frac{27}{28}$

Їхати з 3/4 по 27/28 трохи екстремально, це як троє людей говорили вам, що небо темно-синє, і ви дійшли висновку, що воно чорне ...

— Тім

Це залежить від моделі. Тут я припускаю, що кожне джерело має галасливий вигляд на приховану бінарну змінну, дощ чи без дощу. Це більше схоже на те, що троє різних людей говорять вам, що вчора дощило. Ви також можете моделювати систему, оскільки існує прихована ймовірність дощу та джерела прогнозу як отримання галасливої версії цього прогнозу.

— Артур Б.

3

У рамках моделі передавальної віри (TBM) можна комбінувати різні прогнози, використовуючи, наприклад, "сполучне правило поєднання". Для того, щоб застосувати це правило, вам потрібно перетворити ймовірності прогнозів в основні завдання вірування. Цього можна досягти за допомогою так званого "найменшого принципу". В R:

library(ibelief)
#probabilities
p1 <- c(0.99, 0.01) # bad results for 0 and 1
p2 <- c(0.01, 0.99)
p3 <- c(0.5, 0.5)

# basic belief assignment, 
# each row represents a subset of (rain, not rain)
# each column represents one prediction
Mat <- LCPrincple(rbind(p1,p2,p3))

# combine beliefs
m <- DST(Mat, 1)

# resulting probability distribution (pignistic probability)
mtobetp(m)
# returns 0.5 and 0.5

У другому прикладі трьох незалежних прогнозів 0,75 такий підхід повертає більш високе значення:

p4 <- c(0.75, 0.25)
Mat <- LCPrincple(rbind(p4,p4,p4))
m <- DST(Mat, 1)
mtobetp(m)
#returns 0.9375 0.0625

Це не дуже далеко від байєсівського підходу, показаного у відповіді Артура Б.

— Карстен В.
джерело

2

ш_{1} = \frac{σ_{2}^{2} σ_{3}^{2}}{σ_{1}^{2} σ_{2}^{2} + σ_{1}^{2} σ_{3}^{2} + σ_{2}^{2} σ_{3}^{2}}, ш_{2} = \frac{σ_{1}^{2} σ_{3}^{2}}{σ_{1}^{2} σ_{2}^{2} + σ_{1}^{2} σ_{3}^{2} + σ_{2}^{2} σ_{3}^{2}}, ш_{3} = \frac{σ_{1}^{2} σ_{2}^{2}}{σ_{1}^{2} σ_{2}^{2} + σ_{1}^{2} σ_{3}^{2} + σ_{2}^{2} σ_{3}^{2}} .

$w_1 = {{\sigma_2^2 \sigma_3^2} \over {\sigma_1^2 \sigma_2^2 + \sigma_1^2 \sigma_3^2 + \sigma_2^2 \sigma_3^2}},\ w_2 = {{\sigma_1^2 \sigma_3^2} \over {\sigma_1^2 \sigma_2^2 + \sigma_1^2 \sigma_3^2 + \sigma_2^2 \sigma_3^2}},\ w_3 ={{\sigma_1^2 \sigma_2^2} \over {\sigma_1^2 \sigma_2^2 + \sigma_1^2 \sigma_3^2 + \sigma_2^2 \sigma_3^2}}.$

$\frac{1}{3}$

$\sigma_i$ $\sigma_1^2 : \sigma_2^2 : \sigma_3^2 = 1:2:4,$

f = \frac{8}{14} * (0) + \frac{4}{14} * (1) + \frac{2}{14} * (0,5) = 0,3571

$f = { {{8} \over {14}}*(0) + {{4} \over {14}}*(1) + {{2} \over {14}}*(0.5) } = 0.3571$

— соклей
джерело

1

Їх кількість щодо ймовірності дощу - лише половина історії, тому що нам доведеться загартовувати їхні прогнози з тією ймовірністю, що вони будуть точними під час здогадок.

Оскільки щось на кшталт дощу взаємно виключає (у цьому режимі дощ або немає, вони не можуть одночасно виправитись з 75% вірогідністю, як запропонував Карстен (я думаю, важко сказати з плутаниною, що чую про те, що це означає знайти "комбіновану ймовірність").

Беручи до уваги їхні індивідуальні здібності передбачати погоду, ми могли б зробити удар (а-ля Томас Байес, як у цілому сліпий постріл у темряві), який шанс на дощ завтра.

Станція 1 правильна у своїх прогнозах 60% часу, друга 30% часу, а остання станція погана 10% часу.

E [дощ] = Px X + Py Y + Pz * Z - це форма, яку ми дивимося тут:

(.6) (0) + (. 3) (1) + (. 1) (. 5) = E [дощ] = 35% шанс дощу зі складеною точністю прогнозування.

— Хавок
джерело

1

Цей алгоритм може створювати значення вище 1.

— Енді Ш

1

На це запитання дано багато складних відповідей, але як щодо середнього зваженого значення: https://en.wikipedia.org/wiki/Inverse-variance_weighting

Замість n повторних вимірювань одним інструментом, якщо експериментатор робить n однакової кількості з n різними приладами з різною якістю вимірювань ...

Кожна випадкова величина зважується у зворотному співвідношенні до її дисперсії.

Середньозважене середнє зважене середнє значення здається дуже простим для обчислення, і бонус має найменшу дисперсію серед усіх зважених середніх.

— Лотерейні
джерело

-1

Для поєднання надійності моя формула переходу до r1xr2xr3 ÷ (r1xr2xr3 + (1-r1) x (1-r2) x (1-r3). Так що для 3-х джерел надійності 75% все говорять те саме, я мав би .75 ^ 3 ÷ (.75 ^ 3 + .25 ^ 3) => 96% надійність комбінованої відповіді

— user3902302
джерело

1

Це здається не належною відповіддю на питання.

— Майкл Р. Черник

Справді, це був скоріше відповідь на коментарі KarstenW, ніж пряма відповідь на питання.

— user3902302