Чому люди використовують термін «маса доказів» і чим він відрізняється від «точкової взаємної інформації»?

Тут "маса доказів" (WOE) - поширений термін у опублікованій науковій та політичній літературі, найчастіше розглядається в контексті оцінки ризику, визначеного:

ш (е : год) = журнал \frac{p (е | год)}{p (е | \bar{год})}

$w(e : h) = \log\frac{p(e|h)}{p(e|\overline{h})}$

де докази, - гіпотеза. $e$ $h$

Тепер я хочу знати, яка головна відмінність від PMI (точкова взаємна інформація)

p м i (е, год) = журнал \frac{p (е, год)}{p (е) * p (год)}

$pmi(e,h)=\log\frac{p(e,h)}{p(e)*p(h)}$

probability bayesian mutual-information

— Чарлі Еппс
джерело

Я вважаю, що цей термін був введений у цій роботі: projecteuclid.org/…

— JohnRos

@JohnRos: Хоча це цікавий документ, вагома кількість доказів там не названа. IJ Good має книгу на ній, надруковану в 1950 році, і каже, що він дізнався цю концепцію від A Turing в Bletchley Park!

— kjetil b halvorsen

Зауважте, що горе, як визначено тут, - це лише коефіцієнт вірогідності журналу. Багато згадок про це на цьому сайті - це інша концепція, дивіться stats.stackexchange.com/questions/462052/…

— kjetil b halvorsen

Хоча вони схожі, вони є зовсім різними речами. Почнемо з основних відмінностей.

- це щось інше як в PMI, так і в WOE $h$
Зауважте термін у PMI. Це означає, що - випадкова величина, з якої можна обчислити ймовірність. Для байесівців це не проблема, але якщо ви не вірите, що гіпотези можуть матиапріорнуймовірність,ви навіть не можете написати ІПП для гіпотези та доказів. У WOE - параметр розподілу і вирази завжди визначаються. $p(h)$ $h$ $h$
PMI симетричний, WOE не
тривіально, . Однак не потрібно визначати через термін . Навіть коли він є, він взагалі не дорівнює $pmi(e,h) = pmi(h,e)$ $w(h:e) = \log p(h|e)/p(h|\bar{e})$ $\bar{e}$ . $w(e:h)$

Крім цього, WOE та PMI мають подібність.

Вага доказів говорить про те, наскільки докази говорять на користь гіпотези. Якщо це 0, це означає, що він не виступає ні за, ні проти. Чим вона вища, тим більше вона підтверджує гіпотезу , і чим вона нижча, тим більше вона підтверджує $h$ $\bar{h}$ .

Взаємна інформація кількісно визначає, як відбувається подія ( чи $e$ $h$ ) щось говорить про виникнення іншої події. Якщо вона дорівнює 0, події є незалежними, і виникнення одного не говорить нічого про інше. Чим він вищий, тим частіше вони спільно виникають, і чим нижчим він тим більше взаємовиключний.

Як щодо випадків, коли гіпотеза також є випадковою змінною і обидва варіанти є дійсними? Наприклад , в communiction над бінарним каналом з шумом, гіпотеза випромінюваним сигнал для декодування і доказ сигналу. Скажімо , що ймовірність перекидання становить , так що якщо ви отримуєте , то WOE для є . З іншого боку, PMI залежить від надійності випромінювання . Ви можете переконатися, що коли ймовірність випромінювання має тенденцію до 0, PMI має тенденцію до $h$ $h$ $1/1000$ $1$ $1$ $\log 0.999/0.001 = 6.90$ $1$ $1$ $6.90$ , тоді як вона має тенденцію до коли ймовірність випромінювання a має тенденцію до . $0$ $1$ $1$

Ця парадоксальна поведінка ілюструє дві речі:

Жоден з них не підходить для здогадки про викиди. Якщо вірогідність випускання падає нижче , то , швидше за все , випромінювання навіть при отриманні . Однак за малих вірогідностей випромінювання і WOE, і PMI близькі до . $1$ $1/1000$ $0$ $1$ $1$ $6.90$
ПМІ - це отримання інформації (Шеннона) щодо реалізації гіпотези, якщо гіпотеза майже впевнена, то ніякої інформації не отримується. WOE - це оновлення наших попередніх коефіцієнтів , яке не залежить від значення цих шансів.

— gui11aume
джерело

Це може бути примітною річчю, але як у WMI як ви визначаєте

не визначаючи

? Ви не збираєтеся з

p (e | h)

$p(e|h)$

p (h)

$p(h)$

p (e | h) = \frac{p (e, h)}{p (h)}

$p(e|h) = \frac{p(e,h)}{p(h)}$

— Майк Батталья

h

$h$

p (e | h)

$p(e|h)$

p (h)

$p(h)$