Система голосування, яка використовує точність кожного виборця та пов'язану з цим невизначеність

Скажімо, у нас є просте питання "так / ні", на яке ми хочемо знати відповідь. А за правильну відповідь "голосують" N людей. У кожного виборця є історія - перелік 1-х та 0-х, який показує, чи мали вони рацію чи неправильно щодо подібних питань у минулому. Якщо взяти історію як біноміальне розподіл, ми можемо виявити середню ефективність виборців у таких питаннях, їх варіації, ІС та будь-який інший показник довіри.

В основному, моє питання: як включити інформацію про довіру до системи голосування ?

Наприклад, якщо ми розглядаємо лише середню ефективність роботи кожного виборця, то ми можемо побудувати просту зважену систему голосування:

r e s u l t = s i g n (\sum_{v \in v o t e r s} μ_{v} \times (- 1)^{1 - v o t e})

$result = sign(\sum_{v \in voters}\mu_v \times (-1)^{1-vote})$

Тобто, ми можемо просто підсумовувати ваги виборців, помножені або на $+1$ (на "так"), або на $-1$ (на "ні"). Це має сенс: якщо серед виборців 1 є відповідні правильні відповіді, рівні $.9$ , а у виборців 2 лише $.8$ , то, мабуть, голос 1-ї особи слід вважати важливішим. З іншого боку, якщо перша особа відповіла лише на 10 запитань подібного роду, а 2-а відповіла на 1000 таких питань, ми набагато впевненіші про рівень майстерності 2-ї людини, ніж про ті, що мають 1-ю людину, - можливо, що 1-й людині пощастило , і після 10 відносно успішних відповідей він продовжить набагато гірші результати.

Отже, більш точне запитання може звучати так: чи є статистична метрика, яка включає в себе і міцність, і впевненість щодо якогось параметра?

— подруга
джерело

Ви повинні розглядати експертизу виборця як приховану змінну вашої системи. Тоді ви, можливо, зможете вирішити свою проблему за допомогою байєсівського висновку . Представлення як графічна модель може бути таким:

graphical_model

$A$ $V_i$ $i$ $H_i$ $\mu_i$ $\Pr(A=V_i) = \mu_i$ $\mu_i$ $\Pr(\mu_i \mid H_i)$ $\mu_i$

Пр (А ∣ V_{i}, Н_{i}) = \int_{{мк}_{i}} Пр (А, {мк}_{i} ∣ А_{i}, Н_{i}) г {мк}_{i}

$\Pr(A \mid V_i, H_i) = \int_{\mu_i} \Pr(A, \mu_i \mid A_i, H_i)~ \mathrm{d}\mu_i$

Ці системи важко вирішити. Ви можете використовувати алгоритм ЕМ як апроксимацію або використовувати повну схему максимізації ймовірності для виконання точного байєсівського умовиводу.

Подивіться на цьому документі Варіаційні умовиводи для краудсорсингу , Лю, Пен та Ілер 2012 ( представлені вчора в NIPS! ) Для отримання детальних алгоритмів вирішення цього завдання.

— Еміль
джерело

Дякуємо за вашу відповідь, але чи можете ви трохи уточнити це? Зокрема, що ви маєте на увазі під досвідом? Якщо є просто ймовірність, що людина відповість правильно, то ми вже маємо її оцінку як середню кількість попередніх відповідей, тому це не є прихованою. Якщо ви маєте на увазі, ніж досвід включає в себе як середнє, так і впевненість щодо нашої оцінки, то як ми можемо поширювати ймовірності отримання експертизи та результату?

— дружина

Так, ви можете представляти як середню, так і впевнену за допомогою цієї змінної "експертизи" та байєсівського висновку. Я додав кілька пояснень та посилання на свою відповідь. Сподіваюся, що це допомагає!

— Еміль