Чи є у нас проблема "жалісних нагород"?

Я знаю, це може здатися, що це поза темою, але вислухай мене.

У режимі переповнення стека і тут ми отримуємо голоси за повідомлення, все це зберігається в табличній формі.

Наприклад:

пост ідентифікатор виборця ідентифікатор типу голосування дата
------- -------- --------- --------
10 1 2 2000-1-1 10:00:01 
11 3 3 2000-1-1 10:00:01 
10 5 2 2000-1-1 10:00:01

... і так далі. Тип голосування 2 - це повторне голосування, тип 3 - голосування. Ви можете запитувати анонімізовану версію цих даних на веб- сайті http://data.stackexchange.com

Існує думка, що якщо посада досягає оцінки -1 або нижчої, вона, швидше за все, буде аплодована. Це може бути просто упередження підтвердження або воно може бути вкорінене фактично.

Як би ми проаналізували ці дані, щоб підтвердити або спростувати цю гіпотезу? Як би ми виміряли ефект цього зміщення?

— Сем Шафран
джерело

чи можемо ми отримати приклад запиту? Не всі добре вміють писати SQL-заяви. Наявність вибіркових даних може спонукати людей намагатися грати з ними. +1 для запитання.

— mpiktas

@Jeff голоси анонімізовані, ви можете отримувати лише часткову інформацію з дампа даних, він включає всі переходи, хоча ось швидкий зразок data.stackexchange.com/stackoverflow/q/101738 повний анонімізований доступний на дампі загальнодоступних даних

— Sam Шафран

Чому просто нагороди? Наскільки вірогідною може бути цікавість ймовірності розбиття голосів або вниз голосування навколо кожної конкретної цінності?

— Боб Дуррант

@Bob, впевнений, що вони згодні

— Сем Сафрон

Я бачив, як інші сайти придушують голоси (тобто додають шум перед їх відображенням), а іноді навіть повністю приховують голоси вниз і вниз на короткий період, щоб уникнути різних форм розкрутки, жалості голосів та інших "соціальних" елементи голосування.

— Glen_b

Відповіді:

Ви можете використовувати багатоступеневу модель або ланцюжок Markov (пакет msm в R - це один із способів їх підгонки). Потім ви можете подивитись, чи більша ймовірність переходу від -1 до 0, ніж від 0 до 1, 1 до 2 і т. Д. Ви також можете переглянути середній час на -1 порівняно з іншими, щоб побачити, чи він коротший .

— Грег Сніг
джерело

+1 чудова довідка. Існує стаття в Журналі статистичного програмного забезпечення про MSM пакет. Модель, здається, ідеально підходить для такого роду завдань.

— mpiktas

Ідея моделі ланцюга Маркова виглядає непогано, але середній час у -1 не дасть усієї історії. Можливо (і правдоподібно - думайте про погані запитання), що хтось швидше занижений на -1, ніж в інших місцях.

— Боб Дуррант

Я здогадуюсь, що спершу можна спробувати згрупувати траєкторії голосування - ті, які (майже) отримуються лише вгору / знижуються (дуже популярні / дуже погані питання), і ті, які є більш суперечливими. Тоді ви можете зробити Маркові ланцюжки на трьох класах.

— Йонас

Проведіть експеримент. Випадково знімайте половину нових публікацій у певний час щодня.

— charles.y.zheng
джерело

Класно, нам слід спостерігати значне збільшення значків "критики" та, ймовірно, зниження мотивації для нових користувачів :-) Краще почати з користувачів із високим рівнем відгуку, у цьому випадку (ризикуючи змінити експеримент!)

— chl

Насправді ми могли б зробити краще, ніж це ... використовуючи тестування на AB, ми могли вибрати, щоб відобразити половину -1 проголосованого питання на сайті як 0 і половину як -1 ... і побачити, чи є одна з груп більш імовірною. прихильне! Геніальний.

— Сем Шафран

Ідея експерименту контролює якість публікацій, але (1) ті, хто знижується, повинні заздалегідь домовитись про участь в експерименті, і (2) через короткий час пониження слід усунути.

— zbicyclist

+1 (і +1 також до всіх коментарів тут): контрольований оборотний експеримент, який заздалегідь повідомляється всім користувачам, які можуть бути зачеплені та проведені з їх схвалення, є одним із найсильніших способів отримання цієї інформації.

— whuber

Підсумок моєї відповіді. Мені подобається моделювання ланцюгів Маркова, але воно пропускає "часовий" аспект. З іншого боку, зосередження уваги на часовому аспекті (наприклад, середній час в ) не вистачає аспекту "переходу". Я б перейшов до наступного загального моделювання (яке при належному припущенні може призвести до [марківського процесу] [1]). Також існує багато "цензурованої" статистики за цією проблемою (що, безумовно, є класичною проблемою надійності ПЗ?). Останнє рівняння моєї відповіді дає максимальну оцінку ймовірності інтенсивності голосування (на «+» та вниз «-») для даного стану голосування. Як ми бачимо з рівняння, це проміжний випадок від випадку, коли ви оцінюєте лише ймовірність переходу, і випадку, коли ви вимірюєте лише час, проведений у заданому стані. Сподіваюся, що це допоможе. $-1$

Загальне моделювання (для перегляду питання та припущень). Нехай і є випадковими змінними, що моделюють відповідно дати голосування та пов’язаний з ними знак голосування (+1 за підсумковий результат, -1 - за нижчу оцінку). Процес голосування просто $(VD_i)_{i\geq 1}$ $(S_{i})_{i\geq 1}$

Y_{t} = Y_{t}^{+} - Y_{t}^{-}

$Y_{t}=Y^+_t-Y^-_t$ де

Y_{t}^{+} = \sum_{i = 0}^{\infty} 1_{V D_{i} \leq t, S_{i} = 1} and Y_{t}^{-} = \sum_{i = 0}^{\infty} 1_{V D_{i} \leq t, S_{i} = - 1}

$Y^+_t=\sum_{i=0}^{\infty}1_{VD_i\leq t,S_i=1} \;\text{ and } \;Y^-_t=\sum_{i=0}^{\infty}1_{VD_i\leq t,S_i=-1}$

Важливою величиною тут є інтенсивність -jump де може бути або і - це хороша фільтрація, в іншому випадку без інших знань було б : . $\epsilon$

λ_{t}^{ϵ} = lim_{d t \to 0} \frac{1}{d t} P (Y_{t + d t}^{ϵ} - Y_{t}^{ϵ} = 1 | F_{t})

$\lambda^{\epsilon}_t=\lim_{dt\rightarrow 0} \frac{1}{dt} P(Y^{\epsilon}_{t+dt}-Y^{\epsilon}_t=1|\mathcal{F}_t)$

ϵ

$\epsilon$

-

$-$

+

$+$

F_{t}

$\mathcal{F}_t$

F_{t} = σ (Y_{t}^{+}, Y_{t}^{-}, V D_{1}, \dots, V D_{Y_{t}^{+} + Y_{t}^{-}}, S_{1}, \dots, S_{Y_{t}^{+} + Y_{t}^{-}})

$\mathcal{F}_t=\sigma \left (Y^+_t,Y^-_t,VD_1,\dots,VD_{Y^+_t+Y^-_t},S_{1},\dots,S_{Y^+_t+Y^-_t} \right )$

але по лінії вашого запитання, я думаю, ви неявно припускаєте, що Це означає, що для існує детермінована послідовність такий, що .

P (Y_{t + d t}^{ϵ} - Y_{t}^{ϵ} = 1 | F_{t}) = P (Y_{t + d t}^{ϵ} - Y_{t}^{ϵ} = 1 | Y_{t})

$P \left ( Y^{\epsilon}_{t+dt}-Y^{\epsilon}_t=1 | \mathcal{F}_t \right )= P \left (Y^{\epsilon}_{t+dt}-Y^{\epsilon}_t=1| Y_t \right )$

ϵ = +, -

$\epsilon=+,-$

(μ_{i}^{ϵ})_{i \in Z}

$(\mu^{\epsilon}_i)_{i\in \mathbb{Z}}$

λ_{t}^{ϵ} = μ_{Y_{t}}^{ϵ}

$\lambda^{\epsilon}_t=\mu^{\epsilon}_{Y_t}$

У цьому формалізмі ви можете пересвідчитись як: "ймовірно, що " (або, принаймні, різниця більша за заданий поріг). $\mu^{+}_{-1} -\mu^{+}_{0}>0$

Згідно з цим припущенням, легко показати, що - це [однорідний марківський процес] [3] на з генератором заданим $Y_t$ $\mathbb{Z}$ $Q$

\forall i, j \in Z Q_{i, i + 1} = μ_{i}^{+} Q_{i, i - 1} = μ_{i}^{-} Q_{i i} = 1 - (μ_{i}^{+} + μ_{i}^{-}) Q_{i j} = 0 if | i - j | > 1

$\forall i,j \in \mathbb{Z}\;\;\; Q_{i,i+1}=\mu^{+}_{i}\;\; Q_{i,i-1}=\mu^{-}_{i}\;\; Q_{ii}=1-(\mu^{+}_{i}+\mu^{-}_{i}) \;\; Q_{ij}=0 \text{ if } |i-j|>1$

Відповідь на питання (пропонуючи максимальну оцінку ймовірності статистичної задачі). З цього переформулювання вирішення задачі здійснюється шляхом оцінки та побудови тесту на її значення. Давайте виправимо та забудемо індекс без втрати загальності. Оцінка (і ) може здійснюватися після спостереження за $(\mu^{+}_i)$ $i$ $\mu^+$ $\mu^-$

$(T^{1},\eta^1),\dots,(T^{p},\eta^p)$ , де є довжини таких періодів , проведених в стані (тобто послідовні часи з ) і - якщо питання було схвалено, якщо воно було зняте, і якщо це був останній стан спостереження. $T^j$ $j^{th}$ $p$ $i$ $Y_t=i$ $\eta^j$ $+1$ $-1$ $0$

Якщо ви забудете випадок із останнім станом спостереження, згадані пари є ідентифікатором від розподілу, який залежить від та : він розподіляється як (де Exp є випадковим var із експоненціального розподілу і дорівнює + або -1 залежно від того, хто реалізує макс.) Тоді ви можете використовувати таку просту лему (доказ прямо): $\mu_i^+$ $\mu_i^-$ $(\min(Exp(\mu_i^+),Exp(\mu_i^-)),\eta)$ $\eta$

Лемма Якщо і то і . $X_+\leadsto Exp(\mu_+)$ $X_{-} \leadsto Exp(\mu_{-})$ $T=\min(X_+,X_-)\leadsto Exp(\mu_++\mu_-)$ $P(X_+1<X_-)=\frac{\mu_+}{\mu_++\mu_-}$

Це означає , що щільність з визначається за формулою: де для - функція щільності експоненціальної випадкової величини з параметром . З цього виразу легко вивести оцінку максимальної ймовірності та : $f(t,\epsilon)$ $(T,\eta)$

f (t, ϵ) = g_{μ_{+} + μ_{-}} (\frac{1 (ϵ = + 1) * μ_{+} + 1 (ϵ = - 1) * μ_{-}}{μ_{+} + μ_{-}})

$f(t,\epsilon)=g_{\mu_++\mu_-}\left ( \frac{1(\epsilon=+1)*\mu_++1(\epsilon=-1)*\mu_-}{\mu_++\mu_-}\right )$

g_{a}

$g_a$

a > 0

$a>0$

a

$a$

μ_{+}

$\mu_+$

μ_{-}

$\mu_-$

({\hat{μ}}_{+}, {\hat{μ}}_{-}) = a r g m i n \ln (μ_{-} + μ_{+}) ((μ_{-} + μ_{+}) \sum_{i = 1}^{p} T^{i} + p) - p_{-} \ln (μ_{-}) - p_{+} \ln (μ_{+})

$(\hat{\mu}_+,\hat{\mu}_-)=argmin \ln (\mu_-+\mu_+)\left ( (\mu_-+\mu_+)\sum_{i=1}^p T^i+p\right )- p_-\ln\left (\mu_-\right ) -p_+ \ln \left (\mu_+\right )$ деі.

p_{-} = | i : δ_{i} = - 1 |

$p_-=|{i:\delta_i=-1}|$

p_{+} = | i : δ_{i} = + 1 |

$p_+=|{i:\delta_i=+1}|$

Коментарі для більш вдосконалених підходів

Якщо ви хочете взяти до уваги випадки, коли - останній спостережуваний стан (звичайно розумніший, бо коли ви проходите , це часто ваш останній бал ...), вам доведеться трохи змінити міркування. Відповідна цензура є відносно класичною ... $i$ $-1$

Можливий інший підхід може включати можливість

Маючи інтенсивність, яка зменшується з часом
Маючи інтенсивність, яка зменшується з часом, проведеним з моменту останнього голосування (я віддаю перевагу цьому. У цьому випадку є класичний спосіб моделювання того, як щільність зменшується ...
Ви можете припустити, що - це гладка функція $\mu_i^+$ $i$
.... ви можете запропонувати інші ідеї!

— Робін Жирард
джерело