Інтелектуальний бал та визначення переможця


12

Є подкаст NPR під назвою Intelligence Squared. Кожен епізод - це трансляція прямої дискусії щодо суперечливого твердження, наприклад, "2-я поправка вже не має значення" або "Стверджувальна дія на кампусах коледжу приносить більше шкоди, ніж користі". Чотири представники дебатують - двоє за рух та двоє проти.

Щоб визначити, яка сторона виграє, аудиторію опитують як до, так і після дебатів. Сторона, яка набрала більше за абсолютним відсотком, вважається переможцем. Наприклад:

          For    Against  Undecided
 Before   18%      42%       40%
 After    23%      49%       28%

 Winner: Against team -- The motion is rejected.

Інтуїтивно, я вважаю, що цей показник успіху є упередженим, і мені цікаво, як можна опитати публіку, щоб визначити переможця справедливим способом.

Три проблеми, які я відразу бачу з поточним методом:

  • В крайньому випадку, якщо одна сторона починається зі 100% згоди, вони можуть лише зав'язати чи програти.

  • Якщо немає невирішених, то сторона з меншою початковою згодою може розглядатися як така, що має більший розмір вибірки, з якої можна взяти.

  • Невизначена сторона, ймовірно, не буде справді невирішеною. Якщо припустити, що обидві сторони однаково поляризовані, нам здається, що наша попередня думка щодо невизначеної сукупності повинна бути якщо кожна з них була змушена стати на бік .Beta(# For,# Against)

Зважаючи на те, що ми повинні розраховувати на опитування аудиторії, чи є більш справедливий спосіб судити, хто виграє?


1
Я думаю, що щось на кшталт "За" проти "-" Після ", поділене на" За "проти" -Перед "(по суті, коефіцієнт шансів) було б кращим вибором. Якщо вона перевищує 1, ви покращили шанси, якщо вона менше 1, ви не зробили це.
Glen_b -Встановити Моніку

Це теж була моя початкова думка, хоча я сформулював це як відсотковий приріст. Я просто не впевнений, як довести, що це неупереджена оцінка.
Уеслі Тансі

Незаангажована оцінка того, що? Я не впевнений, що неупередженість є особливо бажаною властивістю для цього.
Glen_b -Встановити Моніку

Про те, як добре зробила кожна сторона. В ідеалі ми не хотіли б упереджувати результат, виходячи з початкової реакції натовпу. Або я можу думати про це зовсім неправильно ...
Веслі Тансі,

Ах, я думаю, що ми використовуємо упередження дещо по-іншому. Чи є моя пропозиція упередженою в цьому сенсі, залежить від того , що саме ви намагаєтеся виміряти. За одним із популярних заходів, він чудово вирішує це питання.
Glen_b -Встановити Моніку

Відповіді:


10

Ваші турботи обґрунтовані. На жаль, існує багато об'єктивних способів вирішити це питання, які можуть бути захищеними, і вони можуть конфліктувати між собою. Наступний аналіз дає основу для вирішення питання, як ви хочете оцінити результат, і показує, наскільки залежні ваші висновки від припущень, які ви робите щодо динаміки ситуації.


У нас мало або взагалі немає контролю над початковою аудиторією. Він може не представляти собою більшу кількість населення (наприклад, усіх глядачів), до якої ми більше зацікавлені. Тому абсолютна кількість думок має малу актуальність: важливі питання, з якою швидкістю люди можуть змінити свою думку. (З цих показників ми могли б оцінити, як може змінитися кількість слухачів, враховуючи інформацію про їхні початкові думки, навіть коли пропорції думок у слухачах відрізняються від аудиторної аудиторії студії.)

Отже, результат складається з шести можливих змін думки та шести пов'язаних із цим темпів зміни:

  • Ті «за» кого я індексує з може змінити свою думку і в кінцевому підсумку або проти (з індексом 2 ) при швидкості 12 або нерішучості (з індексом 3 ) при швидкості 13 .1,2a123a13

  • Ті «проти» можуть змінити свій розум «за» при швидкості 21 або «невизначених» зі швидкістю 23 .a21a23

  • Визначилися можуть змінити свою думку , щоб «за» зі швидкістю 31 або «проти» при швидкості 32 .a31a32.

Визначте , для i = 1 , 2 , 3 , щоб бути часткою людей, що входять до індексу i, не змінюючи свою думку.aiii=1,2,3,i

Стовпці матриці містять негативні числа, які повинні додати до єдності (якщо припустити, що кожен, хто відповів на початкове опитування, також відповідає на остаточне). Це дає шість незалежних значень для визначення на основі переходу від початкового розподілу в аудиторії, x = ( 0,18 , 0,42 , 0,40 ) , до кінцевого розподілу y = ( 0,23 , 0,49 , 0,28 ) = A xA=(aij)x=(0.18,0.42,0.40)y=(0.23,0.49,0.28)=Ax. Це недостатньо визначена система (обмежених) лінійних рівнянь, що залишає величезну гнучкість у виведенні рішення. Давайте розглянемо три рішення.

Рішення 1: Найменші зміни

Ми можемо попросити перехідну матрицю бути якомога меншою у певному сенсі. Один із способів - мінімізувати загальну частку людей, які змінюють свою думку. Це досягнуто в прикладі з рішеннямA

A=(100.125010.175000.700).

Тобто, невирішених опинилися за, 17,5 % - проти, і жоден з оригінальних форсів чи знову не змінив свою думку. Хто переміг? Знову ж таки, очевидно, тому що дебати переконували більшу частку невирішених вирішити думку "проти".12.5%17.5%

Ця модель була б доречною, якщо ви вважаєте, що початкові фракції посилюються до їхньої думки, і лише ті, хто може змінити свою думку, є серед тих, хто спочатку був визнаний невирішеним.

Рішення 2: Найменші квадрати

Математично простим рішенням є знайти матрицю , квадрат якої L 2 норма | | А | | 2 2 = т г ( A ' ) настільки мало , наскільки це можливо: це зводить до мінімуму суми квадратів всіх дев'яти ймовірностей переходів (які включають в себе я я , що представляють пропорції , які не змінюють своє думки). Її рішення (округлене до двох знаків після коми) єAL2||A||22=tr(AA)aii

A=(0.280.220.220.410.510.500.310.270.28).

Порівнюючи рядки, ми бачимо, що хоча сторони "проти" переконували перейти на "за" (а ще 27 % були достатньо заплутані, щоб не визначитися), повністю 41 % сторони "за" було перетворено (і ще 31 % були розгублені). Початкові невирішені тенденції переходили на сторону "проти" ( 50 % проти 22 % ). Тепер «проти» - явний переможець.22%27%41%31%50% 22%

Рішення з найменшими квадратами, як правило, сильно змінюються в кожній групі. ( З урахуванням обмежень завдання, воно намагається зробити зміни все одно .) Є чи це відповідає реалістичному зображенню населення важко визначити, але вона проявляє математично можливу картину того , що сталося під час дебатів.1/3

Рішення 3: Покарані найменші квадрати

АωiА

||А||22-ω1а11-ω2а22-ω3а33

ω=(1,1,1/2)

А=(0,9100,170,030,930,230,060,070,60).

40%17%23%

Підсумок

У цій перехідній моделі зміни думок більшість методів рішення вказують на виграш сторони "проти" у цьому конкретному прикладі. Відсутні будь-які сильні думки щодо динаміки змін, які дозволяють припустити, що перемогла сторона "проти".

(.20,.60,.20)(.30,.40,.30)20%30%40%30%. Однак рішення (закруглених) найменших квадратів принаймні дозволяє припустити, що це може статися, коли дебати трохи віддають перевагу іншій стороні! це є

А=(0,320,290,320,360,420,360,320,290,32).

36%29%(36%) 32%

Додаткові коментарі

А

А


Дякуємо за детальну публікацію! Мене хвилює, що всі ці методи не враховують можливості того, що невирішені не справді не визначилися.
Веслі Тансі

Вони мають можливість висловити свою стурбованість щодо цієї можливості. Ви все ще застрягли в необхідності робити (сильні) припущення: якщо ви думаєте, що вони не вирішені по-справжньому, вам доведеться оцінити, яка пропорція "за" і яка пропорція "проти" (і було б дурно вважати пропорції такі ж, як число для: число проти!) Один із способів уникнути такої оцінки - якщо тільки побачити, як може виглядати результат - це вибрати рішення, яке винагороджує зміну думки невирішеної людини.
whuber

Якщо припустити, що обидві сторони однаково поляризують, чи не буде ваша оцінка ПДЧ для невизначених людей співвідношенням "проти"?
Веслі Тансі

У більшості обставин важко було б підтримати таке припущення. Наприклад, малоінформовані люди можуть мати більшу тенденцію до невирішення - а також мають більшу тенденцію врешті-решт віддати перевагу одній із двох позицій. Ефект «однаково поляризуючого» припущення міг би бути настільки сильним (особливо, коли існує велика частка невирішених), щоб зробити подальший аналіз поруч із сутью: результати були б насамперед наслідком цього припущення. Виробничою думкою для вас, можливо, слід вважати збір додаткової інформації про людей, які не визначились.
whuber

3

p(дляпісля,протипісля,не визначивсяпіслядляраніше,протираніше,не визначивсяраніше)
0,5для обох команд. Зауважте, що для правила прийняття рішення є ще кілька варіантів, оскільки простір результатів є двовимірним, але, якщо довіряти прогностичній моделі, це не має значення з точки зору справедливості конкурсу. Можна, наприклад, просто вирішити, що команда виграє, якщо коефіцієнт "проти" після дебатів перевищить медіану прогнозу (залежно від попереднього опитування).

Ідеї ​​побудови прогнозної моделі

(П(длядля раніше),П(уддля раніше),П(агдля раніше))Dir(аff,ауf,ааf)(П(дляud раніше),П(удud раніше),П(агud раніше))Dir(аfу,ауу,аау)(П(дляag раніше),П(удag раніше),П(агag раніше))Dir(аfа,ауа,ааа),
Пааааff=ааааfу=аау

а


Не могли б ви розширити ідею прогностичної моделі на прикладі?
Веслі Тансі

@WesleyTansey Я зрозумів, що можна використати ідею Уубера щодо розгляду ймовірностей переходу для побудови прогнозної моделі для моєї відповіді. Я відредагував свою відповідь, щоб вона містила деякі початкові ідеї, але я не намагався цього втілити, а зараз не планую.
Juho Kokkala
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.