Результати виборів у США 2016: Що пішло не так з моделями прогнозування?

Спочатку це був Brexit , зараз вибори в США. Чимало модельних прогнозів було вимкнено з великою маржею, і чи є тут уроки? Вже вчора о 16:00 PST ринки ставок все ще надавали перевагу Хілларі з 4 по 1.

Я вважаю, що ринки ставок, з реальними грошима на лінії, повинні виступати як ансамбль усіх доступних моделей прогнозування там. Тож сказати, що ці моделі не справилися дуже добре.

Я бачив одне пояснення, що виборці не бажають ідентифікувати себе як прихильників Трампа. Як модель могла включати такі ефекти?

Одне з макро пояснень, які я читав, - це наростання популізму . Тоді питання полягає в тому, як статистична модель могла б зафіксувати подібний макро тренд?

Невже ці моделі прогнозування накладають занадто велику вагу на дані опитувань та настроїв, недостатньо від того, де стоїть країна на 100-річному перегляді? Я цитую коментарі друга.

Словом, опитування не завжди є простим. Ці вибори, можливо, були найскладнішими.

Кожен раз, коли ми намагаємось зробити статистичний висновок, основне питання полягає в тому, чи є наша вибірка хорошим представником населення, яке цікавить. Типовим припущенням, яке потрібно для багатьох типів статистичних висновків, є те, що наша вибірка є абсолютно випадковою вибіркою від сукупності, що цікавить (і часто нам також потрібні вибірки, щоб бути незалежними). Якщо ці припущення справджуються, ми зазвичай маємо хороші міри нашої невизначеності, засновані на статистичній теорії.

Але у нас, безумовно, немає цих припущень, які б виконували опитування! Ми маємо рівно 0 зразків, які цікавлять наше населення: фактичні голоси, подані в день виборів. У цьому випадку ми не можемо зробити будь-який вид дійсного висновку без подальших непереборних припущень щодо даних. Або, принаймні, незаперечно до дня виборів.

Ми повністю відмовляємось і говоримо «50% -50%!»? Як правило, ні. Ми можемо спробувати зробити обґрунтовані припущення щодо того, як будуть подані голоси. Наприклад, можливо, ми хочемо вірити, що опитування є неупередженими оцінками голосів у день виборів, а також певний неупереджений тимчасовий шум (тобто, що розвивається громадська думка з плином часу). Я не фахівець з методів опитування, але я вважаю, що це тип моделі 538. І в 2012 році він спрацював досить добре. Тож ці припущення, ймовірно, були досить обґрунтованими. На жаль, немає реального способу оцінювання цих припущень, поза строго якісними міркуваннями. Більше обговорення на подібну тему див. У темі Неігнорованої відсутності.

Моя теорія щодо того, чому опитування опитувались так погано у 2016 році: опитування не були об'єктивними оцінками поведінки у день виборців. Тобто я б здогадався, що прихильники Трампа (а також, ймовірно, і прихильники Brexit) були набагато недовірливішими до опитувачів. Пам'ятайте, що пан Трамп активно заперечував опитування. Я вважаю, що прихильники Трампа рідше повідомляють учасникам опитування про свої наміри голосування, ніж прихильники його опонентів. Я б припустив, що це спричинило непередбачені сильні упередження на виборчих дільницях.

Як аналітики могли це врахувати, використовуючи дані опитування? Грунтуючись лише на даних опитування, немає реального способу зробити це кількісно. Дані опитування нічого не говорять про тих, хто не брав участі. Однак, можливо, вдасться якісно покращити опитування, вибравши більш розумні (але незаперечні) припущення щодо зв’язку між даними опитування та поведінкою у день виборів. Це нетривіально і справді складна частина бути хорошим опитувачем (зауважте: я не опитувальник). Також зауважте, що результати були дуже дивовижними і для експертів, тож це не так, як були очевидні ознаки того, що припущення цього разу дико не були.

Опитування може бути важким.

Існує ряд джерел помилки опитування:

• Ви знайдете людей, важкодоступних

  Це виправляється за допомогою демографічного аналізу, а потім виправлення для зміщення вибірки. Якщо ваш демографічний аналіз не відображає речей, які заважають людям важко досягти, ця корекція не відшкодовує шкоду.

• Люди брешуть

  Ви можете використовувати історичні показники, за якими люди брешуть на опитування, щоб впливати на вашу модель. Як приклад, історично люди заявляють, що вони будуть голосувати за третю партію набагато більше, ніж насправді в день виборів. Ваші виправлення тут можуть бути помилковими.

  Ці брехні також можуть зіпсувати ваші інші виправлення; якщо вони брешуть про голосування на останніх виборах, їх можна вважати ймовірним виборцем, навіть якщо їх немає, наприклад.

• Підсумовують підрахунок лише ті, хто голосує

  Хтось може мати велику підтримку, але якщо їхні прихильники не з’являться у день виборів, це не рахується. Ось чому ми зареєстрували моделі виборців, ймовірно, виборців тощо. Якщо ці моделі помиляються, речі не працюють.

• Опитування коштує грошей

  Робити опитування досить дорого, і якщо ви не сподіваєтесь (скажімо), що Мічіган перевернеться, ви не можете опитати його дуже часто. Це може призвести до здивування, коли стан, який ви опитували за 3 тижні до виборів, не виглядає таким у день виборів.

• Люди передумують

  За хвилини, години, дні, тижні чи місяці люди передумують. Опитування про те, "що ти зараз би робив", не дуже допомагає, якщо вони передумають до того, як це почнеться. Є моделі, які приблизно вгадують швидкість, з якою люди змінюють свою думку, спираючись на історичні опитування.

• Вівчарство

  Якщо всі інші заявляють, що Хілларі +3, і ви отримуєте опитування, в якому відображається Хіларі +11 або Дональд +1, ви можете поставити під сумнів це. Ви можете зробити ще один пропуск і побачити, чи є збій в аналізі. Ви можете навіть викинути це і зробити ще одне опитування. Коли ви отримаєте опитування Hillary +2 або +4, ви можете цього не зробити. Масивні люди, що виживають, навіть якщо статистична модель каже, що це трапляється іноді, може змусити вас виглядати погано.

  Особливо хитра форма цього трапилася в день виборів, коли кожен, хто опублікував опитування, магічно сходився на однакове значення; вони, мабуть, там, де опитуються чужі люди, але ніхто не хоче бути тим, хто сказав (скажімо) Хілларі +11 за день до цих виборів. Помилка в стаді менше шкодить вам.

• Очікувана помилка вибірки

  Якщо у вас є 1 мільйон людей, і ви запитуєте 100 абсолютно випадкових людей, а половина кажуть «Apple», а половина кажуть «помаранчевий», очікувана помилка, яку ви отримаєте від вибірки, становить +/- 10 або близько того, навіть якщо жодна з перелічених вище проблем трапляються. Цей останній біт - це те, що опитування описують як їх помилку. Опитування рідко описують, що вищезазначені коригуючі фактори можуть ввести як помилку.

Нейт Сілвер у 538 році був одним з небагатьох агрегаторів для опитування, які використовували консервативні (обережні) засоби для вирішення можливості вищезазначених помилок. Він враховував можливість системних корельованих помилок у моделях опитування.

У той час як інші агрегатори прогнозували 90% + шанс обрати ХС, Нейт Сілвер заявив про 70%, оскільки опитування опинилися в межах "нормальної помилки опитування" перемоги Дональда.

Це було історичним показником помилки моделі на відміну від необробленої статистичної помилки вибірки; що робити, якщо модель та виправлення до моделі були неправильними?

Люди досі стискають цифри. Але попередні результати свідчать про значну частину саме моделей явки. Прихильники Дональда показали на виборчих дільницях більшу кількість, а прихильників Хілларі - у меншій кількості, ніж вказали моделі опитування (та вихідні опитування!)

Латиноамериканці проголосували більше за Дональда, ніж очікували. Чорні проголосували більше за Дональда, ніж очікувалося. (Більшість обох проголосували за Хілларі). Білі жінки проголосували більше за Дональда, ніж очікувалося (більше за них проголосувало за Дональда, ніж за Хілларі, чого не очікували).

Явка виборців загалом була низькою. Демократи, як правило, перемагають, коли явка виборців висока, а республіканці - низька.

Про це йшлося у коментарях до прийнятої відповіді (шапка до Мехрдада ), але я думаю, що це слід підкреслити. 538 насправді цей цикл справді вдало зробив ^* .

538 - це агрегатор опитування, який запускає моделі проти кожної держави, щоб спробувати передбачити переможця. Їх фінальний запуск дав Трампа приблизно 30% шансів на перемогу. Це означає, що якщо ви провели три вибори з подібними даними, ви очікуєте, що команда Червоних виграє одну з них. Це насправді не так мало шансів. Це, безумовно, досить великий, що я вжив заходів обережності (наприклад: П’ятниця перед тим, як я попросив у середу 9-го на роботі, враховуючи ймовірність того, що він буде досить близьким, щоб пізньою ніччю).

Одне з питань 538 підкаже вам, якщо ви там виходите, це те, що якщо виборчі дільниці не діють, є хороший шанс, що всі вони будуть відхилені в тому ж напрямку. Це з кількох причин.

• Ймовірно, моделі виборців. Опитування повинні підлаштовуватися під типи виборців, які фактично з’являться у день виборів. У нас є історичні моделі, але це, очевидно, не ваша типова пара кандидатів, тому прогнозування, що базується на минулих даних, завжди буде дещо нерозумним.
• Пізня виборча худоба . Ніхто не хоче бути опитувачем, який підірвав вибори найгірше. Тому, хоча вони не проти бути стороннім посеред кампанії, наприкінці всіх опитувань, як правило, виправляють себе, щоб вони говорили те саме. Це одна з речей, яку звинувачували в тому, що опитування були настільки грубо відхилені від несподіваної втрати Еріка Кантора в 2014 році, а також для дивовижно близьких результатів гонки сенату Вірджинії 2014 року .

^{* - 538 опублікував власний аналіз . Це в основному джиби з тим, що сказано вище, але варто прочитати, якщо ви хочете набагато більше деталей.}

Тепер трохи особистих міркувань. Я насправді скептично ставився до останнього% шансів 538 за останні 3 дні. Причина сходить до тієї другої кулі вище. Давайте подивимось на історію їхньої моделі цих виборів (з їх веб-сайту)

(На жаль, етикетки затьмарюють це, але після цього криві знову розійшлися протягом останніх трьох днів, що представляє більше 70% шансів для Клінтона)

Модель, яку ми бачимо тут, - це неодноразові розбіжності з подальшим занепадом назад у напрямку до Трампа. Всі бульбашки Клінтона були викликані подіями. Перша - це конвенції (як правило, на подію на пару днів після початку події вона почала відображатися на опитуванні). Друга, здається, була розпочата першою дискусією, імовірно, допомогла стрічка TMZ. Потім є третя точка перегину, яку я позначив на малюнку.

Це сталося 5 листопада, за 3 дні до виборів. Яка подія спричинила це? Пару днів до цього було ще одне спалах електронної пошти, але це не повинно було працювати на користь Клінтона.

Найкращим поясненням, яке я міг придумати на той час, було опитування стада. До виборів було лише 3 дні, 2 дні до остаточних опитувань, і учасники опитування почали турбуватися про свої кінцеві результати. "Звичайна мудрість" цілих виборів (про що свідчать моделі ставок) була легкою перемогою Клінтона. Тож здавалося чіткою можливістю, що це зовсім не справжня перевага. Якби це було так, справжня крива з 5 листопада по всій вірогідності була продовженням цієї конвергенції.

Має бути кращим математиком, ніж я, щоб оцінити криву вперед без цієї підозрілої кінцевої точки перегину, але оком я думаю, що 8 листопада було б поблизу точки перехрестя . Попереду чи ззаду залежить від того, наскільки ця крива була реально реальною.

Зараз я не можу точно сказати, що це сталося. Є й інші дуже правдоподібні пояснення (наприклад: Трамп отримав своїх виборців набагато краще, ніж очікував будь-який опитувальник). Але це було моєю теорією того, що відбувалося в той час, і це, безумовно, виявилося прогностичним.

Спочатку це був Brexit, зараз вибори в США

Насправді не першими, наприклад, президентські вибори у Франції 2002 р. "Призвели до серйозних дискусій щодо методів голосування".

Тож сказати, що ці моделі не справилися дуже добре.

Сміття в, ​​сміття.

Я бачив одне пояснення, що виборці не бажають ідентифікувати себе як прихильника Трампа. Як модель могла включати такі ефекти?

Див. Упередженість відповідей та, зокрема, упередження щодо соціальної бажаності . Інші цікаві записи: мовчазна більшість та ефект Бредлі .

У опитуванні USC / LA Times є точні цифри. Вони прогнозували, що Трамп буде лідирувати. Дивіться опитування USC / LA Times, побачивши, що пропустили інші опитування: хвиля підтримки Трампа

http://www.latimes.com/politics/la-na-pol-usc-latimes-poll-20161108-story.html

Вони також мали точні цифри і для 2012 року.

Ви можете переглянути: http://graphics.latimes.com/usc-presidential-poll-dashboard/

І NY Times скаржилася на їх вагомість: http://www.nytimes.com/2016/10/13/upshot/how-one-19-year-old-illinois-man-is-distorting-national-polling-aasures. html

Відповідь LA Times: http://www.latimes.com/politics/la-na-pol-daybreak-poll-questions-20161013-snap-story.html

Тут немає претензій на високу позицію. Я працюю в галузі (Моніторинг та оцінка), яка так само насичена псевдонаукою, як і будь-яка інша суспільна наука, яку ви могли назвати.

Але ось угода, дільнична дільниця нібито сьогодні перебуває у «кризі», тому що прогнози виборів у США настільки неправильні, соціальна наука взагалі має «кризу», і наприкінці 2000-х у нас була світова фінансова «криза», оскільки деякі практикуючі вважали, що похідні іпотечні кредити з найпростішими показниками є дійсною формою фінансових даних (якщо ми надамо їм користь від сумнівів ...).

І ми всі просто помиляємось незалежно. Щодня я бачу найбільш сумнівні з дослідницьких конструкцій, які використовуються як підходи до збору даних, і, зрештою, використовуються як дані (все від квазіординарних шкал до абсолютно провідних категорій фіксованого відповіді). Дуже мало дослідників навіть здається, що вони повинні мати концептуальні рамки для таких конструкцій, перш ніж вони зможуть сподіватися зрозуміти їх результати. Начебто ми подивилися на підходи до дослідження ринку та вирішили прийняти лише найгірші їх помилки, додавши трохи нумерології на стороні.

Ми хочемо, щоб нас вважали «вченими», але суворість все це занадто важко, щоб ми їх турбували, тому ми збираємо сміттєві дані і молимось богу статистики, схожому на Локі, щоб магічно переоцінити аксіому GIGO.

Але, як вказує гучно цитований пан Фейнман:

«Не має значення, наскільки прекрасна ваша теорія, не важливо, наскільки ви розумні. Якщо він не згоден з експериментом, це неправильно ».

Є кращі способи обробки якісних даних, до яких ми часто застрягаємо, але вони забирають трохи більше роботи, і ці приємні дослідницькі конструкції часто простіше подати в SPSS. Зручність, здається, що козиряє науці щоразу (каламбур не призначений).

Коротше кажучи, якщо ми не почнемо серйозно ставитися до якості необроблених даних, я думаю, ми просто витрачаємо час і гроші кожного, включаючи власні. Тож хтось хоче співпрацювати над «ініціативою якості даних» стосовно методів суспільних наук (так, у підручниках про такі речі є багато, але, здається, ніхто не звертає на це джерело після їх іспитів).

Хто має найбільше академічних гравітацій, той стає ведучим! (Це не я.)

Просто для того, щоб зрозуміти мою відповідь тут: я так часто зустрічаю серйозні основоположні проблеми із "надуманими" типовими типами даних, що хотілося б запропонувати почати спочатку. Отже, перш ніж ми хвилюємося щодо вибірки чи тестів, які потрібно запустити на даних, нам потрібно переглянути дійсність / обмеження типів даних, які ми збираємо, стосовно моделей, які ми пропонуємо. Інакше загальна модель прогнозування не визначена повністю.

Опитування мають похибку в 5%, якої ви не можете реально позбутися, оскільки це не випадкова помилка, а упередженість. Навіть якщо ви оцінюєте серед багатьох опитувань, це не покращується. Це пов'язано з MISREPRESENTED групами виборців, відсутність мобілізації, нездатність іти на голосування на трудодень, небажання відповідати, небажання відповідати на правильні , спонтанні останню хвилину рішень, ... тому що це зміщення , як правило, «корелюють» через опитування, ви не можете позбутися цього за допомогою більшої кількості опитувань; ви також не можете позбутися цього з більшими розмірами вибірки; і ви, здається, не зможете передбачити цей упередженість, тому що він змінюється занадто швидко (і ми обираємо президентів занадто рідко).

Через дурний принцип перемоги, який все ще присутній майже в усіх штатах, помилка в 5% може спричинити дуже різні результати: Припустимо, опитування завжди прогнозували 49-51, але реальний результат становив 51-49 (тому помилка лише 2%), результат знижується на 100%; через переможця-приймає все.

Якщо дивитися на окремі стани, більшість результатів знаходяться в межах прогнозованих границь помилок!

Мабуть, найкраще, що ти можеш зробити, це проаналізувати цю зміщення (+ -5%), застосувати крайні показники переможець-усі, а потім узагальнити результати. Це, мабуть, схоже на те, що зробив 538; і в 30% зразків Дональд Трамп виграв ...

Довіра до аналізу даних мала величезний вплив у прийнятті стратегічних рішень щодо кампанії, журналістському висвітленні та, зрештою, в індивідуальному виборі. Що могло піти не так, коли про рішення Клінтонської кампанії не було поінформовано інших, ніж симуляцій щодня за секретним алгоритмом Ада ?$\small 400,000$

Зрештою, він виявив колосальний збій чисельного аналізу, щоб компенсувати недостатність знань з цього питання. Люди соромилися самих себе з явних причин відверто обійняти кандидата-переможця.

Найгірша комп’ютерна модель могла б наблизитися до результатів, якби хтось потрудився провести попереднє опитування віч-на-віч, стукаючи у двері. Ось приклад: Трафальгарська група (не має жодної приналежності чи знань, крім того, що випливає далі) за один день до виборів Трамп лідирував у штаті Пенсільванія, штат Флорида, Мічиган, штат Південно-Африканська Республіка, Юта та Південна Корея. У чому полягала магія?

комбінація респондентів опитування як із стандартним тестом для голосування, так і з тестовим голосуванням [sic], де стоять сусіди респондента. Це стосується основної упередженості традиційного опитування, де респонденти не є абсолютно правдивими щодо своєї позиції щодо дуже суперечливих кандидатів.

Досить низькі технології, включаючи відсутність перевірки орфографії, показують у цифрах багато про людську природу. Ось розбіжність у ПА :

Історична Пенсільванія - поки що не сприймається як остаточна слабка в поразці від демократів за кілька годин до цієї завершальної реалізації 9 листопада 2016 року в 1:40 ранку:

Однією з причин неточності опитування у виборах в США, окрім того, що деякі люди з будь-якої причини не говорять правду, це те, що ефект "переможець забирає все" робить прогнози ще меншими. Різниця в 1% в одному стані може призвести до повного зміни стану і дуже сильно вплинути на весь результат. У Хілларі було більше виборців, як і в Ал Гора проти Буша.

Референдум щодо Brexit не був звичайними виборами, а тому також важче передбачити (Немає добрих історичних даних, і всі були схожі на виборця з цього питання вперше). Люди, які десятиліттями голосують за одну і ту ж партію, стабілізують прогнози.

(Тільки відповідаючи на цю частину, оскільки інші відповіді, схоже, охоплювали все інше.)

Вже вчора о 16:00 PST ринки ставок все ще надавали перевагу Хілларі з 4 по 1. Я вважаю, що ринки ставок, з реальними грошима на лінії, повинні виступати як ансамбль усіх доступних моделей прогнозування.

Ні ... але опосередковано так.

Ринки ставок розроблені так, що букмекери отримують прибуток, що б не трапилось. Скажімо, нинішні котирувані шанси були 1-4 на Хіларі та 3-1 на Трампа. Якщо наступні десять людей ставлять 10 доларів на Хіларі, то 100 доларів, які вони взяли, коштують їм 25 доларів, якщо Хіларі виграє. Тож вони скорочують Хіларі до 1-5, а Трампа піднімають до 4-1. Зараз більше людей роблять ставку на Трампа, і баланс відновлюється. Тобто це суто базується на тому, як люди роблять ставку, а не на каскадах чи моделях прогнозування.

Але, звичайно, клієнти букмекерів дивляться на ці опитування і слухають цих казків. Вони чують, що Хіларі на 3% попереду, мертвий сертифікат, щоб виграти, і вирішують швидкий спосіб заробити 10 доларів - це зробити ставку на неї 40 доларів .

Опосередковано, що кандидати та опитування рухають шанси.

(Деякі люди також помічають, що всі їхні друзі на роботі збираються проголосувати за Трампа, тому зробіть ставку на нього; інші помічають, що всі публікації їхніх друзів у Facebook є про-Хіларі, тому робіть ставку на неї, так що реальність впливає трохи їх, таким чином.)

Не дивно, що ці зусилля зазнали невдачі, якщо врахувати невідповідність між інформацією, до якої мають доступ моделі, та інформацією, яка керує поведінкою на виборчій стенді. Я спекулюю, але моделі, мабуть, враховують:

• різноманітні результати передвиборчого опитування
• історичні державні схилення (синій / червоний)
• історичні результати попередніх виборів з поточними позиціями / прогнозами держави

Але передвиборчі опитування є недостовірними (ми спостерігали постійні невдачі в минулому), держави можуть перевернутись, і в нашій історії не було достатньо циклів виборів, щоб пояснити безліч ситуацій, які можуть і можуть виникнути. .

Ще одне ускладнення - злиття народного голосування з колегією виборців. Як ми бачили на цих виборах, всенародне голосування може бути надзвичайно близьким у межах певної держави, але як тільки штат виграється, всі голоси йдуть одному кандидату, тому карта має стільки червоних кольорів.

Моделі для голосування не враховували, скільки лібертаріанців може перейти від Джонсона до Трампа, коли справа стосується фактичного голосування. Штати, які були виграні з невеликим відривом, були виграні, виходячи з відсотка голосів, отриманих Джонсоном. ПА (яка підштовхнула Трампа минулого 270 у ніч виборів) дала лише 2% Джонсону. NH (який пішов у Clinton) дав 4% + Джонсону. Джонсон опитувався на рівні 4% -5% за день до виборів, а в день виборів він отримав приблизно 3%.

То чому лібертарійці раптом переключились у день виборів? Ніхто не вважав, що є головним питанням для виборців Лібертарії. Вони схильні вважати буквальне тлумачення Конституції як канон. Більшість людей, які проголосували за Клінтон, не вважали, що її зневага до закону є досить високим пріоритетом, який слід розглядати. Звичайно, не вище всього, що їм не сподобалось у Трампа.

Незалежно від того, чи були її юридичні неприємності важливими для інших, вони були б важливими для Лібертаріанців. Вони поставили б дуже високий пріоритет щодо відмови від посади того, хто в кращому випадку розглядав дотримання законодавства як необов'язковий. Таким чином, для великої кількості з них усунення Клінтона з посади стане вищим пріоритетом, ніж заява про те, що лібертаріанська філософія є життєздатною політичною філософією.

Багатьом з них, можливо, навіть не сподобався Трамп, але якби вони думали, що він буде більш шанобливо ставитися до верховенства закону, ніж це буде Клінтон, прагматизм перемагав би принципи для багатьох з них і змусив їх переключити свій голос, коли це прийшов час фактично проголосувати.

Опитування не є історичними тенденціями. Байєсів запитав би про історичні тенденції. З часу Абрагама Лінкольна існували Республіканська партія та Демократична партія, яка займала президентську посаду. Тенденція зміни партії 16 разів з тих пір з Вікіпедії має таку кумулятивну масову функцію

$x$

Те, що змусило журналістів, Демократичну партію та опитувальників думати, що шанси на користь перемоги лібералів було, можливо, бажаним. Поведінка може бути передбачуваною, в межах, але в цьому випадку демократи бажали, щоб люди не голосували за зміни, і з історичної точки зору, мабуть, більше ймовірності.

Я думаю, що результати опитування були екстраполіровані настільки, що громадськість припускає, що демографічні показники виборців будуть подібними до демографічних показників, які брали участь у опитуванні, і були б хорошими представниками всього населення. Наприклад, якщо 7 з 10 меншин підтримали Хіларі на опитуваннях, і якщо ця меншість становить 30% населення США, більшість опитаних припускають 30% виборців будуть представлені цією меншиною і переведені на це 21% виграш Хілларі. Насправді білі чоловіки середнього та вищого класу були краще представлені серед виборців. Менше 50% людей, які мають право на голосування, проголосували, і це не означало 50% усіх статей, рас та ін.

Або опитування передбачали ідеальну рандомізацію та ґрунтувались на своїх моделях, але насправді дані про виборців були упередженими щодо старших чоловіків середнього та вищого класів.

Або опитування точно не передбачали ідеальної рандомізації, але параметри їх екстраполяції занижували неоднорідність демографічних даних виборців.

ETA: Опитування попередніх двох виборів були більш ефективними через посилення уваги до голосування з боку груп, які зазвичай не представлені добре.

HoraceT і CliffAB (вибачте, занадто довго за коментарі) Я боюся, що я маю цілі приклади, які також навчили мене, що мені потрібно бути дуже обережним з їх поясненнями, якщо я хочу уникати образи людей. Тож, хоча я не хочу твоїх поблажливості, я прошу тебе терпіння. Ось:

Для початку з крайнього прикладу, я одного разу побачив запропоноване опитування питання, яке задавало неграмотних сільських фермерів (Південно-Східна Азія), щоб оцінити їх "економічну норму прибутку". Залишаючи осторонь варіанти відповідей поки що, ми можемо сподіватися, що всі ми бачимо, що це дурне робити, але послідовно пояснювати, чому це дурно, не так просто. Так, ми можемо просто сказати, що це дурно, тому що респондент не зрозуміє питання і просто відкине його як семантичне питання. Але це насправді недостатньо добре в контексті дослідження. Той факт, що це питання коли-небудь пропонувалося, означає, що дослідникам властива мінливість того, що вони вважають "дурним". Щоб вирішити це більш об'єктивно, ми повинні відступити і прозоро заявити відповідну основу для прийняття рішень щодо таких речей. Таких варіантів багато,

Отже, давайте прозоро припустимо, що у нас є два основні типи інформації, які ми можемо використовувати в аналізах: якісний та кількісний. І що вони пов'язані з трансформаційним процесом, таким чином, що вся кількісна інформація починалася як якісна інформація, але проходила через наступні (спрощені) кроки:

1. Конвенція (наприклад, всі ми вирішили, що [незалежно від того, як ми сприймаємо це індивідуально], ми всі будемо називати колір відкритого неба вдень "блакитним".)
2. Класифікація (наприклад, ми оцінюємо все в приміщенні за цією умовою і розділяємо всі предмети на категорії "синій" або "не синій")
3. Порахуйте (ми підраховуємо / виявляємо "кількість" блакитних речей у кімнаті)

Зауважте, що (за цією моделлю) без кроку 1 немає такої речі, як якість, і якщо ви не почнете з кроку 1, ви ніколи не зможете генерувати значущу кількість.

Колись сказано, все це виглядає дуже очевидно, але саме такі набори перших принципів (я вважаю) найчастіше не помічаються і тому призводять до "сміття".

Тож «дурість» у наведеному прикладі стає дуже чітко визначеною як невдача встановити спільну конвенцію між дослідником та респондентами. Звичайно, це надзвичайний приклад, але набагато більш тонкі помилки можуть бути однаково сміттєвими. Ще один приклад, який я бачив, - це опитування фермерів у сільській Сомалі, яке запитувало "Як змінилися кліматичні зміни вплинули на ваш життєвий шлях?". Знову відклавши на даний момент варіанти відповідей, я б запропонував би навіть запитати цього про фермерів на Середньому Заході США становлять серйозну невдачу використовувати спільну конвенцію між дослідником та респондентом (тобто щодо того, що оцінюється як "зміна клімату").

Тепер перейдемо до варіантів відповіді. Дозволяючи респондентам самокодувати відповіді з набору варіантів численного вибору або подібної конструкції, ви підштовхуєте цю проблему домовленостей і в цей аспект опитування. Це може бути добре, якщо всі ми ефективно дотримуємось «універсальних» конвенцій у категоріях відповідей (наприклад, питання: в якому місті ви живете? Категорії відповідей: список усіх міст у дослідницькій області [плюс «не в цій області»)). Однак, здається, багато дослідників пишаються тонким відтінком своїх питань та категорій відповідей, щоб задовольнити їхні потреби. У тому ж опитуванні, що з'явилося питання про швидкість економічної віддачі, дослідник також попросив респондентів (бідних жителів села) вказати, до якого економічного сектору вони сприяли: з категоріями відповідей "виробництво", "обслуговування", "виробництво" та "маркетинг". Тут явно виникає питання якісної конвенції. Однак, оскільки він зробив відповіді взаємовиключними, таким чином, що респонденти могли обрати лише один варіант (адже "таким чином простіше годуватись у ДПСС"), а сільські фермери регулярно виробляють урожай, продають свою працю, виробляють ремісничі вироби та беруть все на самих місцевих ринках, цей конкретний дослідник не просто мав питання з конвенцією зі своїми респондентами, він мав одне з реальністю.

Ось чому старі бурі, як я, завжди рекомендуватимуть більш трудомісткий підхід застосування кодування до післязбору даних - як мінімум, ви можете адекватно навчати кодери в конвенціях, що проводяться дослідниками (і зауважте, що намагаючись додати такі конвенції респондентам у « інструкції з опитування '- це гра гуртка - просто довіряйте мені на цьому зараз). Також зауважте, що якщо ви приймаєте вищезгадану "інформаційну модель" (що, знову ж таки, я не стверджую, що ви повинні), це також показує, чому квазіординальні шкали відповідей мають погану репутацію. Це не лише основні математичні питання згідно з конвенцією Стівена (тобто вам потрібно визначити значуще походження навіть для ординарців, ви не можете їх додавати та оцінювати, і т. Д. Тощо), також це те, що вони часто ніколи не проходили жодного прозоро заявленого та логічно послідовного процесу трансформації, який би означав «кількісну оцінку» (тобто розширена версія моделі, що використовується вище, яка також охоплює генерацію «порядкових величин» [-це не важко робити]). У будь-якому випадку, якщо вона не задовольняє вимог бути якісною чи кількісною інформацією, то дослідник насправді стверджує, що виявив новий тип інформації поза рамками, і тому на них належить пояснити повною її концептуальною основою ( тобто прозоро визначити нові рамки).

Нарешті, давайте розглянемо проблеми вибірки (і я думаю, що це узгоджується з деякими іншими відповідями, які вже є тут). Наприклад, якщо дослідник хоче застосувати конвенцію про те, що є "ліберальним" виборцем, вони повинні бути впевнені, що демографічна інформація, яку вони використовують для вибору режиму вибірки, відповідає цій конвенції. Цей рівень, як правило, найлегше визначити та вирішити, оскільки він знаходиться в значній мірі під контролем дослідників і найчастіше є типом передбачається якісної конвенції, яка прозоро декларується в дослідженнях. Ось чому саме цей рівень зазвичай обговорюється або критикується, тоді як більш фундаментальні питання залишаються без розгляду.

Тож, хоча опитувальники дотримуються питань на кшталт «за кого ти плануєш голосувати за цей час?», Ми, мабуть, все одно гаразд, але багато з них хочуть отримати набагато «фантазії», ніж це…