Чому (/) статистичний вибірки повинен працювати для політики (наприклад, Gallup)?

Опитування там (скажімо, Gallup) вибирають деяку абсурдно низьку кількість людей порівняно з чисельністю населення (наприклад, тисяча людей із сотень мільйонів).

Тепер, для мене, вибірка популяції як засобу для оцінки статистики населення має сенс, коли у вас є вагомі підстави вважати, що вибірки є репрезентативними для населення (або, аналогічно, для інших вибірок ) .

Наприклад, відбір проб, очевидно, має сенс для медичних досліджень, оскільки ми апріорі знаємо, що у всіх людей є досить схожі геноми і що цей фактор змушує їх тіло поводитися аналогічно.
Зауважте, що це не якась пухка сполука - геном є досить проклятим сильним визначальним фактором .

Однак я просто не розумію, що виправдовує використання низьких розмірів вибірки для таких речей, як політичні опитування.

Я міг би купити, що, можливо, 80-90% людей у ​​будь-якому населеному пункті голосують аналогічно за президента (через подібні соціально-економічні / освітні знання), але це навряд чи виправдовує абсурдно малу кількість вибірок. Буквально немає переконливої ​​причини (принаймні для мене), чому 1000 випадкових виборців повинні поводитись так, як 200 мільйонів інших виборців.

Мені вам знадобиться принаймні як (скажімо) 100 × ця сума. Чому? Я можу придумати купу причин, наприклад:

1. Просто в Каліфорнії близько 22 000 дільниць . Люди виростають настільки різними у своїх економічних та освітніх програмах, що опитування розміром 1000 здається смішно малим. Як ви можете узагальнити цілі дільниці з <1 людиною в середньому?

2. Люди взагалі не можуть змінити реакцію своїх органів на медицину, але вони можуть змінити свою думку про політику, просто подумавши про це. Як я це бачу, у медицині немає жодного примусового фактора, подібного до ДНК, коли ти маєш справу з політикою. У кращому випадку я можу уявити, що мають бути невеликі кишені кореляції.

Але якось такі опитування, схоже, ... працюють у будь-якому випадку? Або принаймні люди, здається, думають, що так роблять?
Але чому вони повинні? Можливо, я просто принципово не розумію вибірки ? Може хтось пояснить?
Я просто не можу сприймати жодне з опитувань, які бачу серйозно, але відчуваю, що я в цьому більш-менш самотнім ...

Схоже, ви уявляєте дуже просту модель вибірки.

Найпростіша модель вибірки називається влучно простою випадковою вибіркою . Ви вибираєте підгрупу населення (наприклад, випадковим чином набираючи телефонні номери) і запитуйте у когось відповіді, як вони голосують. Якщо 487 скажуть Клінтон, 463 - Трамп, а решта дадуть вам нерозумну відповідь, то дільниця для голосування повідомила б, що 49% виборців віддають перевагу Клінтону, тоді як 46% вважають за краще Трампа. Однак виборчі фірми роблять набагато більше, ніж це. Проста випадкова вибірка дає рівну вагу кожній точці даних. Однак, припустимо, ваш зразок містить - випадково - 600 чоловіків і 400 жінок, що явно не є репрезентативними для населення в цілому. Якщо чоловіки як група схиляються в одну сторону, а жінки схиляються до іншого, це призведе до зміщення вашого результату. Однак, оскільки у нас досить хороша демографічна статистика, ви можете зважувати *відповіді, підраховуючи відгуки жінок трохи більше, а чоловіків - трохи менше, так що зважена відповідь представляє населення краще. Організації опитування мають більш складні моделі зважування, завдяки яким нерепрезентативний зразок нагадує більш репрезентативний.

Ідея зважування вибіркових відповідей лежить на досить твердому статистичному ґрунті, але є деяка гнучкість у виборі, які фактори сприяють зважуванню. Більшість опитувальників набирають вагу на основі демографічних факторів, таких як стать, вік та раса. Враховуючи це, ви можете подумати, що ідентифікація партії (демократична, республіканська тощо) також повинна бути включена, але виявляється, що більшість дільницьких фірм не використовують її у ваговій вазі: партійна (само) ідентифікація пов'язана з вибором виборця таким чином, що робить його менш корисним.

Багато виборчих нарад також повідомляють про свої результати серед "ймовірних виборців". У них респонденти обираються або зважуються, виходячи з ймовірності того, що вони дійсно підуть на опитування. Ця модель, безсумнівно, також керується даними, але точний вибір факторів забезпечує певну гнучкість. Наприклад, включення взаємодії між перебігом кандидата та виборцями (або статтю виборців) було навіть розумним до 2008 чи 2016 року, але я підозрюю, що вони мають певну прогностичну силу зараз.

Теоретично ви можете включати всі види речей як вагові фактори: музичні уподобання, колір очей тощо. Однак демографічні фактори є популярним вибором вагомих факторів, оскільки:

• Емпірично вони добре співвідносяться з поведінкою виборців. Очевидно, що не існує закодованого залізом закону, який "змушує" білих чоловіків бути худими республіканцями, але за останні п'ятдесят років вони прагнули цього.
  • Значення чисельності населення добре відомі (наприклад, з перепису чи життєвих записів)

Однак опитувальники також бачать ті самі новини, що і всі інші, і при необхідності можуть коригувати змінні зважування.

Існують також деякі "фактори викривлення", які іноді викликають для пояснення результатів опитування. Наприклад, респонденти іноді неохоче дають "соціально-небажані" відповіді. У Bradley Effect стверджує , що білі виборці іноді применшувати свою підтримку білих кандидатів проти меншості , щоб уникнути появ расиста. Він названий на честь Тома Бредлі, афро-американського кандидата в губернатори, який вузько програв вибори, незважаючи на те, що він впевнено виборчий.

Нарешті, ви абсолютно правильні, що сам акт запитання чиєїсь думки може змінити її. Виборчі фірми намагаються писати свої запитання нейтрально. Щоб уникнути проблем із порядком можливих відповідей, імена кандидатів можуть бути вказані у випадковому порядку. Кілька версій запитання також іноді перевіряються одна проти одної. Цей ефект також може бути використаний для грізних цілей у поштовому опитуванні , де інтерв'юер насправді не зацікавлений у зборі відповідей, а у впливі на них. Наприклад, попитувальне опитування може запитати "Ви б проголосували за [кандидата A], навіть якщо б повідомлялося, що він був дитячим злочинцем?".

Існує математична теорема під назвою "закон великих чисел". Уявіть, що ви хочете визначити ймовірність того, що монета придумає голову. "Популяція" монетних оборотів - це нескінченність - набагато більша, ніж 300 000 000+ людей у ​​Сполучених Штатах. Але згідно із Законом про великі числа, чим більше ви будете гортати монети, тим точнішою буде ваша оцінка.

Ідеальне опитування: У ідеальному опитуванні опитувальники випадковим чином вибиратимуть імена з перепису в США, вони дізнаються, де живуть ці люди, а потім пітимуть і постукують у двері. Якщо людина каже, що планує голосувати, опитувальник запитує, за кого вони голосують, і записує їх відповідь. Опитування подібним чином математично гарантовано працює, і кількість помилок у вашому вимірі для будь-якого заданого рівня довіри можна легко обчислити .

Ось що означає помилка: припустимо, що на основі опитування ви зрозуміли, що існує 52-відсотковий шанс, що кандидат Кандидат Макперфект збирається перемогти, з помилкою 3% із 98% впевненістю. Це означає, що ви можете бути на 98% впевнені, що справжня частка виборців, які підтримують кандидата Awesome McPerfect, становить від 49% до 55%.

Примітка про помилку та впевненість Для даного розміру вибірки, чим впевненіше ви, тим більшою буде ваша помилка. Подумайте над цим - ви на 100% впевнені, що справжня частка, яка підтримує кандидата Awesome, становить від 0% до 100% (можлива найбільш помилка), і ви 0% впевнені, що справжня частка, яка підтримує кандидати Awesome, становить саме 52.0932840985028390984308% (нульова помилка). Більше впевненість означає більше помилок, менша впевненість означає менше помилок. Однак зв’язок між довірою та помилкою НЕ лінійний! (Дивіться: https://en.wikipedia.org/wiki/Confidence_interval )

Опитування в реальному світі: Оскільки опитувальників вертольотів дорого в усіх куточках країни дорого, щоб стукати у двері випадкових людей (хоча мені б хотілося, щоб це сталося; якщо ви мільярдер, і ви це бачите, будь ласка розглянемо фінансування цього), опитування в реальному світі є складнішими. Давайте розглянемо одну з найпоширеніших стратегій - викликати випадкових виборців і запитувати їх, за кого вони будуть голосувати. Це гарна стратегія, але вона має деякі невідомі недоліки:

1. Люди часто вирішують не відповідати на телефон і відповідати на опитування (наприклад, я)
2. Деякі демографічні показники мають більше шансів надати стаціонарний стан (наприклад, старші виборці)
3. Деякі демографічні показники частіше реагують на опитування (наприклад, старші виборці)

Оскільки різні демографії голосують по-різному, опитувальники повинні зробити все можливе, щоб контролювати розбіжність у їхніх вихідних даних (виходячи з того, хто вирішив відповісти на телефон) та результати фактичних виборів. Наприклад, якщо 10% людей, які взяли телефон, були латиноамериканськими, але 30% виборців на останніх виборах були латиноамериканцями, то вони збираються в три рази більше надати латиноамериканським виборцям. Якщо 50% людей, які відповіли на телефон, були старшими за 60, але лише 30% людей, які проголосували на останніх виборах, були старшими за 60, вони збираються надати меншу вагу старшим виборцям, які відповіли. Це не ідеально, але це може призвести до вражаючих подвигів прогнозування (Нейт Сілвер правильно передбачив результати у кожному з 50 штатів на виборах 2012 року, використовуючи статистику,

Слова обережності для мудрих: Опитники роблять найкращі прогнози, які можуть зробити, ґрунтуючись на тому, як все працювало в минулому. Взагалі кажучи , все відбувається приблизно так само, як і раніше, або, принаймні, зміни є досить повільними, що недавнє минуле (на яке вони зосереджуються найбільше) буде нагадувати сучасне. Однак періодично відбуваються швидкі зрушення в електораті, і справи йдуть не так. Можливо, виборці Трампа дещо рідше, ніж ваш середній голосуючий, відповідатимуть на телефон, і зважування за демографічними показниками не сприймає цього. А може молодих людей (які переважно підтримують Хілларі) ще більшенавряд чи відповість на телефон, ніж прогнозують моделі, і ті, які відповідають на телефон, швидше за все будуть республіканськими. Або, можливо, навпаки обох - ми не знаємо. подібні речі - це приховані змінні, які не відображаються у загально зібраній демографії.

Ми б знали, якби ми надіслали опитувачів, щоб постукати у випадкові двері (ах, уявний мільярдер, читаючи це), оскільки тоді нам не довелося б зважувати речі на основі демографії, але до цього пальці схрещували.

По-перше, це окрім ваших основних моментів, але варто згадати. У медичному випробуванні у вас може бути 1000 людей, які перевіряють препарат, який можна давати 10000 хворим щорічно. Ви можете подивитися на це і подумати "Це тестується на 10% населення", адже насправді чисельність населення не становить 10000 людей, а всі її майбутні пацієнти, тому чисельність населення нескінченна. 1000 людей не великі порівняно з нескінченними потенційними споживачами наркотиків, але такі дослідження працюють. Не важливо ви тестуєте 10%, 1% або 0,1% населення; що важливо, це абсолютний розмір вибірки, а не наскільки велика вона в порівнянні з сукупністю.

Далі, ваш головний пункт полягає в тому, що існує стільки заплутаних змінних, які можуть впливати на голосування людей. Ви ставитесь до 22000 районів Каліфорнії як до 22000 змінних, але насправді вони є лише кількома змінними (доходи та освіта, як ви згадали). Вам не потрібен репрезентативний зразок з кожного району, вам просто потрібно достатньо зразків, щоб покрити варіації через доходи, освіту, тощо.

Якщо у вас є змінні змінні (вік, стать, освіта та ін.), І всі вони мають аналогічні наслідки, то різниця голосів збільшується приблизно в разів. Якщо ви відібрали людей, то дисперсія середньої вибірки зменшиться на коефіцієнт . Отже, якщо відхилення від кожної змішуючої змінної дорівнює то середнє значення для вибірки з людей, які мають змінні змінні, буде .k n n σ 2 n k k σ $k$$k$$n$$n$$\sigma^2$$n$$k$$\frac{k\sigma^2}{n}$

Можливо, ви можете придумати 10 або більше заплутаних змінних, але розмір вибірки 1000, тому набагато менше . Тому дисперсія середньої вибірки досить мала.$k$$n$

Редагувати:

Вищенаведена формула передбачала, що кожна змінна зміна є однаково важливою. Якщо ми хочемо врахувати сотні речей, які можуть додати розбіжності до результатів, то це припущення не вірно (наприклад, користувачі twitter можуть підтримувати ще одного кандидата, але ми знаємо, що використання twitter не так важливо, як стать).

Ми можемо перелічити всі змішуючі змінні за важливістю (наприклад, стать, вік, дохід, ..., використання twitter, ...). Припустимо, що кожна змінна лише на 90% важлива, ніж попередня. Тепер, якщо гендер додає дисперсію, рівну то вік додає дисперсію, рівну а дохід додає . Якщо ми включимо нескінченну кількість змішуючих змінних, то загальна мінливість дорівнює . 0,9 σ 2 0,9 2 σ 2 ∑ ∞ n = 0 σ 2 0,9 n = 10 σ $\sigma^2$$0.9 \sigma^2$$0.9^2 \sigma^2$$\sum_{n=0}^{\infty} \sigma^2 0.9^n = 10 \sigma^2$

Зважаючи на такий тип врахування незначних змінних, у нас виникла дисперсія, що в 10 разів перевищує мінливість статі. Таким чином, для зразків варіація середньої вибірки становить . Звичайно було вибрано довільно, але це передає пункт про те, як ці нескінченна кількість незначних змінних повинна складати щось невелике10 σ $n$$\frac{10\sigma^2}{n}$$0.9$