Чи є в США відомі упередження щодо телефонних опитувань?

Я дивився опитування у WashingtonTimes / ABC, і результати, особливо за віком, здалися мені дивовижними. Тому я пішов шукати упередження.

У ньому сказано: "опитування було проведено по телефону 11-14 грудня 2014 року серед випадкової вибірки 1000 дорослих людей. Інтерв'ю проводили англійською та іспанською мовами на стаціонарних та мобільних телефонах".

Опитування не дало мені кількості респондентів у кожній віковій групі, і моя перша думка полягала в тому, який 18-29-річний будинок додому, щоб відповісти на телефон ?! Добре, вони включають стільниковий, що робить його трохи справедливішим. Але все-таки, який 18-29-річний відповідає на свій мобільний телефон, запитується, чи хочуть вони взяти опитування, і каже "так, звичайно".

(Я не маю на увазі це як риторичне запитання; моя думка полягає в тому, що певні групи мають більшу ймовірність, наприклад, хтось із низькою самооцінкою може насолоджуватися процесом того, щоб попросити їх думки через незнайомця по телефону.)

Отже, чи є дослідження на цю тему? Чи обрала б організація, зацікавлена ​​в маніпулюванні громадською думкою, телефонне опитування, опитування в Інтернеті чи інтерв'ю на вулиці, якби вони мали певні упередження?

Є чудове дослідження Pew, яке вивчає, наскільки знизився рівень відповідей, а також на те, які наслідки є.

http://www.people-press.org/2012/05/15/assessing-the-representativeness-of-public-opinion-surveys/

"Нове дослідження Центру досліджень людей та преси" Пью "виявляє, що, незважаючи на зниження частоти відповідей, телефонні опитування, що включають стаціонарні та мобільні телефони та зважуються відповідно до демографічного складу населення, продовжують надавати точні дані про більшість політичних , соціальні та економічні заходи. Це узгоджується з послідовними записами точності, досягнутими головними опитуваннями, коли йдеться про оцінку результатів виборів, серед іншого.

"Це не означає, що зниження рівня відповідей без наслідків. Однією істотною областю потенційних упереджень щодо невідповіді, виявлених у дослідженні, є те, що учасники опитування, як правило, значно більше займаються громадською діяльністю, ніж ті, хто не бере участі, підтверджуючи те, що було раніше Дослідження показали: Люди, які займаються добровільною участю, частіше погоджуються брати участь у опитуваннях, ніж ті, хто цим не займається. Це має серйозні наслідки для здатності опитування точно оцінювати поведінку, пов'язану з волонтерством та громадянською активністю. Наприклад, телефонні опитування може завищувати таку поведінку, як відвідування церкви, звернення до обраних чиновників або відвідування подій у кампанії ".

Чи є в США відомі упередження щодо телефонних опитувань?

Так, у США відомий упередженість телефонних опитувань: мобільні телефони.

Довгий час золотим стандартом рандомізованих телефонних опитувань у США був випадковий набір цифр: машини генерували випадкові телефонні номери та опитувальники задавали питання, хто кого взяв. Якщо припустити, що кожен мав один і лише один телефон, опитування було простим випадковим зразком власників телефонів.

Однак прихід мобільних телефонів змінив це: багато людей, особливо молоді, не мають стаціонарних телефонів. Навіть у конкретних демографічних показниках (вікова категорія, стать, раса) ці групи мобільних телефонів мають чітке політичне ставлення до населення із стаціонарними або обома типами телефонів. Оскільки для автоматизованих дозвонів телефонувати на мобільні телефони заборонено, це спричиняє хаос із опитуваннями.

Для опитувачів це означає, що їм доводиться використовувати людей для виклику всіх мобільних телефонів, що, очевидно, набагато дорожче. Тож опитувальники повинні апріорі визначати, скільки мобільних телефонів потрібно зателефонувати, щоб контролювати витрати. Кількість дзвінків на мобільний телефон має бути збалансована порівняно з кількістю автоматичних стаціонарних дзвінків науково обгрунтованим способом - набрати достатньо будинків, що мають лише мобільний телефон, стаціонарних будинків та будинків, що пропорційно їх частоті серед населення перевищення їхнього бюджету!

Ефект мобільних телефонів, мабуть, не є джерелом потенційних упереджень.

Я підозрюю , що опитування громадської думки , що опитування Washington Times / ABC використовується добре знає всі це, так як побудувати випадкову вибірку в світлі «ефект телефону» це в значній мірі тема , що весь сучасний політичний опитування має справу сьогодні. Тож ймовірно, що опитувальники вжили заходів для пом’якшення "ефекту мобільних телефонів" у цьому опитуванні. Однак, можливо, учасники опитування мали поганий день, і їх випадковий набір номерів мобільних телефонів не дав достатньо фактичних відповідей.

Якщо є упередження, це можуть бути зразки ваг.

Іншим потенційним джерелом упередженості цих опитувань є зважування вибірки. Мета зважування зразків - зменшити кількість людей, яких потрібно досягти в різних (комбінаціях) демографічних групах, привласнюючи різні ваги різним верствам населення. Це, звичайно, призводить до питання "як ти знаєш, що ти зважив зразок правильно?" Ось чому деякі виборчі фірми матимуть оцінки, які постійно вище / нижче оцінок інших дільниць: вони мають різні методи зважування їх вибірки, і це послідовно тягне результат у певному напрямку.

Це приклад компромісії з ухилом відхилення. Опитувальники могли використати невеликий простий випадковий зразок для досягнення високої дисперсійної оцінки. Або вони могли використовувати ваги, щоб зменшити дисперсію оцінки від невеликої вибірки, але ціною (статистичної) зміщення.

Опитувальники (і загалом статистики) повинні так чи інакше боротися з ухилом відхилення відхилення. Це не обов'язково означає, що вони зловмисні або намагаються маніпулювати громадськістю.

Альтернативних пояснень багато.

Існує маса способів зіпсувати опитування випадково чи навмисно. Перефразовуючи питання, можна отримати різні відповіді між різними групами. Найбільш очевидний і нечестивий приклад цього - опитування, в якому питання поставлено для отримання певної відповіді.

Чи обрала б організація, зацікавлена ​​в маніпулюванні громадською думкою, телефонне опитування, опитування в Інтернеті чи інтерв'ю на вулиці, якби вони мали певні упередження?

Це питання не є повністю статистичним, оскільки вимагає спекуляцій щодо мотивів і методів якоїсь гіпотетичної, зловмисної сутності. На це я можу відповісти лише частково.

Інтерв'ю з людьми на вулиці насправді не є випадковим і, ймовірно, упередженим (у тому сенсі, що воно, як правило, включає деякі групи в більшій частині, ніж інші).

Метою випадкового набору номера є досягнення стану, коли всі мають однакову ймовірність вибору. Вийти на кут вулиці та взяти інтерв'ю з людьми не зовсім цього досягає, оскільки ви, як правило, включаєте людей, які живуть і працюють поруч. Якщо ви перейдете на вулицю у Вашингтоні, округ Колумбія, у вас буде майже 0 шансів вибрати людину, яка не є з округу Колумбія, штат Меріленд чи Вірджинія.

Більше того, подумайте, на яку вулицю ви йдете. Опитування людей на вулиці, скажімо, у районі Клівленд-Парк у Вашингтоні, округ Колумбія, буде зовсім іншим, ніж опитування людей на вулиці в Анакостії: ці місця мають дуже чіткий демографічний склад.

Опитування людей в Інтернеті насправді не випадкове, але незрозуміло, чи це гірше, ніж телефонне опитування.

Населення людей, які беруть участь у опитуванні в Інтернеті, - це самовідбір населення, не обов’язково випадковим чином відбирається у всіх потенційних респондентів. Традиційні опитувачі, які прагнуть прихильнити телефонне опитування, дуже скептично ставляться до опитувань в Інтернеті з цієї причини. Однак такі люди, як Ендрю Гелман, менш впевнені, що кінцевий результат опитування на довільному наборі телефонів і самостійно вибраного онлайнового опитування є суттєво різним. Це дуже відкрита область досліджень.

Чи обрала б організація, зацікавлена ​​в маніпулюванні громадською думкою, телефонне опитування, опитування в Інтернеті чи інтерв'ю на вулиці, якби вони мали певні упередження?

Усі методи опитування можуть бути упередженими, включаючи деякі інші, які не згадуються у питанні.

Щоб надмірно представити точки зору старших, виберіть телефонне опитування та «забудьте», щоб нормалізувати групи вікових квот, знаючи, що молодші респонденти погано представлені.

Вуличне опитування без будь-якого встановлення квот та нормалізації було б, ймовірно, найпростішим способом отримати упередження. Відповідно до Sycorax, просто виберіть свою вулицю. Опитування в робочий час або поза ними також трансформувало б результати. Я колись був інтерв'юером вулиці. Ми працювали над чіткими встановленими квотами, що поєднують віковий діапазон, стать та соціальний клас, але в межах цього я усвідомлював власну тенденцію підходити до людей у ​​межах квоти, що мені подобалося на вигляд (людей, які були трохи схожі на мене, якщо хочете) ніж люди з квоти, які мали менш негайну візуальну привабливість. І я не думаю, що у них були квоти на тип інтерв'юера!

Британські таблоїдні газети регулярно проводять самовибір «так / ні» опитувань своїх читачів, як правило, з питань, що ведуть емоційний характер, повідомляючи про результати так, ніби вони є справжнім представником опитування населення, і часто з більшою популярністю, ніж належним, етично проводили опитування.

Як прокоментував Енді Джонс, існують набагато простіші способи зміщення опитування. Вибір дати та часу, коригування формулювань (особливо в опитуваннях до і після), основні запитання, встановлення настрою до настрою до або фільтруючих питань, редукціоністські припущення, вибір обмеженого відповіді тощо. У Лондоні різні ради з управління дорожнім рухом, управління парковками та громадські консультації, здається, роблять подібні прийоми своїми особливостями.

Як правило, якщо вони накладають обмеження на рух, вони консультуються лише з мешканцями у вузькому сусідньому районі, а водії - зовсім. Мешканці отримають галочку через свої двері або, можливо, дві картки у великій старої нерухомості, яка розділена на п'ять-сім окремих квартир.

По-справжньому неперевершена форма упередженості опитування, хоча і не є частиною самого процесу опитування, полягає в тому, щоб проводити його будь-яким способом (наприклад, ідеально), а потім просто придушити результати, якщо вони не відповідають. Асоціація жителів району, в якому я колись жив, керована залізною рукою дуже маніпулятивного профспілкового чиновника, зробила саме це.

Нарешті, у 2004 році, повернувшись з відпочинку в аеропорту Станстеда, я опинився перед «дверним прорізом», що складається з подвійної стінки perspex та детектора руху. Пасажирів запросили пройти цей необов'язковий проріз, якщо вони хотіли зробити так, щоб Олімпіада відбулася в Лондоні. Значна меншість громадської думки в той час не була захоплено отримувати великі рахунки за суєтну подію, згадуючи грецький фіскальний тягар та корупцію в штаті Юта, і команда London Back Bid намагалася збільшити підтримку.

Ви могли пройти через двері стільки разів, скільки хотіли, щоб зареєструвати «голосування» (так це називалося) кожного разу на Олімпіаду, на радість сім'ям з маленькими дітьми. На жаль, вони забули надати другий проріз для людей, які не хотіли великих рахунків протягом 30 років, або для таких людей, як я, які вважали, що Париж гідний цієї події.

Як не дивно, результатом радянського типу було те, що 100% британців хотіли Олімпіади. Я все ще буду платити за них до моєї пенсії. Корисні речі, опитування.