Як ставитися до нелогічних відповідей опитування

Я подав опитування на зразок художників. Одним із запитань було вказати відсоток доходу, отриманий завдяки: мистецькій діяльності, державній підтримці, приватній пенсії, діяльності, не пов'язаній із мистецтвом. Близько 65% людей відповіли таким чином, що сума відсотка становить 100. Інші не відповідають: наприклад, є такі, хто відповідає, що 70% доходу, отриманого його мистецькою діяльністю, і 60% урядом доходів , і так далі. Моє запитання: як я повинен ставитися до цих спостережень? Чи потрібно їх видаляти, змінювати чи зберігати? Дякую!

Це гарна ситуація для аналізу чутливості. Аналізуйте свої дані кожним із трьох способів -

1. Як вони є
2. Після виключення "нелогічних", тобто людей, відсоток яких не дорівнює 100 (або 100 +/- 10)
3. Після коригування, де це необхідно, щоб відсотки кожної людини склали до 100

Потім порівняйте результати, поділившись будь-якими обґрунтуваннями, які ви можете розробити щодо того, які результати можуть бути точнішими або певнішими в певних аспектах.

Ви також можете дослідити спектр способів, за якими логіки та нелогіки різняться, якщо такі є. Чи нелогічні люди, як правило, повідомляють про більш високі доходи? Щоб виявити більшу підтримку певних ідей чи програм? Щоб пропустити більше питань? Щоб висловити більшу упередженість у сенсі прямолінійного чи непропорційного вибору середніх або крайніх відповідей?

Маючи близько 400 або цих нелогізмів, у вас є достатньо даних навіть для оцінки залежності між ступенем нелогічності та ступенем заданого типу упередженості. Щось на зразок залежності від дози та відповіді.

Те, що ви дізнаєтесь з цих розслідувань, може бути включено до вашого плану боротьби з нелогічними, якщо мова йде про основні аналізи, що цікавлять.

Як уже було сказано тут , ці відповіді не обов'язково є нелогічними. Наприклад, ви кажете

Інші не відповідають: наприклад, є такі, хто відповідає, що 70% доходу, отриманого його мистецькою діяльністю, і 60% - урядом доходів, тощо.

Це має ідеальний сенс, якщо 30% доходу отримують від мистецької діяльності, що проводиться для уряду. Тоді ми дійсно маємо три групи:

• Художня діяльність, не пов’язана з державою: 40%.
• Уряд, не пов'язаний з мистецькою діяльністю: 30%.
• Художня діяльність, що субсидується урядом: 30%.

Ці цифри складають до 100%.

Розглянемо наступні питання:

• Чи є харчові марки державними чи діяльністю не пов'язана з мистецтвом?
• Уряд соціального захисту чи пенсія?
• Чи є державна пенсія (колишній державний працівник) приватною пенсією чи урядом?
• Чи є державна грант на малювання художньої діяльності живопису чи уряд?
• Чи є робота з викладання мистецтв у місцевій шкільній адміністрації чи мистецька діяльність чи діяльність, не пов’язана з мистецтвом?
• Якщо пенсія виходить на роботу в галузі мистецтв (викладацька чи комерційна, наприклад малювання подарункових карток), пенсія є приватною чи мистецькою діяльністю? Або у випадку викладання, можливо, уряду?

Ви, здається, хочете, щоб ці категорії були взаємовиключними. Однак я не думаю, що всі так трактували б їх. Можливо, у вас є чіткі думки щодо того, як слід класифікувати ці дії, але незрозуміло, що ваші респонденти мали на увазі такі ж підрозділи, коли відповідали. Як мінімум, якщо ви хочете, щоб цифри додали до 100%, ви повинні сказати людям про це.

Особисто я вважаю, що найкращий підхід до подібного роду проблем - це зробити своєрідну фокус-групу. У традиційному опитуванні ви, можливо, не зможете підтвердити відповіді. Тож зателефонуйте або відвідайте людей, на які опинилося б опитування, і почніть розмову. Потім, коли вони дають відповіді, яких ви не розумієте, запитайте їх, чому. І крім цього, запитайте їх, як ви мали б поставити запитання, щоб ви отримали такі результати, які хочете. Це більше нагадує фокус-групу тим, що вона є інтерактивною.

Щойно ви зробите це, тоді ви зможете краще зрозуміти, як обробляти відповіді, які не відповідають вашому формату. Наприклад, ви можете взяти додаткові 30% і відняти половину від кожного. Тоді ви мали б 55% мистецької діяльності та 45% уряду. Або ви можете віднести до 40% приватної мистецької діяльності, 30% мистецької діяльності, яка фінансується державою, та 30% інших (у цьому випадку підтримка уряду, не пов’язана з мистецькою діяльністю, наприклад, торгові марки або підтримка оренди). Або викиньте опитування та повторіть його, оскільки люди неправильно розуміють ваші категорії. Частина цього залежить від того, що ви розуміли, що означають категорії, а також від того, як вони їх інтерпретували.

Зараз занадто пізно, але для майбутніх опитувань слід подумати про проведення регулярної фокус-групи перед опитуванням. Потім ви можете перевірити свої запитання в груповому середовищі та вдосконалити їх. Ви навіть можете виявити, що отримуєте додаткові запитання від групи. Якщо це зробити занадто важко особисто, спробуйте зробити це в Інтернеті. Або проведіть тестове опитування (меншої кількості людей, що підтверджує відповіді з подальшими запитаннями) по телефону особисто, перш ніж зробити реальне опитування. Будь-яке з них може допомогти вам зрозуміти свої питання.

Наприклад, можливо, ваші реальні категорії мали бути приватним доходом від художньої діяльності; мистецька діяльність, що фінансується державою; приватна пенсія з колишньої роботи; інші доходи, не пов'язані з художньою діяльністю. Або щось інше. Частина проблеми полягає в тому, що я не можу сказати, що ви хочете, і це змушує мене думати, що і ваші респонденти не могли. Якщо є три різних інтерпретації, це майже так, як ви змішуєте відповіді з трьох різних опитувань.

Я не можу дати вам відповідь на загальний випадок нелогічних відповідей. Але для цього конкретного типу питань - чи було, зробив це. Не тільки в опитуванні, але і в напівструктурованих інтерв'ю, де я мав шанс спостерігати, як люди придумують подібну відповідь. Виходячи з цього, а також деякого загального досвіду спостереження та аналізу когнітивних процесів, я б запропонував: нормалізувати свої дані до 100% . Причина полягає в тому, що, здається, люди спочатку переходять до найбільш помітної категорії - у вашому випадку це був би найбільший дохід - дайте оцінку відчуттю кишок у відсотках, а потім починайте думати про наступні менші категорії та базувати свою оцінку відносно до якоря першої категорії, плюс додатково до вже згаданих категорій.

Наприклад, потяг думок матиме такий вигляд: "Моє перше джерело доходу, безумовно, більше половини. Це робить що, 60%? Ні, це занадто низько, скажімо, 65%. Друге - це приблизно третина цього , так що це було б трохи більше, ніж 20%, е, важко обчислити це в моїй голові, давайте округлимо до 25%. Третій також відчуває себе третиною першого, але насправді це завжди трохи більше, ніж по-друге, так що це повинно бути 30%. Або навіть 35? Ні, давайте підемо з 30. Ой, і я забув, що у мене є четверте джерело, що трапляється лише раз на рік, це має бути справді мало в порівнянні з іншими, так 5 або 10%? Імовірний 5 ближче, це насправді не так вже й багато ". І так ви закінчите відповідь 65 + 25 + 30 + 5 = 125%.

Оскільки люди, як правило, більше усвідомлюють відносний розмір частин доходу один до одного, ніж кожної частини до загального, я б сказав, що нормалізація їх відбувається тут, якщо ви хочете провести якийсь числовий аналіз доходу . Я б працював з фактично зареєстрованими числами, лише якщо різниця між переконаннями людей і твердженнями про їх доходи та об'єктивною реальністю є важливою темою для вашої роботи, наприклад, якщо ви психолог, що вивчає когнітивні упередження, або якщо вас більше цікавить самосприйняття митців, ніж за їх економічними обставинами.

На жаль, у мене немає хорошого джерела літератури, щоб довести, що він справді працює так, як я описав, це лише моє особисте емпіричне спостереження. Але я не думаю, що рецензенти будуть захоплені таким рішенням, оскільки, як говорили інші відповіді, не існує єдиного "правильного" способу його лікування. Якщо що-небудь, вони відхилять усі ваші дані з цього питання як недійсні через хибну техніку запитів. Найкраще, що ви можете зробити, це превентивно визнати це та придумати аргументи, чому ваша робота все-таки корисна і чому висновки, які ви робите, все ще хороші, незважаючи на це специфічне джерело неточності даних.

Якщо суспільствознавство мене чомусь навчило, це якщо ви дасте людям можливість дати логічно непослідовні відповіді, вони зроблять це. Тож будьте впевнені, що у ваших предметах немає нічого незвичайного. Це щось, про що слід пам’ятати при розробці майбутніх опитувань. На даний момент, можливо, найкраще залишити відповіді такими, які є, і лише пам’ятайте у своїх аналізах, що відповіді насправді не складатимуть до 100%, як можна було б подумати. Замість справжніх пропорцій ви маєте галасливі сигнали про те, який дохід отримує кожен предмет від кожної категорії, тому аналізуйте їх таким чином.

мистецька діяльність, державна підтримка, приватна пенсія, діяльність, не пов’язана з мистецтвом

З першого погляду здається, що "мистецька діяльність" та "діяльність, не пов'язана з мистецтвом", повинні складати до 100%.

Звичайно, "діяльність, не пов'язана з мистецтвом", не є такою ж, як "не діяльність, пов'язана з мистецтвом", оскільки може бути дохід, пов'язаний з відсутністю діяльності взагалі. Але це розщеплення волосся, яке більшість художників не помітить.

Якщо ви припускаєте, що категорії 1 і 4 повинні складати до 100% і переосмислювати респондентів відповідно, ви можете виявити, що більшість з них включили категорії 2 і 3 до категорії 4.

Однак все це маніпулювання даними, що не є ідеальним. Якщо ви хочете отримати точні статистичні відповіді, ви повинні зібрати точні дані. Люди можуть брехати у відповідь на ваше опитування, і це важко захистити, але якщо люди, чесно намагаючись відповісти на ваші запитання, можуть бути в замішанні щодо того, що мається на увазі, ваше опитування потрібно переписати.

Наступного разу перечитайте опитування щодо зрозумілості , а також неоднозначності , перш ніж надсилати його.

Ви дали чотири категорії за доходами - як щодо доходу, який є в жодній із них? Наприклад, дохід від дивідендів від утримання акцій. Це не дохід від будь-якої форми діяльності, але це не державна підтримка чи пенсія. Я б запропонував, що за відсутності іншої інформації слід вважати відповіді правильними та віднести відсутні кошти до джерел, які респонденти не вважали охопленими категоріями.

Насправді це досить просто (і навіть не так нелогічно, як ви могли б подумати)! Я припускаю, що це справді пропорції різних категорій доходу, яких ви отримуєте, запитуючи відсотки. Таким чином, ви можете просто перенормувати до 100%. У вашому прикладі: якщо хтось каже: 70% мого доходу припадає на мистецьку діяльність, а 60% - на підтримку уряду, ця людина (яка, мабуть, ніколи не навчалася працювати з відсотками) насправді говорить: відноснийрозміри або пропорції мого доходу від мистецької діяльності та уряду складають приблизно від 70 до 60 або від 7 до 6 (можливо, не розуміючи, що відсоткові відсотки повинні складати до 100 ..). Ви можете конвертувати ці твердження про пропорції у твердження про відсотки, просто перенормувавши їх таким чином: 70/130 * 100 = 53% мистецьких доходів і 60/130 * 100 = 47% доходів від державної підтримки.

(що я тут роблю, це фактично брати 130% як "новий" 100% і обчислювати пропорції.)

PS. це працює для всіх випадків, коли сума зазначених відсотків неоднакова до 100

Сподіваюся, це допомагає!

Більшість наданих відповідей уже дали деяке розуміння очевидних методологічних недоліків опитування, тому я не буду тут зупинятися на цьому. Натомість я надаю кілька практичних варіантів, як поводитися з цими даними, враховуючи, що вони вже зібрані, і незважаючи на хибне питання. Є кілька способів вирішити це. Ви можете розглянути позначення відповідей, які не відповідають вашому визначенню "дійсних відповідей", трактуючи все питання як пропущене, а потім дотримуючись будь-яку кількість практик поводження з невідповідними питаннями, такими як обговорювані тут .

$y_{{old}_{ij}}$ $(j=1,2,3,4)$$y_{{new}_{ij}}$

$$\begin{eqnarray*} y_{new_{ij}} & = & \begin{cases} 0 & ,\,\text{for}\,\sum_{j=1}^{4}y_{old_{ij}}=0\\ \frac{y_{old_{ij}}}{\sum_{j=1}^{4}y_{old_{ij}}} & ,\,\text{for}\,\sum_{j=1}^{4}y_{old_{ij}}>0\\ Missing & ,\,Otherwise \end{cases} \end{eqnarray*}$$ $i$

 A. (i=1) Artistic activity:  10% 
 B. (i=2) Government support: 0% 
 C. (i=3) Private pension: 30% 
 D. (i=1) Activities not related with arts:  40%

Тоді ви перекодуєте наступне:

$$\begin{eqnarray*} y_{new_{i1}} & = & \frac{10}{10+0+30+40}=\frac{10}{80}=12.5\%\\ y_{new_{i2}} & = & \frac{0}{10+0+30+40}=\frac{0}{80}=00.0\%\\ y_{new_{i3}} & = & \frac{30}{10+0+30+40}=\frac{30}{80}=37.5\%\\ y_{new_{i4}} & = & \frac{40}{10+0+30+40}=\frac{40}{80}=50.0\% \end{eqnarray*}$$

Зауважте, що всі нові відсотки тепер становлять 100%. Що б ви не робили, будь ласка, будьте впевнені, що ви робите будь-які перетворення дуже чіткими, повідомляючи про свої результати, і я думаю, що @ rolando2 надав чудові поради щодо того, як провести аналіз чутливості, щоб побачити, як такі трансформації можуть вплинути на ваші висновки.