До 5-бальної шкали Лікерта додано 6-й варіант відповіді ("я не знаю"). Чи втрачаються дані?


16

Мені потрібно трохи допомогти в пошкодженні даних з анкети.

Один з моїх колег застосував анкету, але ненавмисно, замість того, щоб використати оригінальну 5-бальну шкалу Лікерта (категорично не погоджуюсь із сильною згодою), він вставив 6-ю відповідь у шкалу. І, що ще гірше, шостий варіант відповіді… “Я не знаю”.

Проблема полягає у великій частці респондентів, які в той чи інший момент обрали "я не знаю". Якби вони були досить невеликим відсотком, я б просто виключив їх із бази даних. Однак ядро ​​дослідження лежить на концептуальній моделі, і виключення такої кількості записів створило б проблему для моделі.

Чи міг би хтось вказати мене в потрібному напрямку? Чи є якісь «хороші практики», чи я можу зробити щось, щоб використати (перетворити, перетворити тощо) відповіді «я ​​не знаю»?

Крім того, якщо я маніпулюю ці дані (тобто якщо я конвертую відповіді "я не знаю", заміною, імпутацією тощо), який тип "відмови від відповідальності", "попередження", анотації, я повинен використовувати?

Я знаю, що це дальний постріл, але, зізнаюся, окрім врятування відповідей, мені також цікаво, що таке узгоджена практика (якщо така є) у таких випадках.

PS: Я знаю, це звучить по-дитячому, але ні, "колега" - це не я :)


22
Уявіть, що ваш колега не включив категорію "Я не знаю". Що б відповіли ці особи? Можливо, вони позначили б якусь випадкову категорію, можливо, вони залишили б це порожнім. Тепер ви знаєте, що ваші змінні є проблематичними і приймаєте обгрунтоване рішення. Поглянувши з цієї точки зору, колега зробив вам прихильність.
Маартен Буїс

Що ж, що стосується того, щоб почухати голову, він дійсно зробив мені послугу ... Ти маєш рацію щодо випадковості відповідей, і це може бути підходом для внесення змін, проте мені було цікаво, чи є корисний практики або хоча б якийсь подібний досвід
упорядкуйте

4
Я вважаю, що анкети, які не мають такого варіанту " я не знаю ", особливо засмучують (особливо коли ви не можете подати, не вибравши щось). Скажімо, ви кидаєте запитання на кшталт " Нові функції цієї космічної ракети - це поліпшення ", і тоді ви змушені бути нейтральним у кращому випадку, деякі люди можуть потім інтерпретувати подібні опитування та зробити висновок "Ми попросили 1000 люди, і 100% не проти ... ", хоча на практиці ця функція може бути повною помилкою для тих, хто цим користується. У цих випадках це майже немов мовчазне схвалення чогось, що я не використовував.
Бруно

3
Щоб бути більш зрозумілим: якщо модель передбачає, що 5-бальна шкала може представляти думку респондентів, то ваші дані доводять, що модель недостатня . Якби це було правильно, тоді ви мали б мізерну кількість "я не знаю", бо люди змогли б відповісти 1-5. Отже ці дані "створювали б проблему для моделі", як орбіта Меркурія створює проблему для фізики Ньютона. Я б подумав, що ваш єдиний вихід - якщо середній пункт "не згідний і не згоден", і ви можете зробити так, щоб "я не знаю" зайвий з таким же значенням, як це.
Стів Джессоп

Привіт, @SteveJessop, хоча теоретично / в принципі ви маєте рацію щодо кількості відповідей ДК як показаних на проблему з анкетою (не модель, пам’ятайте, модель - це не CFA для шкали, а регресії для групи змінних, включаючи шкалу), це все ще трохи сильно, щоб назвати її неадекватною. Я зроблю аналіз шкали і побачу, і це правда, зсувна кількість відповідей ДК може виявитися проблематичною. Однак вони також можуть означати, що респондент не відчував, як відповідати (до речі, переважна більшість відповідей ДК надходить від групи студентів після іспиту ...)
впорядкуйте

Відповіді:


28

Навіщо намагатися застосувати калібрування на щось, що не відповідає дійсності? Як сказав Маартен, це не втрата даних, а приріст інформації. Якщо магічна таблетка, яку ви шукаєте, існує, це означатиме, що існують деякі припущення щодо вашого населення, які, наприклад, є упередженням на користь однієї конкретної етикетки, навіть якщо користувачі кажуть "я не знаю".

Я повністю розумію ваше розчарування, але правильним способом вирішити проблему є модифікація моделі відповідно до ваших потреб на основі справжніх наявних даних, а не навпаки (модифікація даних).


Привіт, Хатіме, я не вірю, що можна змінити модель. Шкала є порядковим і передбачає аргументований і чіткий вибір, тоді як шоста відповідь "я не знаю" може бути інтерпретована будь-якою кількістю способів. Це може означати, що "я ніколи не стикався з цією ситуацією / не пригадую", це може означати вибір "посередника". Будь-яке таке тлумачення / припущення від мого імені було б самонадійним і необгрунтованим. У відповіді Маартена згадувалося про "приріст" інформації, який я вважаю, що можна використовувати конкретну "рандомізовану" імпутацію, але це не те, що ви говорите, - "модифікуйте модель".
упорядкування

продовження ... Однак, хоча я був і все ще маю спокусу заглянути далі в таку "рандомізовану" імпутацію, великий обсяг відповідей "я не знаю" змушує мене побоюватися, що справжні (справжні) відносини між змінними будуть перероблений.
упорядкувати

8
+1. Я знаю, що це незручно, але у вас [ОП] є вибір між тим, як знайти інший набір даних, якщо ви хочете протестувати цю модель або змінити запланований аналіз. Ви задали запитання, сподіваючись на різні відповіді, але, на мій погляд, немає таких, які можна захистити. Якби я відповідав на таку анкету, я почував би себе ображеним на спотворення та відсутність довіри до спроби ставитись до мого Невідомого як до іншого. Насправді, як випадковий споживач соціальних досліджень, я також незадоволений.
Нік Кокс

1
Ви, природно, праві, що це відбувалося і раніше, і багато разів. Ось чому ті, хто має певний досвід проектів, які були відвернені або ускладнені непередбачуваними проблемами, можуть сказати, тож аналіз буде різним, і папір не буде такою, як уявити. Або навіть, іноді проекти просто не спрацьовують, тому ви йдете. (Якщо якимось чином вам підкоряються інструкції чи примушування до цього, це особливо прикро, але це не впливає на мою пораду, як про це думати.)
Нік Кокс

8
@ user2836366 Я не розумію ваших тверджень, що модель не може бути змінена. Безумовно, "Не знаю" не входить до порядкового збору відповідей, але це цілком суттєво; "Не знаю" означає, що з будь-якої причини (включаючи фактично знаючу) особа не обрала жодного порядкового відповіді. Отже, одна з таких модифікацій - це те, що ви могли мати якусь модель для цього процесу (вибрали "не знаю" проти "обрали один з інших варіантів"), а потім звичайну модель для випадків другої категорії. Такі моделі можуть бути дещо схожими на перешкоди або нульові моделі.
Glen_b -Встановити Моніку

10

Якщо це була стандартизована анкета, яка була перевірена незалежно, то ви не можете стверджувати, що нова анкета еквівалентна, а дані вже не порівнянні. Ви можете спробувати перевірити і вивчити анкету в окремих експериментах (дуже трудомістких і трудомістких, особливо якщо ви також хочете показати порівнянність зі старою версією) або просто прийняти, що ви маєте справу з меншою якістю доказів (оскільки ваші дані надходять з не підтвердженої анкети).

Використовуючи ваші дані, вам доведеться врахувати зміни. Якщо ви зіткнулися з питанням про ставлення, люди не дають вам якось "об'єктивно правдивої" відповіді, вони дають вам відповідь, яку вони вважають правдивою - і на це, безумовно, впливають обидва варіанти відповідей (вони "нормують" свої відповіді до масштабу) та до знань, які вони мають щодо предмета (відомі упередження, які працюють по-різному, іноді в різних напрямках (!) залежно від того, багато чи мало знає учасник про предмет).

Отже, якщо ми маємо справу з усталеною анкетою, у вас є хороший варіант порівняння між вашою версією анкети та оригінальною. Якщо оригінал припускав, що люди знають, що вони вибирають, а виявляється, що вони цього не роблять, ви можете обговорити, як стара модель базується на неправильних припущеннях, і які наслідки цього. Зауважте, що це "побічне" відкриття, яке створює приємне нове дослідницьке запитання, але відводить вас від початкового, і справді показує, що відповісти на оригінальний набагато складніше, ніж думка, тому воно, безумовно, примножує вашу роботу.

Якщо ви не маєте справу з усталеною анкетою, ви можете скористатися потоком і зробити вигляд, що ваша спеціальна анкета була запланована таким чином, і оцінити результати відповідно. Знову ж таки, це може означати, що результати, на які ви сподівались, недосяжні за допомогою цього методу, але це також важливо знати.

Для гарного розуміння того, як формулювання та варіанти впливають на відповіді на анкети, пропоную прочитати "Психологія відповіді опитування" Туранжо та ін. Це чудове прочитання для всіх, хто коли-небудь створює анкету.


2

Якщо ви запитаєте, скільки дітей народила респондентка, відповіді "нуль" та "не застосовується" не означали б абсолютно одне й те саме, оскільки чоловіки не можуть народити.

Для деяких контекстів прирівнення "я не знаю" до нейтральної відповіді може бути також концептуальною помилкою.

Власне, у вас є два питання: дихотомічне "чи маєте ви думку?" і порядковий "Що це?", так само, як і вище, у вас є неявна "Ти жінка?" поза вашим чітким питанням.

Звичайно, ви можете ввести деякі припущення (іноді правильно, іноді просто для зручності, іноді вимушено), щоб дозволити вам трохи моделювати, але я не бачу жодної загальноприйнятої стратегії, не входячи в область специфіки вашого явища.

В якості останнього пункту, про який слід задуматися, не було б сенсу намагатися зробити висновок для чоловічого населення з будь-яких відповідей жіночої плодючості.


2

Дилема, чи варто включати варіант чи не знати відповідь у анкету, що складається з рейтингової шкали типу Лікерта, є вічною. Часто, коли питання запитують про думку, ДК включається, оскільки відсутність думки - це важливий статус сам по собі і варіант, як такий, очікується респондентами. В інвентарях особистих ознак, де люди приписують якості цільовому варіанту ДК, як правило, відпадають, оскільки, як правило, респондент може оцінити ступінь спорідненості характеристики (тобто респондент завжди вважається кваліфікованим); і коли він час від часу відчуває труднощі, йому дозволяється (за інструкцією) пропустити цей предмет. В особистих інвентарях ознак, де люди описують ціль (елементи поведінки) ДК (або не "

@Hatim у своїй відповіді, @Maarten та деякі інші коментатори питання ОП чітко стверджують, що велика кількість відповідей ДК, що спостерігаються в поточному дослідженні, вказують на проблеми (обгрунтованість контенту чи валідність обличчя) у предметах або на те, що суб'єкти не мають уваги " t не вписується в упорядковану їм анкету.

Але ви ніколи не можете розповісти історію, зрештою, тлумачення перешкод на вас (якщо ви не вирішите це в окремому розслідуванні). Можна, наприклад, стверджувати, що включення опції ДК до лікерів у цій анкеті (скажімо, це опис припису ознак) слугує погано, а не добре. Це не дало тобі інформації (про яку говорять коментатори it proves that the [rating] model is inadequate), а скоріше відволікло / спокусило респондента. Якби воно не надавалося, рішення про оцінку, кероване неявною когнітивною схемою ознак, могло б бути отримане; але бачення опції охолодження виключає схему і змушує її швидко відкликатись.

Якщо ви далі визнаєте - на свій ризик, але чому б ні? - що легко відволікаються або ледачий суб'єкт є один потенціал якого, точка зору , назад справедливо , але , як правило, слабо диференційованою - тобто, він легко Invoke звичайним дас Людини , замість особистого Erlebnis , схеми - то можна умовно припустити , що його відсутність відповідає приблизно середній для вибірки або популяції для цього пункту. Якщо так, то чому б не означати (+ шум) заміни відсутніх відповідей? Або ви можете зробити EM або регресійну (+ шум) імпутацію, щоб врахувати кореляції.

Повторюся: рішення про імпутацію можливо, але ризиковано, і малоймовірно, враховуючи велику кількість відсутніх даних, відновити "справді" відсутні дані. Як сказав @rumtscho, безумовно, що нова анкета з DK не еквівалентна оригінальній без ДК, і дані вже не можна порівняти.

Це були спекуляції. Перш за все, вам слід спробувати дослідити спостережувані закономірності відсутності. Хто такі суб'єкти, які обрали ДК? Вони об'єднуються в підтипи? Чим вони відрізняються від решти елементів із підпроби "гаразд"? Деяке програмне забезпечення має пакет відсутності аналізу вартості. Тоді ви можете вирішити, чи повністю або частково відмовитись від людей, чи замінити їх, чи проаналізувати їх як окремий підпроб.

PS Також зауважте, що респонденти "дурні". Вони часто просто змішуються з оцінкою шкали. Наприклад, якщо точка DK була розміщена близько до одного полюса шкали, вона часто плутається через неуважність із цим полюсом. Я не жартую.


Привіт, @ttnphns. Ну, ваша відповідь занадто довга, щоб переглядати її по пункту (я вже коментував інші відповіді про деякі питання, які ви тут порушили). Якщо чесно, мені доведеться прочитати її ще раз. Однак він стосується всього, що я хотів.
упорядкувати

0

Зараз у вас є респонденти, які були самостійно відібрані для отримання думки з цього питання. Що б ви не зробили, винятково стосуватиметься цих людей. Це може бути нормально, оскільки опитування тих, хто не знає, за визначенням менш корисний.


2
Дролл, але занадто песимістичний. Ці люди пропонували аргументи щодо того, що можна, не можна, не слід робити, і саме аргументи слід зважувати. Таку ж відповідь можна було б дати на будь-якій темі, але ті, хто не розмовляє, не говорять.
Нік Кокс
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.