Ідентифікація марних питань із анкети

12

Я розробляю анкету. Для підвищення його надійності та обґрунтованості я хочу використовувати статистичні методи.

Я хочу усунути питання, відповіді яких завжди однакові. Це означає, що майже всі учасники дали однакові відповіді на ці питання.

Тепер мої запитання:

Який технічний термін для таких марних питань, відповіді яких завжди однакові, незалежно від контексту використання?
Які методи виявлення таких питань?

— Макс
джерело

4

Я не знаю спеціальної назви для запитань, де всі дають однакову відповідь (можливо, це робить хтось інший). Я, мабуть, назвав би їх неінформативними. Вони, мабуть, не завдають великої шкоди, окрім як витрачати час респондентів. Ви, безумовно, повинні позбутися від них, але я можу зосередити увагу на пошуку та видаленні питань, які не співвідносять w / ('load on') прихованих змінних, які ви хочете оцінити.

— gung - Відновіть Моніку

7

Одне головне правило полягає в тому, що якщо 80% респондентів дають таку ж відповідь, питання не є інформативним. АЛЕ - іноді ти хочеш це знати. "Ти вбивця" - це не інформативне запитання за цим правилом, але ти справді захочеш дізнатися це, перш ніж отримати нового сусіда по кімнаті. Так що жорсткого і швидкого правила немає.

— Джеремі Майлз

4

Такі питання (з дуже низькою варіабельністю) погані, як міри ознаки, до якої вони належать. Але вони іноді включаються і корисні для відстеження респондентів брехунів або шикарних.

— ttnphns

9

Як класична теорія випробувань (CTT), так і теорія відповіді на предмет (IRT) можуть дати керівництво щодо того, які предмети сприяють прихованій ознаці, яку ви бажаєте виміряти, а які ні. За допомогою CTT враховуйте 1) складність предмета, 2) співвідношення предмета до загальної оцінки, 3) дисперсію предмета та 4) вплив на оцінки внутрішньої узгодженості (наприклад, альфа Кронбаха), якщо предмет вилучено.

Занадто легкі або занадто складні предмети, як правило, не допомагають окремо виділити тему (розрізняйте високих бомбардирів та низьких балів). Якщо ви не зацікавлені в вимірюванні відмінностей між найкращими виконавцями, для їх усунення слід розглянути дуже складні питання. У подібному ключі дуже легкі предмети підходять лише в тому випадку, якщо вас цікавить виступ низьких виконавців.

Усі елементи повинні бути позитивно співвіднесені з загальною оцінкою, і ви можете встановити нижню межу для цього співвідношення приблизно в 0,20 як орієнтир. Низька кореляція або негативна кореляція може вказувати на те, що у вашій анкеті є формулювання та що питання має бути зворотно оцінено.

Елементи з низькою дисперсією (мінливістю балів) слід вважати вилученими, оскільки вони не відокремлюють тематику та не вносять внесок у інформацію, зібрану з опитування. Елементи з дуже великою дисперсією можуть бути вимірюванням чогось іншого, ніж конструкція / ознака, яку ви хочете виміряти.

Якщо оцінка внутрішньої узгодженості покращується із вилученим предметом, то предмет слід розглянути для вилучення або переформулювати.

Елементи, які всі виправляються, іноді є максимальними, а ті, у кого всі помиляються, іноді називаються мінімальними. Вони не сприяють інформації, яку ви намагаєтеся зібрати.

Якщо ви розробляєте анкету з високими ставками або плануєте маркетингову анкету, вам обов'язково слід врахувати ІРТ. Однак це велика тематична область, і якщо ви не по-справжньому зацікавлені, тут, мабуть, не варто місця, щоб потрапити на неї.

Сподіваюсь, це допомагає.

— подг. числа
джерело

4

Я вважаю, що ви шукаєте - Теорія реагування на предмет. "Марні" запитання, на які ви посилаєтесь, - це пункти з поганою дискримінацією. Використовуючи ІРТ-аналіз, можна обчислити дискримінацію, складність та пов'язану з цим ймовірність здогадуватися за предметами учасниками опитування. У програмі R є простий пакет для використання IRT, і я думаю, що це роблять і інші статистичні пакети програм.

Якщо ви хочете отримати короткий огляд, перегляньте сторінку вікіпедії, але я б радив вивчити її докладніше. http://en.wikipedia.org/wiki/Item_response_theory

— StatiStudent
джерело