Перевірка анкет


12

Я розробляю анкету для моєї дисертації. Я в процесі перевірки анкети я застосував альфа-тест Кронбаха до початкової групи вибірки. Відповіді на анкету - за шкалою Лікерта; чи може хтось запропонувати будь-які подальші тести, які допоможуть перевірити його достовірність. Я не є експертом зі статистики, тому будь-яка допомога буде вдячна.

Я робив деякі дослідження, і, здається, я можу зробити аналіз Раша, чи є у когось сайтів безкоштовного програмного забезпечення, щоб застосувати цей тест та поради?

Відповіді:


22

Я припускаю, що вашу анкету слід розглядати як одну одновимірну шкалу (інакше альфа Кронбаха не має особливого сенсу). Варто провести дослідницький аналіз факторів, щоб перевірити це. Це також дозволить вам побачити, як елементи відносяться до масштабу (тобто, через їх завантаження).

Основні кроки для перевірки ваших елементів та масштабу повинні включати:

  • повний звіт про основні статистичні дані пунктів (діапазон, квартілі, центральна тенденція, ефекти стелі та підлоги, якщо такі є);
  • перевірка внутрішньої узгодженості, як ви це зробили з альфа (найкраще, надайте 95% довірчі інтервали, оскільки це залежить від вибірки);
  • опишіть вам підсумкову оцінку (наприклад, загальний чи середній бал, також шкала шкали) із звичайними статистичними даними (гістограма + щільність, квантили тощо);
  • перевіряйте свої зведені відповіді на конкретні коваріати, які повинні бути пов'язані з оцінкою, яку ви оцінюєте - це називається дійсності відомої групи;
  • якщо можливо, перевірте свої зведені відповіді на відомі інструменти, які мають намір виміряти ту саму конструкцію ( паралельна чи збіжна валідність).

Якщо ваша шкала не є одновимірною, ці кроки потрібно виконати для кожної підшкали, і ви також можете виділити кореляційну матрицю ваших факторів для оцінки структури факторів другого порядку (або використовувати структурне моделювання рівнянь, або підтверджуючий аналіз факторів, або що завгодно). Ви також можете оцінити конвергентну та дискримінантну обґрунтованість, використовуючи багатокористувацьке масштабування або багатодітне багатоточне моделювання (засноване на проміжних кореляціях всередині і між масштабами) або, знову ж таки, SEM.

Тоді я б сказав, що Теорія відповідей на предмет не допоможе настільки, якщо ви не зацікавлені в скороченні анкети, відфільтруванні деяких елементів, які показують функціонування диференціальних елементів , або використанні вашого тесту в якомусь комп’ютерному адаптивному тесті .

У будь-якому випадку модель Rasch призначена для бінарних предметів. Для багатотомних упорядкованих елементів найчастіше використовуються моделі:

  • модель градуйованого реагування
  • модель часткового кредитування
  • модель рейтингової шкали.

Тільки останні два з родини Раш, і вони в основному використовують суміжну формулу шансів, з думкою, що суб'єкт повинен "пройти" кілька порогових знаків, щоб схвалити дану категорію відповідей. Різниця між цими двома моделями полягає в тому, що ПКМ не нав'язує, що пороги однаково розташовані за тета- шкалою ( здатність або розташування предмета за латентною ознакою). Модель градуйованого відгуку спирається на формулювання кумулятивного шансу. Майте на увазі, що всі ці моделі припускають, що масштаб одномірний; тобто є лише одна прихована ознака. Існують додаткові припущення, наприклад, місцева незалежність (тобто співвідношення між відповідями пояснюються варіацією за шкалою можливостей).

У всякому разі, ви знайдете дуже повну документацію і корисні підказки для застосування психометричних методів в R в обсязі 20 Журналу статистичного програмного забезпечення: Спеціальний Обсяг: психометрії в R . В основному, найцікавіші пакети R, які я використовую у своїй щоденній роботі, є: ltm , eRm , psych , psy . Інші посилання посилаються на Психометрію подання завдання CRAN . Інші цікаві ресурси:

Хороший огляд використання ФА проти ІРТ у розробці масштабів можна знайти у побудові шкали та оцінці на практиці: огляд факторного аналізу порівняно із застосуванням теорії реагування на предмет , десятьох Хольт та ін. (Психологічне моделювання тестів та оцінювання (2010)) 52 (3): 272-297).


11

Підтримуючи все сказане вище, я б запропонував вам виконати наступне (в достатньому порядку)

По-перше, ви повинні використовувати R, якщо ні, ви не повинні починати. Наступна порада передбачає використання Р.

Я припускаю, що ви в цей момент розраховували описову статистику та ін. Якщо ні, пакет психіки має функцію опису (), яка повинна дати вам необхідну статистику.

Встановіть психічний пакет від CRAN. Завантажте психічний пакет. Використовуйте процедуру fa.parallel для своїх даних. Це має спричинити збереження ряду факторів. Потім скористайтеся VSS (розпорядок). Це обчислює критерій MAP, який дає вам різну кількість (як правило) кількість факторів. Використовуйте форму факторного аналізу (не основних компонентів) та похилого обертання для кожної кількості факторів. Якщо після похилого обертання ваші фактори не співвідносяться, перейдіть до ортогонального обертання. Це як ортогональна структура може бути визначена за допомогою косого обертання, але не навпаки.

Витягніть всі факторні рішення між критерієм MAP та критерієм паралельного аналізу. Визначте, який із них має найкращі показники відповідності, і має найбільш сенс. Це те, що вам слід зберегти.

На IRT, використовуючи і ltm, і eRm, я б запропонував почати з eRm. Він має кращі графічні функції для ваших моделей, а підтримка багатотомних моделей більша. За словами, він відповідає лише моделям Раша, і часто дані з психологічних опитувальників не відповідають вимогам до них. Удачі! Психометрія - це дуже весело, як ви, безсумнівно, виявите.


1
(+1) Це добре звучить. Дякуємо, що поділилися своїм досвідом моделювання IRT та FA. Окрім графічних функціональних можливостей, умовний підхід у eRm більше відповідає початковому мисленню тета Рашем (як фіксований параметр).
chl

1

Перевірка анкети означає довести, що вона вимірює те, що вона повинна вимірювати. Тому я б сказав, що це здебільшого не статистичне питання, і на нього не можна відповісти, не знаючи конкретного змісту вашої анкети. Альфа Кронбаха - це не про валідність, а про внутрішню послідовність, яка дещо пов’язана з надійністю (або можна сказати, що це надійність, припускаючи, що ваші питання є взаємозамінними, але вони не є).

То що б ви могли зробити для підтвердження анкети? Ви можете вивчити, які психологічні процеси спричиняють конкретну схему результатів (наприклад, намагаючись спонукати такі зразки експериментальними маніпуляціями або використовуючи процедуру роздумування вголос ["аналіз протоколу", Ericsson & Simon, 1992]). Або порівняйте деякі контрастні групи (наприклад, пацієнти з контролем), які повинні мати різні бали. Або співвіднесіть це із зовнішнім критерієм, який має співвідноситись із ознакою, яку ви вимірюєте. Або виміряйте ознаку за допомогою Психоскопа (TM) і використовуйте це як критерій.

Інші відповіді корисніші для того, щоб вказати на те, що ви, мабуть, реально можете зробити - навіть якщо більшість із них, строго кажучи, не стосується дійсності (крім посилань Чи на "відому групову дійсність" та зовнішню силу).

Дивіться також Markus & Borsboom (2013) про сучасний підхід до дійсності (це та деякі інші корисні відгуки на домашній сторінці Borsboom ).

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.