Оцінка надійності анкети: розмірність, проблемні елементи та чи слід використовувати альфа, лямбда6 чи якийсь інший індекс?

Я аналізую бали, які дають учасники експерименту. Я хочу оцінити надійність моєї анкети, яка складається з 6 пунктів, спрямованих на оцінку ставлення учасників до товару.

Я обчислював альфа Кронбаха, обробляючи всі елементи як єдину шкалу (альфа - приблизно 0,6) і видаляв один елемент за один раз (макс. Альфа - приблизно 0,72). Я знаю, що альфа можна недооцінювати і переоцінювати залежно від кількості елементів та розмірності основної конструкції. Тож я також виконував PCA. Цей аналіз показав, що існували три основні компоненти, що пояснювали приблизно 80% дисперсії. Отже, мої запитання стосуються того, як я можу діяти зараз?

• Чи потрібно проводити обчислення альфа в кожному з цих вимірів?
• Чи потрібно видалити елементи, що впливають на надійність?

Крім того, в Інтернеті я знайшов ще один показник надійності: лямбда6 гутмана.

• Які основні відмінності між цим показником та альфа?
• У чому хороша цінність лямбда?

Я думаю, що @Jeromy вже сказав найважливіше, тому я повинен сконцентруватися на заходах надійності.

Альфа Кронбаха - це вибірковий залежний індекс, який використовується для визначення нижньої межі надійності інструменту. Це не більше ніж показник дисперсії, поділений на всі елементи, що враховуються при обчисленні шкали шкали. Тому його не слід плутати з абсолютною мірою надійності, а також не застосовувати до багатовимірного інструменту в цілому. Насправді робляться такі припущення: (a) відсутні залишкові кореляції, (b) елементи мають однакові навантаження, і (c) шкала невимірна. Це означає, що єдиний випадок, коли альфа буде по суті таким же, як і надійність- це випадки рівномірно високих коефіцієнтів навантаження, відсутність коваріацій помилок та одновимірний інструмент (1). Оскільки його точність залежить від стандартної помилки взаємозв'язків елементів, це залежить від поширення кореляцій елементів, що означає, що альфа відображатиме цей діапазон кореляцій незалежно від джерела або джерел цього конкретного діапазону (наприклад, помилка вимірювання або багатовимірність). Цей пункт значною мірою обговорюється в (2). Варто зауважити, що коли альфа 0,70, що є загальноприйнятим порогом надійності для цілей групового порівняння (3,4), стандартна похибка вимірювання буде перевищувати половину (0,55) стандартного відхилення. Більше того, альфа Кронбаха - це міра внутрішньої послідовності, це не міра одновимірності і не може бути використана для висновку про одновимірність (5). Нарешті, ми можемо процитувати самого Л.Я. Кронбаха,

Коефіцієнти - це сирий пристрій, який не виводить на поверхню багато тонкощів, що мають на увазі дисперсійні компоненти. Зокрема, інтерпретації, що проводяться в поточних оцінках, найкраще оцінюються за допомогою використання стандартної похибки вимірювання. --- Кронбах і Шавельсон, (6)

Існує багато інших підводних каменів, які в основному обговорювалися в декількох працях за останні 10 років (наприклад, 7-10).

Гуттман (1945) запропонував серію з 6 так званих лямбда-індексів, щоб оцінити аналогічну нижню межу надійності, а нижня межа суворо еквівалентна альфа Кронбаха. Якщо замість того, щоб оцінити справжню дисперсію кожного елемента як середню коваріацію між елементами, ми розглянемо кількість дисперсії в кожному елементі, яку можна врахувати за допомогою лінійної регресії всіх інших елементів (він же, кратне співвідношення у квадраті), ми отримаємо оцінка, яка може бути обчислена і для багатомасштабного інструменту. Більш детально можна ознайомитись з майбутнім підручником Вільяма Ревеля « Вступ до психометричної теорії із застосуванням R» (глава 7). (Він також автор психіки$\lambda_3$$\lambda_6$Пакет R.) Можливо, вам буде цікаво прочитати розділи 7.2.5 та 7.3, зокрема, оскільки він надає огляд альтернативних заходів, таких як або McDonald's (замість використання множинної кореляції у квадраті, ми використовуємо унікальність елемента як визначається за моделлю FA) або Ревелла (замініть FA на ієрархічний кластерний аналіз, для більш загального обговорення див. (12,13)) та забезпечте порівняння всіх показників на основі моделювання.$\omega_t$$\omega_h$$\beta$

Список літератури

1. Райков, Т. (1997). Надійність масштабу, коефіцієнт альфа Кронбаха та порушення суттєвої тау-еквівалентності для фіксованих конгенеріальних компонентів. Багатовимірне поведінкове дослідження , 32, 329-354.
2. Кортина, Дж. М. (1993). Що таке коефіцієнт альфа? Вивчення теорії та застосувань . Журнал прикладної психології , 78 (1), 98-104.
3. Nunnally, JC and Bernstein, IH (1994). Психометрична теорія . Серія McGraw-Hill з психології, третє видання.
4. Де Ваус, Д. (2002). Аналіз даних суспільних наук . Лондон: Sage Publications.
5. Датчани, Джей і Манн, добре. (1984). Моделі одновимірних вимірювань та структурних рівнянь із прихованими змінними. Журнал бізнес-досліджень , 12, 337-352.
6. Cronbach, LJ та Shavelson, RJ (2004). Мої нинішні думки щодо коефіцієнта альфа та наступних процедур . Навчально-психологічний вимір , 64 (3), 391-418.
7. Шмітт, Н. (1996). Використання та зловживання коефіцієнта альфа . Психологічна оцінка , 8 (4), 350-353.
8. Якобуччі, Д. та Духачек, А. (2003). Просування альфа: вимірювання надійності з упевненістю . Журнал споживчої психології , 13 (4), 478-487.
9. Шевлін, М., Майлз, JNV, Дейвіс, МНО та Уокер, С. (2000). Коефіцієнт альфа: корисний показник надійності? Особистість та індивідуальні відмінності , 28, 229-237.
10. Fong, DYT, Ho, SY та Lam, TH (2010). Оцінка внутрішньої надійності за наявності суперечливих відповідей . Здоров'я та якість життєвих результатів , 8, 27.
11. Гуттман, Л. (1945). Основа для аналізу надійності тестового повторного тестування. Психометріка , 10 (4), 255-282.
12. Зінбарг, RE, Revelle, W., Yovel, I. та Li, W. (2005). Кронбаха , Ревелла в , і Макдональдс : Їхні стосунки один з одним і двома альтернативними концептуалізацій надійності$\alpha$$\beta$$\omega_h$ . Психометріка , 70 (1), 123-133.
13. Revelle, W. and Zinbarg, RE (2009) Коефіцієнти альфа, бета, омега та glb: коментарі до Sijtsma . Психометріка , 74 (1), 145-154

Ось кілька загальних коментарів:

• PCA : Аналіз PCA не "виявляє, що є три основні компоненти". Ви вирішили витягнути три виміри або покладаєтесь на якесь правило за замовчуванням (як правило, власне значення понад 1), щоб вирішити, скільки розмірів потрібно витягнути. Крім того, власні значення над одним часто витягують більше вимірів, ніж корисних.
• Оцінка розмірності предмета: я погоджуюся, що ви можете використовувати PCA для оцінки розмірності елементів. Однак, я вважаю, що перегляд сюжетного екрану може дати кращі вказівки щодо кількості вимірів. Ви можете перевірити цю сторінку від Вільяма Ревелла щодо оцінки розмірності шкали .
• Як діяти далі?
  • Якщо шкала добре встановлена , ви можете залишити її такою, якою є (припустимо, що її властивості принаймні розумні; хоча у вашому випадку 0,6 відносно погані за більшістю стандартів).
  • Якщо шкала недостатньо встановлена , то вам слід теоретично розглянути, які предмети призначені для вимірювання та з якою метою ви хочете використовувати отриману шкалу. Зважаючи на те, що у вас всього шість предметів, у вас не так багато місця для створення декількох масштабів, не впадаючи в занепокоєння кількості предметів за шкалою. Одночасно, це розумна ідея перевірити, чи є якісь проблемні елементи на основі підлоги, стелі чи низьких питань надійності. Також ви можете перевірити, чи потрібно якісь елементи повернути назад.
  • Я зібрав декілька посилань на загальні ресурси щодо розробки масштабів, які можуть вам бути корисними

Наступні стосуються ваших конкретних питань:

• Чи потрібно проводити обчислення альфа в кожному з цих вимірів?
  • Як ви можете зрозуміти з вищезгаданої дискусії, я не думаю, що ви повинні ставитися до своїх даних так, ніби у вас є три аспекти. Існує цілий ряд аргументів, які ви можете зробити, залежно від ваших цілей та деталей, тому важко сказати, що саме робити. У більшості випадків я б хотів створити хоча б одну хорошу шкалу (можливо, видалення елемента), а не три ненадійні шкали.
• Чи потрібно видалити елементи, що впливають на надійність?
  • Тобі вирішувати. Якщо шкала встановлена, ви можете вирішити не робити. Якщо розмір вибірки невеликий, це може бути аномалія випадкового вибірки. Однак, як правило, я схильний би видалити елемент, якщо він дійсно знизив альфа з 0,72 до 0,60. Я б також перевірив, чи насправді цей проблемний предмет не має на увазі змінити.

Я залишу обговорення лямбда-6 ( обговорюється тут Вільямом Ревеллом ) іншим.