Як зменшити кількість елементів, використовуючи аналіз факторів, внутрішню узгодженість та теорію відгуку елементів разом?

Я зараз емпірично розробляю анкету, і я буду використовувати в якості прикладу довільні числа для ілюстрації. Для контексту я розробляю психологічну анкету, спрямовану на оцінку думок, які зазвичай виявляються у людей, які мають тривожні розлади. Елемент може виглядати так: "Мені потрібно кілька разів перевірити духовку, оскільки я не можу бути впевнений, що її вимкнено ".

У мене є 20 запитань (5-бальний Лікерт), які можуть складатися з одного або двох факторів (зауважте, що насправді у мене ближче до 200 питань, що складаються з 10 шкал, і кожна шкала може складатися з двох факторів). Я готовий стерти приблизно половину пунктів, залишивши 10 питань по одному з двох факторів.

Мені знайомий дослідницький факторний аналіз (EFA), внутрішня узгодженість (альфа Кронбаха) та характеристичні криві пункту в теорії відгуку елементів (IRT). Я бачу, як я використовував би будь-який із цих методів, щоб визначити, які пункти є "гіршими" в межах однієї шкали. Я розумію, що кожен метод також відповідає на різні запитання, хоча вони можуть призвести до подібних результатів, і я не впевнений, яке "питання" є найважливішим.

Перш ніж розпочати, давайте переконайтесь, що я знаю, що я роблю з кожним із цих методів окремо.

• Використовуючи EFA, я визначив би кількість факторів і вилучив елементи, які завантажують найменше (скажімо <.30) на їх відповідний коефіцієнт або перехресне навантаження, по суті, через фактори.

• Використовуючи внутрішню консистенцію, я б видалив елементи, які мають гірший "альфа, якщо елемент буде видалено". Я міг би зробити це, припускаючи один коефіцієнт моєї шкали, або зробити це після початкової ОДВ, щоб визначити кількість факторів, а згодом запустити свою альфа для кожного фактора.

• Використовуючи IRT, я б видалив предмети, які не оцінюють фактор інтересу за їх варіантами відповіді (5 Likert). Мені були б характерні криві пункту очі. Я б в основному шукав лінію під кутом 45 градусів від варіанту 1 за шкалою Лікерта аж до 5 по латентній шкалі. Я міг би зробити це, припускаючи один фактор, або зробити це після первинного
  EFA для виявлення кількості факторів, а згодом запустити криві для кожного фактора.

Я не впевнений, який із цих методів використовувати, щоб найкраще визначити, які пункти є "найгіршими". Я вживаю найгірше в широкому сенсі, таким чином, що предмет може завдати шкоди мірі, або з точки зору надійності чи обгрунтованості, обидва вони однаково важливі для мене. Імовірно, я можу використовувати їх спільно, але не знаю як.

Якби я мав продовжувати те, що зараз знаю, і даю найкраще, я зробив би наступне:

1. Зробіть ЗНО для виявлення кількості факторів. Також видаляйте елементи з поганими завантаженнями відповідних факторів, тому що я не хочу, щоб елементи, які завантажуються погано, незалежно від того, як вони б робили в інших аналізах.
2. Зробіть ІРТ і видаліть погані предмети, судимі з цього аналізу, також, якщо такі залишилися від ЗНО.
3. Просто повідомте Альфа Cronbach і не використовуйте цей показник як засіб для видалення елементів.

Будемо дуже вдячні за будь-які загальні вказівки!

Ось також список конкретних питань, на які, можливо, ви можете відповісти:

1. Яка практична відмінність між видаленням елементів на основі факторних навантажень та видаленням елементів на основі альфа Хронбаха (якщо припустити, що ви використовуєте однаковий макет фактора для обох аналізів)?

2. Що мені робити спочатку? Якщо припустити, що я роблю EFA та IRT з одним фактором, і обидва визначають різні елементи, які слід видалити, який аналіз повинен мати пріоритет?

Мені не важко робити всі ці аналізи, хоча я повідомляю про альфа Хронбаха незалежно. Я відчуваю, що робити тільки ІРТ залишить щось не вистачає, і так само для EFA.

У мене немає жодних цитат, але ось що я б запропонував:

Зерот: Якщо це взагалі можливо, розділіть дані на навчальний і тестовий набір.

Спочатку зробіть EFA. Подивіться на різні рішення, щоб побачити, які з них мають сенс, виходячи з ваших знань з питань. Вам доведеться зробити це перед альфа Кронбаха, інакше ви не знатимете, які елементи входять у який фактор. (Запуск альфа на ВСІХ елементах, мабуть, не є хорошою ідеєю).

Далі запустіть альфа та видаліть елементи, які мають набагато бідніші кореляції, ніж інші у кожному факторі. Я б не встановлював довільне обмеження, я шукав би таких, які були значно нижчими від інших. Подивіться, чи є сенс видалити їх.

Нарешті, виберіть предмети з різними рівнями «складності» від IRT.

Потім, якщо можливо, повторіть це на тестовому наборі, але не займаючись дослідженням. Тобто подивіться, наскільки добре результат, знайдений на навчальному наборі, працює на тестовому наборі.

Усі три запропоновані вами критерії фактично можуть бути виконані в ІРТ, точніше багатовимірному ІРТ. Якщо розмір вибірки досить великий, це, ймовірно, буде послідовним способом вирішити це для кожного підшкалу. Таким чином, ви можете отримати переваги IRT для самостійного моделювання предмета (використовуючи номінальні моделі для одних предметів, узагальнену часткову позицію або оцінюючи для інших, або, якщо можливо, навіть встановити шкали рейтингів, щоб допомогти інтерпретувати багатотомні предмети більш парсимонічно).

$\theta$

$\theta$

Ви можете спробувати видалити елементи, які не відповідають одновимірним вимогам більшості програмного забезпечення IRT, але я не обов'язково рекомендував би це, якщо це вплине на теоретичне представлення конструкцій, які є у вас. У емпіричних програмах зазвичай краще спробувати зробити так, щоб наші моделі відповідали нашій теорії, а не навпаки. Крім того, саме тут біфакторні / дворівневі моделі, як правило, є доречними, оскільки ви хочете включити всі можливі елементи при одночасному обліку багатовимірності систематично і теоретично бажаного способу.