Яким критеріям необхідно відповідати, щоб зробити висновок про "ефект стелі"?

Згідно з Енциклопедією методів дослідження суспільних наук SAGE …

[a] ефект стелі виникає, коли міра має чітку верхню межу для потенційних відповідей і велика концентрація балів учасників на цій межі або біля неї. Ослаблення масштабу - це методологічна проблема, яка виникає всякий раз, коли відхилення обмежуються таким чином. … Наприклад, ефект стелі може виникнути з мірою ставлення, в якому високий бал вказує на сприятливе ставлення, а найвищий відгук не може отримати найбільш можливу позитивну оцінку. … Найкраще рішення проблеми стельових ефектів - експериментальне тестування, яке дозволяє виявити проблему на ранньому етапі . Якщо ефект стелі знайдений , [і] міра результату виконання завдання, завдання може бути більш складною , щоб збільшити діапазон потенційних відповідей. ¹ [наголос додано]

Там , здається, багато з порад і питань ( і тут ) , присвячений аналіз даних , які показують стельові ефекти , подібні до тих , що описано в цитаті вище.

Моє запитання може бути простим або наївним, але як насправді можна виявити, що в даних присутній ефект стелі? Більш конкретно, скажімо, створюється психометричний тест, і підозрюється, що він призведе до ефекту стелі (лише візуальне обстеження), а потім тест переглядається для отримання більшого діапазону значень. Як можна довести, що переглянутий тест усунув ефект перекриття з даних, які він отримує? Чи є тест, який показує, що в наборі даних існує ефект перекриття a, але немає ефекту стелі в наборі даних b ?

Моїм наївним підходом було б просто вивчити перекос розподілу, і якщо він не перекошений, зробити висновок про відсутність ефекту стелі. Це занадто спрощено?

Редагувати

Щоб додати конкретніший приклад, скажіть, що я розробив інструмент, який вимірює деяку приховану ознаку x, яка з віком збільшується, але з часом знижується і починає знижуватися в старості. Я роблю першу версію, що має діапазон від 1 до 14, роблю пілотування, і вважаю, що, здається, може бути ефект стелі (велика кількість відповідей на рівні біля 14, максимум. Я закінчую це лише дивлячись на дані. Але чому? Чи існує суворий метод підтвердження цієї заяви?

Потім я переглядаю міру, щоб мати діапазон 1—20 і зібрати більше даних. Я бачу, що тенденція більше відповідає моїм очікуванням, але як я можу знати, що діапазон вимірювань досить великий. Чи потрібно це переглянути ще раз? Візуально це здається нормальним, але чи є спосіб його тестування підтвердити мої підозри?

Я хочу знати, як я можу виявити цей ефект стелі в даних, а не просто дивитися на нього. Графіки представляють фактичні дані, а не теоретичні. Розширення діапазону інструменту створило кращу кількість даних, але чи достатньо? Як я можу це перевірити?

¹ Hessling, R., Traxel, N., & Schmidt, T. (2004). Стельовий ефект. У роботі Майкла С. Льюїса-Бека, А. Браймана та Тіма Футінга Ліао (ред.), Енциклопедії методів досліджень суспільних наук SAGE . (стор. 107). Thousand Oaks, Каліфорнія: Sage Publications, Inc. doi: 10.4135 / 9781412950589.n102

По-перше, я хотів би сказати, що обидва графіки дають мені чіткі докази того, що існує ефект стелі. Наскільки я б намагався виміряти цей ефект, а не просто візуально, було б спостерігати, що до тих пір, поки нетривіальна частина спостережень лежить біля верхньої межі діапазону інструменту. Як правило, ефект стелі завжди буде існувати до тих пір, поки є нетривіальна частина учасників тесту, які досягнуть максимальної оцінки на тесті.

Однак, якщо говорити, технологія тестового аналізу просунулася досить довго, оскільки нам потрібно було безпосередньо інтерпретувати бали на інструменті на основі правильної оцінки. Тепер ми можемо використовувати Теорію реагування на предмет для оцінки параметрів елемента окремих елементів і використовувати їх для визначення здатності предмета. Звичайно, все-таки можуть бути ефекти на стелі, якщо ми зробимо тест занадто легким. Однак, завдяки силам теорії реагування на предмети, ми повинні бути в змозі поставити принаймні кілька предметів з досить високими труднощами в інструмент, щоб запобігти удару лише в тривіальну частину населення.

Дякую за запитання. Це дуже цікаво!

Я думаю, що грубим і готовим способом було б просто виміряти відхилення в міру збільшення шкали. Якщо це показує зменшення, то це є свідченням ефекту стелі, а якщо ні, то ефекту стелі немає. Ви можете зробити однорідність дисперсійного сюжету. Тест Левене може бути корисним для визначення, чи відрізняється дисперсія в різних точках шкали.

Найважливішою проблемою при вирішенні того, чи є згуртування навколо найвищої або нижчої точки, наслідком ефекту стеля / підлога, є те, чи дійсно значення випадків "представляють" значення. Якщо виникають ефекти стелі та підлоги, деякі випадки, незважаючи на максимальне або мінімальне значення, насправді є вищими / нижчими, ніж максимальне або мінімальне значення (уявіть, дорослий і дитина закінчують надзвичайно простий математичний тест, який передбачається виміряти один з математичних можливостей, і обидва набрали 100%). Тут дані цензуруються.

Інший сценарій також можливий, коли ми використовуємо обмежені масштаби, такі як шкала Лікерта, яка має притаманні верхню та нижню межі. Цілком можливо, що ті, хто набрав найбільше, дійсно вартують цього балу і ніяких різниць (наприклад, математичний приклад вище) немає серед усіх, хто набрав найвищий результат. У такому випадку дані обрізаються в межах, а не цензуруються.

Виходячи з вищенаведених міркувань, я вважаю, що слід розробити процедуру для відповідності будь-якого даного набору даних з усіченням даних і цензурою даних. Якщо модель цензури найкраще відповідає даним, я думаю, можна зробити висновок, що ефект стелі / підлоги присутній.