Як формула пророцтва Спірмена-Брауна впливає на питання, що мають різні труднощі?

Як на результати формули пророцтва Спірмена-Брауна впливає тест-запитання різної складності або рейтинги, які легко чи важко оцінюють. В одному з поважних текстів сказано, що на СБ це постраждало, але він не дає деталей. (Дивіться цитату нижче.)

Гуйон, Р. М (2011). Оцінка, вимірювання та прогнозування рішень для персоналу, 2-е видання. Pg 477

"Надійність можна збільшити, об'єднавши рейтингів, використовуючи рівняння Спірмена-Брауна. Якщо надійність одного рейтингу дорівнює .50, то надійність двох, чотирьох або шести паралельних оцінок буде приблизно .67, .80 , і .86 відповідно "(Х'юстон, Реймонд, & Svec, 1991, стор. 409). Мені подобається ця цитата, тому що слово приблизно визнає, що статистичні оцінки є "в середньому" твердженнями про те, що можна очікувати, якщо все піде як передбачається. Поза цим дієвим словом є паралельне. Усереднення рейтингів (або використання Spearman-Brown), якщо один рейтинг, наприклад, систематично поблажливий, просто не відповідає припущенню. Якщо реферати оцінюються двома рейтингами, один поблажливіший за інший, проблема полягає в тому, щоб використовувати два тести з неоднорідною складністю (непаралельні форми). Оцінки на основі різних (нерівних) форм тестування не порівнянні. Так це і зі змішуванням поблажливих і складних рейтингів; надійність об'єднаних оцінок неправильно оцінюється рівнянням Спірмена-Брауна класичної теорії випробувань. Питання гірші, якщо кожен суддя визначає конструкцію трохи по-іншому ".

Хоча я відчуваю, що трохи по-суєтному суперечить як «поважному тексту», так і іншому користувачеві резюме, мені здається, що на формулу Спірмена-Брауна не впливає наявність предметів різної складності. Безумовно, формула Спірмена-Брауна зазвичай виводиться з припущення, що у нас є паралельні пункти, що означає (серед іншого), що предмети мають однакові труднощі. Але виявляється, це припущення не є необхідним; це може бути розслаблено, щоб дозволити нерівні труднощі, і формула Спірмена-Брауна все одно буде дотримуватися. Я демонструю це нижче.

---

Нагадаємо, що в класичній теорії випробувань вимірюванням прийнято вважати суму компонента "справжнього бала" і похибки компонента , тобто з і некорельованими. Припущення про паралельні пункти полягає в тому, що всі елементи мають однакові істинні бали, що відрізняються лише своїми компонентами помилок, хоча вони вважаються однаковими. У символах, для будь-якої пари елементів і$X$$T$$E$

$$X = T + E,$$ $T$$E$$X$$X'$ $$T=T' \\\textrm{var}(E)=\textrm{var}(E').$$ Давайте подивимося, що станеться, коли ми розслабимо перше припущення, таким чином, що елементи можуть відрізнятись за своїми труднощами, а потім отримаємо надійність загального тестового балу за цими новими припущеннями. Зокрема, припустимо, що справжні бали можуть відрізнятися залежно від постійної добавки, але помилки все одно мають однакову дисперсію. У символах Будь-які різниці у складності фіксуються адитивною константою. Наприклад, якщо , то оцінки на мають тенденцію бути вищими, ніж оцінки на , так що "легше", ніж . Ми можемо називати це по суті паралельними $$T=T' + c' \\\textrm{var}(E)=\textrm{var}(E').$$ $c'>0$$X$$X'$$X$$X'$пункти, аналогічно припущенню про "істотну тау-еквівалентність", яка аналогічно розслаблює тау-еквівалентну модель.

Тепер для отримання надійності тестової форми таких предметів. Розглянемо тест, що складається з по суті паралельних елементів, сума яких дає тестовий бал. Надійність - це, за визначенням, відношення справжньої відхилення балів до спостережуваної дисперсії балів. Для надійності окремих елементів випливає з визначення суттєвого паралелізму, що вони мають однакову надійність, яку ми позначимо з , з є істинною дисперсією балів та дисперсією помилок. Для надійності загального тестового бала спочатку вивчаємо дисперсію загального тестового бала, яка є $k$$\rho = \sigma^2_T/(\sigma^2_T+\sigma^2_E)$$\sigma^2_T$$\sigma^2_E$

$$\begin{aligned} \textrm{var}(\sum_{i=1}^kT_i + E_i) &= \textrm{var}(\sum_{i=1}^kT + c_i + E_i) \\ &= k^2\sigma^2_T + k\sigma^2_E, \end{aligned}$$ де (без ) - будь-який довільний істинний бал, на який можна зміщувати справжні результати всіх елементів через їх постійні умови, є істинна дисперсія балів, а - дисперсія помилок. Зауважте, що постійні умови випадають! Це ключове. Тож надійність загального тестового балу дорівнює $T$$\sigma^2_T$$\sigma^2_E$ $$\begin{aligned} \frac{k^2\sigma^2_T}{k^2\sigma^2_T + k\sigma^2_E} &= \frac{k\sigma^2_T}{k\sigma^2_T + \sigma^2_X - \sigma^2_T} \\&= \frac{k\rho}{1+(k-1)\rho}, \end{aligned}$$ що є лише класичною формулою Спірмена-Брауна, незмінною. Це свідчить про те, що навіть при зміні "складності" предметів, визначених як їх середні бали, формула Спірмена-Брауна все ще дотримується.

@JeremyMiles піднімає деякі цікаві та важливі моменти щодо того, що може статися, коли ми збільшимо довжину тесту "в реальному світі", але, принаймні, згідно з ідеалізованими припущеннями класичної теорії випробувань, зміни складності предмета не мають значення для надійності тестова форма (на відміну від припущень сучасної Теорії реагування на предмет!). Ця ж основна лінія міркувань також полягає в тому, що ми зазвичай говоримо про істотну тау-еквівалентність, а не про тау-еквівалентність, оскільки більшість усіх важливих результатів стосуються більш м'якого випадку, коли труднощі з предметом (тобто засоби) можуть відрізнятися.

Це нелегко сказати.

По-перше, Спірмен-Браун припускає, що тестові предмети (або рейтинги) вибираються випадковим чином із сукупності тестових предметів (або рейтингів). Це справді ніколи не відповідає дійсності, особливо тестів, тому що складати більше предметів важко, і, швидше за все, ви скористаєтеся кращими предметами для початку - тоді ви виявите, що тест повинен бути довшим, тож ви "вискоблювати бочку" для предметів.

По-друге, елементи відрізняються своєю надійністю, і надійність не обов'язково пов’язана з труднощами (якщо це допоможе, подумайте про нахил та перехоплення характеристичної кривої елемента в теорії відгуку елементів). Однак для розрахунку надійності (скажімо, альфа Кронбаха, яка є формою внутрішньокласової кореляції) припускають, що надійності всі рівні (вони передбачають істотну тау-еквівалентну модель вимірювання - тобто, що нестандартні надійності кожного елемента є всіма рівний). Це майже напевно неправильно. Додавання елементів може йти вгору, а може знижуватися. Це залежить від предметів.

Ось ще один спосіб подумати про це. Я випадковим чином вибираю вибірку з сукупності та обчислюю середню та стандартну похибки середнього. Це означає, що буде неупереджений оцінювач середнього рівня населення. Потім я збільшую розмір моєї вибірки - очікуване значення середнього значення однакове, але навряд чи воно буде фактично таким же - воно майже напевно піде вгору або вниз. Так само, як я очікую, що стандартна помилка стане меншою, але сума, яку вона скорочується, не буде послідовною (і стандартна помилка не може бути більшою.)